Big Data Architect Eğitimi

Bu kurs, uygulamalarında yapay zekayı anlamak ve uygulamak isteyen geliştiricilere ve veri bilimcilerine yöneliktir. Özellikle veri analizi, dağıtık yapay zeka ve doğal dil işleme konularına odaklanmaktadır.

Apache Beam, paralel veri işleme hatlarını tanımlamak ve yürütmek için birleşik bir programlama modelidir. Gücü, hem toplu hem de akış hatlarını çalıştırabilme yeteneğinde yatar; yürütme, Beam'in desteklediği dağıtılmış işleme arka uçlarından biri tarafından gerçekleştirilir: Apache Apex, Apache Flink, Apache Spark ve Google Cloud Dataflow. Apache Beam, verileri farklı depolama ortamları ve veri kaynakları arasında taşımak, verileri daha arzu edilen bir formata dönüştürmek ve verileri yeni bir sisteme yüklemek gibi ETL (Çıkar, Dönüştür ve Yükle) görevleri için kullanışlıdır.

Bu eğitmen liderliğindeki, canlı eğitimde (yerinde veya uzaktan), katılımcılar, büyük bir veri kümesini bağımsız, paralel işleme için daha küçük parçalara ayıracak bir veri işleme hattı tanımlayan bir Java veya Python uygulamasında Apache Beam SDK'larını nasıl uygulayacaklarını öğreneceklerdir.

Bu eğitimin sonunda katılımcılar şunları yapabilecektir:

• Apache Beam'ü kurmak ve yapılandırmak.
• Tek bir programlama modeli kullanarak Java veya Python uygulamaları içinden hem toplu hem de akış işleme gerçekleştirmek.
• Hattı birden fazla ortamda yürütmek.

Kurs Formatı

• Kısmen ders anlatımı, kısmen tartışma, egzersizler ve yoğun uygulamalı çalışma

Not

• Bu kurs gelecekte Scala olarak sunulacaktır. Lütfen düzenlemek için bizimle iletişime geçin.

Bu Türkiye konumunda gerçekleştirilen, eğitmen liderliğindeki canlı eğitimde katılımcılar Data Vault oluşturmayı öğreneceklerdir.

Bu eğitimin sonunda katılımcılar şunları yapabilecektir:

• Data Vault 2.0'ın mimarisini ve tasarım kavramlarını, Big Data, NoSQL ve Yapay Zeka ile etkileşimini anlayabileceklerdir.
• Veri ambarında geçmiş verilere denetim, izleme ve inceleme olanağı sağlamak için veri kasası tekniklerini kullanabileceklerdir.
• Tutarlı ve tekrarlanabilir bir ETL (Veri Çıkarma, Dönüştürme, Yükleme) süreci geliştirebileceklerdir.
• Yüksek ölçeklenebilir ve tekrarlanabilir veri ambarları oluşturup dağıtabileceklerdir.

Bu eğitmen liderliğindeki, canlı eğitim (Türkiye çevrimiçi veya yerinde), verileri sanallaştırma yoluyla veri yönetimini optimize etmek ve hızlandırmak için Denodo Platformunu kullanmak isteyen mimarlar, geliştiriciler ve yöneticiler hedeflenmektedir.

Bu eğitimin sonunda katılımcılar şunları yapabilecektir:

• Denodo Platformunu kurmak ve yapılandırmak.
• Denodo Platformunun özelliklerini ve mimarisini anlamak.
• Veri sanallaştırmanın temel kavramlarını, faydalarını ve kullanım senaryolarını anlamak.
• Denodo Platformu sunucusunu nasıl yapılandıracağınızı ve yöneteceğinizi öğrenmek.
• Veri güvenliği, kullanıcı erişimi ve hizmet kimlik doğrulamasını uygulamak.
• Operasyon izleme ve performans optimizasyonu için araçları ve teknikleri uygulamak.

Bu eğitmen liderliğindeki, canlı eğitimde Türkiye (çevrimiçi veya yerinde), dağıtılmış akış ve toplu veri işleme prensipleri ve yaklaşımları tanıtılır ve katılımcılar Apache Flink içinde gerçek zamanlı, veri akışı uygulaması oluşturma konusunda yönlendirilir.

Bu eğitimin sonunda katılımcılar şunları yapabilecektir:

• Veri analizi uygulamaları geliştirmek için bir ortam kurmak.
• Apache Flink'nin grafik işleme kütüphanesi (Gelly) nasıl çalıştığını anlamak.
• Hata toleranslı, Flink tabanlı, veri akışı uygulamalarını paketlemek, çalıştırmak ve izlemek.
• Çeşitli iş yüklerini yönetmek.
• Gelişmiş analizler yapmak.
• Çok düğümlü bir Flink kümesi kurmak.
• Performansı ölçmek ve optimize etmek.
• Flink'i farklı Big Data sistemleriyle entegre etmek.
• Flink yeteneklerini diğer büyük veri işleme çerçevelerinin yetenekleriyle karşılaştırmak.

Bu eğitmen liderliğindeki canlı eğitimde, katılımcılar grafik verileri işleme teknolojilerini ve uygulama yaklaşımlarını Türkiye bölgesinde öğreneceklerdir. Amaç, gerçek dünyadaki nesneleri, özelliklerini ve ilişkilerini belirlemek, ardından bu ilişkileri modellemek ve Graph Computing (aynı zamanda Grafik Analitiği olarak da bilinir) yaklaşımını kullanarak bunları veri olarak işlemektir. Geniş bir genel bakışla başlayıp bir dizi vaka çalışması, uygulamalı alıştırma ve canlı dağıtım aracılığıyla belirli araçlara odaklanacağız.

Bu eğitimin sonunda katılımcılar şunları yapabilecektir:

• Grafik verilerin nasıl kalıcı hale getirildiğini ve gezildiğini anlayabilmek.
• Belirli bir görev için en iyi çerçeveyi seçebilmek (grafik veritabanlarından toplu işleme çerçevelerine kadar).
• Hadoop, Spark, GraphX ve Pregel'i birçok makinede paralel olarak grafik hesaplaması yapmak için uygulayabilmek.
• Gerçek dünya büyük veri sorunlarını grafikler, süreçler ve geçişler açısından görebilmek.

Bu eğitmen liderliğindeki, canlı eğitimde Türkiye (çevrimiçi veya yerinde) Hortonworks Data Platform (HDP) tanıtılacak ve katılımcılar Spark + Hadoop çözümünün dağıtımı konusunda yönlendirilecektir.

Bu eğitimin sonunda katılımcılar şunları yapabilecektir:

• Hortonworks'ü kullanarak Hadoop'u büyük ölçekte güvenilir bir şekilde çalıştırmak.
• Hadoop'un güvenlik, yönetişim ve operasyon yeteneklerini Spark'ın çevik analitik iş akışlarıyla birleştirmek.
• Hortonworks'ü kullanarak bir Spark projesindeki her bir bileşeni araştırmak, doğrulamak, onaylamak ve desteklemek.
• Yapılandırılmış, yapılandırılmamış, hareket halindeki ve hareketsiz veriler dahil olmak üzere farklı veri türlerini işlemek.

Bu kurs, Hive SQL dilinin (aynı zamanda: Hive HQL, SQL üzerinde Hive, HiveQL) Hive'den veri çıkaran kişiler için nasıl kullanılacağını kapsamaktadır.

Cloudera Impala is an open source massively parallel processing (MPP) SQL query engine for Apache Hadoop clusters.

Impala enables users to issue low-latency SQL queries to data stored in Hadoop Distributed File System and Apache Hbase without requiring data movement or transformation.

Audience

This course is aimed at analysts and data scientists performing analysis on data stored in Hadoop via Business Intelligence or SQL tools.

After this course delegates will be able to

• Extract meaningful information from Hadoop clusters with Impala.
• Write specific programs to facilitate Business Intelligence in Impala SQL Dialect.
• Troubleshoot Impala.

Bu eğitmen liderliğindeki, canlı eğitim (Türkiye çevrimiçi veya yerinde), kod yazmadan Apache Kafka akış işlemeyi uygulamak isteyen geliştiricilere yöneliktir.

Bu eğitimin sonunda katılımcılar şunları yapabilecektir:

• Confluent KSQL'i kurmak ve yapılandırmak.
• Yalnızca SQL komutlarını kullanarak bir akış işleme hattı kurmak (ne Java ne de Python kodlama).
• Veri filtreleme, dönüştürme, toplama, birleştirme, pencereleme ve oturumlaştırma işlemlerini tamamen SQL içinde gerçekleştirmek.
• Akış ETL ve gerçek zamanlı analiz için etkileşimli, sürekli sorgular tasarlamak ve dağıtmak.

Bu eğitmen liderliğindeki, canlı eğitimde (Türkiye yerinde veya uzaktan), katılımcılar Apache NiFi'ü canlı bir laboratuvar ortamında nasıl dağıtacaklarını ve yöneteceklerini öğreneceklerdir.

Bu eğitimin sonunda katılımcılar şunları yapabilecektir:

• Apachi NiFi'yi kurun ve yapılandırın.
• Veritabanları ve büyük veri gölleri de dahil olmak üzere farklı, dağıtılmış veri kaynaklarından veri alın, dönüştürün ve yönetin.
• Veri akışlarını otomatikleştirin.
• Akış analitiğini etkinleştirin.
• Veri alımı için çeşitli yaklaşımlar uygulayın.
• Big Data ve verilerini iş içgörülerini dönüştürün.

Bu eğitmen liderliğindeki canlı eğitimde Türkiye'da, katılımcılar Apache NiFi kullanarak bir dizi demo uzantısı, bileşen ve işlemci geliştirirken akış tabanlı programlamanın temellerini öğreneceklerdir.

Bu eğitimin sonunda katılımcılar şunları yapabilecektir:

• NiFi'nin mimarisini ve veri akışı kavramlarını anlayabilecektir.
• NiFi ve üçüncü taraf API'lerini kullanarak uzantılar geliştirebilecektir.
• Kendi Apache Nifi işlemcilerini özel olarak geliştirebilecektir.
• Çeşitli ve alışılmadık dosya formatlarından ve veri kaynaklarından gerçek zamanlı verileri alıp işleyebilecektir.

Bu eğitmen liderliğindeki, canlı eğitimde Türkiye, katılımcılar büyük verileri analiz etmek için Python ve Spark'ı birlikte nasıl kullanacaklarını uygulamalı egzersizler yaparak öğreneceklerdir.

Bu eğitimin sonunda katılımcılar şunları yapabilecektir:

• Python ile Spark'ı kullanarak Big Data analiz etmeyi öğreneceklerdir.
• Gerçek dünya senaryolarını taklit eden egzersizler üzerinde çalışacaklardır.
• PySpark kullanarak büyük veri analizi için farklı araç ve teknikleri kullanacaklardır.

Bu eğitmen liderliğindeki, canlı eğitim (online veya yerinde), gerçek zamanlı verileri işleme ve analiz etmede Spark Streaming özelliklerini kullanmak isteyen veri mühendisleri, veri bilimcileri ve programcılar için tasarlanmıştır.

Bu eğitimin sonunda katılımcılar, veritabanlarında, dosya sistemlerinde ve canlı gösterge panolarında kullanılmak üzere canlı veri akışlarını işlemek için Spark Streaming'yi kullanabilecektir.

MLlib, Spark’ın makine öğrenimi (ML) kütüphanesidir. Amacı, pratik makine öğrenimini ölçeklenebilir ve kolay hale getirmektir. Sınıflandırma, regresyon, kümeleme, işbirlikçi filtreleme, boyut azaltma gibi yaygın öğrenme algoritmaları ve yardımcı programlarının yanı sıra daha düşük seviyeli optimizasyon öncülleri ve daha yüksek seviyeli pipeline API’lerinden oluşur.

İki pakete ayrılır:

• spark.mllib, RDD’ler üzerine inşa edilmiş orijinal API’yi içerir.

• spark.ml, ML pipeline’ları oluşturmak için DataFrames üzerine inşa edilmiş daha yüksek seviyeli bir API sağlar.

Hedef Kitle

Bu kurs, Apache Spark için yerleşik bir Makine Öğrenimi Kütüphanesini kullanmak isteyen mühendisler ve geliştiricilere yöneliktir.