Eğitim İçeriği
- Giriş
- Hadoop tarih, kavramlar
- Ekosistem
- Dağıtımlar
- Yüksek seviyeli mimari
- Hadoop efsaneler
- Hadoop zorluklar (donanım / yazılım)
- Laboratuvarlar: Big Data projelerinizi ve sorunlarınızı tartışın
- Planlama ve kurulum
- Yazılım, Hadoop dağıtımların seçimi
- Küme boyutlandırma, büyüme planlaması
- Donanım ve ağ seçimi
- Rack topolojisi
- Kurulum
- Çok kiracılık
- Dizin yapısı, günlükler
- Benchmark testi
- Laboratuvarlar: küme kurulumu, performans benchmark testi çalıştırın
- HDFS işlemleri
- Kavramlar (yatay ölçeklendirme, replikasyon, veri yerelliği, rack farkındalığı)
- Düğümler ve daemon'lar (NameNode, Secondary NameNode, HA Standby NameNode, DataNode)
- Sağlık izleme
- Komut satırı ve tarayıcı tabanlı yönetim
- Depolama alanı ekleme, hatalı sürücüleri değiştirme
- Laboratuvarlar: HDFS komut satırlarına aşina olun
- Veri alımı
- Günlükler ve diğer verilerin HDFS'ye alınması için Flume
- SQL veritabanlarından HDFS'ye ve geri aktarmak için Sqoop
- Hadoop veri ambarı Hive ile
- Kümeler arasında veri kopyalama (distcp)
- HDFS'ye tamamlayıcı olarak S3'ü kullanma
- Veri alımı en iyi uygulamaları ve mimarileri
- Laboratuvarlar: Flume'yi kurun ve kullanın, aynı şekilde Sqoop için de
- MapReduce işlemleri ve yönetimi
- MapReduce'den önce paralel hesaplama: HPC ve Hadoop yönetimini karşılaştırın
- MapReduce küme yükleri
- Düğümler ve Daemon'lar (JobTracker, TaskTracker)
- MapReduce UI'da gezinti
- MapReduce yapılandırması
- İş yapılandırması
- MapReduce'ü optimize etme
- MR'yi hatasız hale getirme: programcılarınıza ne söylemelisiniz
- Laboratuvarlar: MapReduce örneklerini çalıştırın
- YARN: yeni mimari ve yeni yetenekler
- YARN tasarım hedefleri ve uygulama mimarisi
- Yeni aktörler: ResourceManager, NodeManager, Application Master
- YARN'ı kurma
- YARN altında iş planlaması
- Laboratuvarlar: iş planlamasını araştırın
- İleri düzey konular
- Donanım izleme
- Küme izleme
- Sunucuları ekleme / kaldırma, Hadoop yükseltme
- Yedekleme, kurtarma ve iş sürekliliği planlaması
- Oozie iş akışları
- Hadoop yüksek kullanılabilirlik (HA)
- Hadoop Federasyon
- Kümeyi Kerberos ile güvence altına alma
- Laboratuvarlar: izleme kurulumu
- İsteğe bağlı yollar
- Küme yönetimi, izleme ve rutin görevler için Cloudera Manager; kurulum, kullanım. Bu yolda tüm egzersizler ve laboratuvarlar Cloudera dağıtım ortamında (CDH5) gerçekleştirilir
- Küme yönetimi, izleme ve rutin görevler için Ambari; kurulum, kullanım. Bu yolda tüm egzersizler ve laboratuvarlar Ambari küme yöneticisi ve Hortonworks Data Platform (HDP 2.0) içinde gerçekleştirilir
Kurs İçin Gerekli Önbilgiler
- temel Linux sistem yönetimi konusunda rahatlık
- temel betik oluşturma becerileri
Hadoop ve Dağıtık Hesaplama bilgisi gerekli değildir, ancak kurs kapsamında tanıtılacak ve açıklanacaktır.
Laboratuvar ortamı
Zero Install: Öğrencilerin makinelerine hadoop yazılımı kurmaya gerek yok! Öğrencilere çalışan bir hadoop kümesi sağlanacaktır.
Öğrencilerin aşağıdakilere ihtiyacı olacaktır
- bir SSH istemcisi (Linux ve Mac'lerde zaten ssh istemcileri bulunmaktadır, Windows için Putty önerilir)
- kümeye erişmek için bir tarayıcı. Firefox tarayıcısının FoxyProxy uzantısı ile kurulmasını öneriyoruz
Danışanlarımızın Yorumları (5)
The live examples
Ahmet Bolat - Accenture Industrial SS
Eğitim - Python, Spark, and Hadoop for Big Data
During the exercises, James explained me every step whereever I was getting stuck in more detail. I was completely new to NIFI. He explained the actual purpose of NIFI, even the basics such as open source. He covered every concept of Nifi starting from Beginner Level to Developer Level.
Firdous Hashim Ali - MOD A BLOCK
Eğitim - Apache NiFi for Administrators
Trainer's preparation & organization, and quality of materials provided on github.
Mateusz Rek - MicroStrategy Poland Sp. z o.o.
Eğitim - Impala for Business Intelligence
That I had it in the first place.
Peter Scales - CACI Ltd
Eğitim - Apache NiFi for Developers
practical things of doing, also theory was served good by Ajay