Kurs "Veri Mühendisi" - kurs 95.000 ruble. Yandex Atölyesinden, eğitim 6,5 ay, Tarih: 11 Aralık 2023.
Miscellanea / / November 30, 2023
Pratik geliştiriciler için
Verilerle çalışmak için bir altyapı oluşturmayı öğrenin ve mevcut rolünüzde kullanmak veya yönünüzü bir veri mühendisine değiştirmek için bilginizi sistematik hale getirmeyi öğrenin.
Gelecek vadeden veri mühendisleri için
Bilginin yapılandırılması: Açık teoriye ek olarak çok sayıda pratik yapılacaktır. Projeler üzerinde çalışarak deneyim kazanacaksınız; bu, bir portföy oluşturmanıza, diğer adaylardan öne çıkmanıza ve gerçek işte kaybolmamanıza yardımcı olacaktır.
Veri Bilimi Uzmanları ve Analistleri
Görevlerle daha etkili bir şekilde başa çıkmanıza yardımcı olacak becerilerde uzmanlaşın: veri hatları oluşturun, vitrinler tasarlayın, ETL oluşturun ve büyük hacimli ham verileri toplayın.
Veri modelini güncelleme
1 modül 2 hafta
Şirket sizi süreçlerine dahil etmeye devam ediyor. Üzerinde çalıştığınız veriler güncellendiğinden veri modelini değiştirmeniz gerekiyor.
Bu kursta:
- şirketin nasıl bir veritabanı oluşturduğunu anlayın;
- mevcut veritabanının yapısını yeni iş gereksinimlerine uygun olarak güncellemek;
- analistler ve yöneticiler için yeni vitrinler ve ölçümler hazırlamak.
Teknolojiler ve araçlar:
- PostgreSQL
Portföydeki +1 proje
Çevrimiçi mağaza kitlesi analitiği için artımlı yüklemeye sahip bir veri pazarı oluşturun.
DWH: veri modeli revizyonu
Modül 2 3 hafta
Şirket büyüyor, veri mimarisi daha karmaşık hale geliyor. Verilerle süreçleri optimize etmek için size bir görev verildi.
Bu kursta:
- iş kayıplarını en aza indirirken (sıfır kesinti süresi dağıtımı) eski veritabanı şemasından yenisine geçiş sürecini düşünün;
- veri geçişini hazırlamak;
- olası sorunları dikkate alın ve değişiklikleri geri alma seçeneğini tasarlayın;
- Yeni bir veritabanı yapısı uygulayın ve onu verilerle ilgili mevcut süreçlere uyarlayın.
Teknolojiler ve araçlar:
- PosgreSQL
- Python
Portföydeki +1 proje
Veri modelini düzene koyacak ve verileri çevrimiçi mağazanın mevcut depolama alanına taşıyacaksınız.
ETL: veri hazırlama otomasyonu
Modül 3 3 hafta
Artık şirketin veri ambarı hakkında neredeyse her şeyi biliyorsunuz. ETL süreçlerini yeniden düşünmenin zamanı geldi.
Bu kursta:
- veri hattını otomatikleştirin;
- kaynaklardan verilerin otomatik olarak indirilmesini yapılandırmak;
- veri tabanına düzenli ve aşamalı olarak veri yüklemeyi öğrenin.
Teknolojiler ve araçlar:
- Python
- Hava akışı
- PostgreSQL
Portföydeki +1 proje
Bir e-ticaret projesi için verilerin kaynaklardan otomatik olarak alınması, işlenmesi ve yüklenmesi için bir işlem hattı oluşturun.
Veri kalitesi kontrolü
Modül 4 1 hafta
İlk işlem hatlarınızın iyi çalıştığından emin olmak istiyorsunuz. Veri kalitesi kontrol edilmeli ve arızalar zamanında takip edilmelidir.
Bu kursta:
- meta bilgi ve dokümantasyonun nasıl kullanılacağını anlamak;
- Verilerin kalitesini değerlendirin.
Birden fazla kaynak için DWH
Modül 5 2 hafta
DWH'yi araştırmaya devam ediyorsunuz çünkü şirketin gelişimi ve dolayısıyla veri hacmindeki artış durdurulamıyor.
Bu kursta:
- ilişkisel bir DBMS üzerinde sıfırdan DWH oluşturun;
- Veri kaynağı olarak MongoDB'yi tanıyın.
Teknolojiler ve araçlar:
- PostgreSQL
- MongoDB
Portföydeki +1 proje
Şirket içi bir girişim için DWH'yi tasarlayacak ve uygulayacaksınız.
Analitik veritabanları
Modül 6 2 hafta
Saklanması ve işlenmesi gereken giderek daha fazla spesifik yapılandırılmamış veri var. Bu nedenle, Vertica DBMS'yi örnek olarak kullanarak size analitik veritabanları kavramını tanıtacağız.
Bu kursta:
- Vertica'daki depolama organizasyonunu inceleyin;
- Vertica'da verilerle temel işlemlerin nasıl yapıldığını öğrenin;
- Vertica'da basit bir veri ambarı oluşturun.
Teknolojiler ve araçlar:
- Vertika
- PostgreSQL
- Hava akışı
- S3
Portföydeki +1 proje
Vertica'yı kullanarak yüksek yüklü, düşük yapılı bir mesajlaşma veri sistemi için bir DWH oluşturun.
Veri Gölü Organizasyonu
Modül 7 4 hafta
Klasik çözümler veri hacmiyle baş etmeye yardımcı olmuyor. Yeni iş zorluklarıyla başa çıkmak için bir Veri Gölü oluşturup dolduracaksınız.
Bu kursta:
- Data Lake mimarisini göz önünde bulundurun (çev. "veri gölü");
- MPP sistemindeki verileri işlemeyi öğrenin;
- Veri Gölünü kaynaklardan gelen verilerle doldurmak;
- PySpark ve Airflow'u kullanarak veri işleme pratiği yapın.
Teknolojiler ve araçlar:
- Hadoop
- Harita indirgeme
- HDFS
- Apache Spark (PySpark)
Portföydeki +1 proje
Bir Veri Gölü oluşturun ve içindeki verilerin yüklenmesini ve işlenmesini otomatikleştirin.
Akış işleme
Modül 8 3 hafta
Büyük miktarda veriyle zorlukların üstesinden geldiniz, ancak yeni bir görev ortaya çıktı; işletmenin kararları daha hızlı almasına yardımcı olmanız gerekiyor. Burada akış veri işleme bilgisine ihtiyacınız olacak. yayın Akışı).
Bu kursta:
- akış veri işlemenin özelliklerini göz önünde bulundurun;
- kendi akış sisteminizi oluşturun;
- gerçek zamanlı verileri kullanarak bir vitrin oluşturun.
Teknolojiler ve araçlar:
- Kafka'nın
- Kıvılcım Akışı
Portföydeki +1 proje
Gerçek zamanlı bir veri işleme sistemi geliştireceksiniz.
Bulut teknolojileri
Modül 9 3 hafta
Artık hem büyük hacimli verilerle hem de akışlarla çalışabilirsiniz. Geriye kalan tek şey, bulut hizmetlerini kullanarak sistemlerin ölçeklendirilmesini otomatikleştirmektir.
Bu kursta, üzerinde çalışılan çözümlerin bulutta (örnek olarak Yandex Cloud kullanılarak) nasıl uygulanacağını öğreneceksiniz.
Teknolojiler ve araçlar:
- Yandex. Bulut
- Kubernet'ler
- kubectl
- Redis
- PostgreSQL
Portföydeki +1 proje
Verilerin bulutta saklanması ve işlenmesi için altyapı geliştireceksiniz.
Mezuniyet projesi
Modül 10 3 hafta
Yeni beceriler öğrendiğinizi doğrulayın.
Burada bir iş sorununa bağımsız olarak çözümler seçip uygulamanız gerekecek. Bu, öğrendiğiniz araçların kullanımını ve bağımsızlığınızı bir kez daha güçlendirmenize yardımcı olacaktır.