Veri Mühendisi - kurs 89.000 ruble. Otus'tan, 4 aylık eğitim, tarih 30 Kasım 2023.
Miscellanea / / December 03, 2023
Bu kurs size ne kazandıracak?
- Büyük verileri entegre etmenin, işlemenin ve depolamanın temel yollarını anlamak
- Hadoop ekosistem bileşenleri, dağıtılmış depolama ve bulut çözümleriyle çalışabilme yeteneği
- Veri hizmetleri, vitrinler ve uygulamalar geliştirmede pratik beceriler
- İzleme, orkestrasyon ve testin organize edilmesinin ilkeleri bilgisi
Kurs ele alındı geliştiriciler, DBMS yöneticileri ve profesyonel seviyelerini geliştirmek, yeni araçlarda uzmanlaşmak ve verilerle çalışma alanında ilginç görevlerle uğraşmak isteyen herkes.
Veri Mühendisliği okuduktan sonra aşağıdaki özelliklere sahip aranan bir uzman olacaksınız:
- veri işleme araçlarını dağıtır, ayarlar ve optimize eder
- daha fazla çalışma ve analiz için veri kümelerini uyarlar
- Büyük miktarda verinin işlenmesinin sonuçlarını kullanan hizmetler oluşturur
- Şirketteki veri mimarisinden sorumlu
Gerçek Durum Çalışmaları: uygulama örnekleri, araç kullanımı, performans optimizasyonu, sorunlar, hatalar ve uygulanan sonuçlar
Son derece pratik yönelim:
Kurs sırasında uygulamalı problemleri çözerek aşamalı olarak çalışan bir ürün yaratacağız.
Modern işletmenin zorluklarının ve görevlerinin ve Veri Mühendisinin bunları çözmedeki rolünün bütünsel bir resmi
İşverenler arasındaki talep
40 işveren şimdiden kurs mezunlarını mülakata çağırmaya hazır
6
derslerWildberries, DE Junior kurs konuşmacısında veri mühendisi. BT'de 7 yıldan fazla
Voronezh Devlet Üniversitesi'nden onur derecesi ile mezun oldu. Halen SEÇ yüksek lisans programında "Sistem ve Yazılım Mühendisliği" öğrencisiyim. Mesleki deneyim - Veri Analisti ve Veri Mühendisi olarak 2 yıllık çalışma. Şu anda 5 popüler veritabanıyla çalışıyor, Python'da gelişiyor ve becerilerini hızla geliştiriyor. Deneyimlerimi paylaşmaya hazırım.
1
Peki10 yıldan fazla bir süredir şirkette analitik geliştiriyor. Başarılar arasında: - Kendi uçtan uca web analiz sistemimizin inşası; - MPP Vertica'ya dayalı bir analitik deponun inşası; - Spark, Kafka, HDFS'ye dayalı veri işleme organizasyonu; -...
10 yıldan fazla bir süredir şirkette analitik geliştiriyor. Başarılar arasında: - Kendi uçtan uca web analiz sistemimizin inşası; - MPP Vertica'ya dayalı bir analitik deponun inşası; - Spark'a dayalı veri işleme organizasyonu, Kafka, HDFS;- Veri kalitesi de dahil olmak üzere verilerle çalışmaya yönelik süreçler oluşturma;- Meta verileri çalışmak ve yapılandırmak için çeşitli dahili araçların oluşturulması (Veri Kataloğu);- Gerçek zamanlı olmak üzere kurumsal raporlama sisteminin kurulması; - 5 yılı aşkın süredir şirket içerisinde Veri Okuryazarlığını arttırmakta, verilerle çalışma konusunda çeşitli eğitimler vermekte, araçlar, SQL; Ayrıca şu anda büyük şirketlerde çalışan birçok analitik lideri de yetiştirdi. Ana odak noktası, verilerle çalışırken ve bunları çözerken iş sorunlarını anlamaktır.
1
PekiBölüm Başkanı, Sberbank Hem büyük şirketlerde hem de yeni kurulan şirketlerde web uygulamalarının oluşturulması ve bakımı da dahil olmak üzere endüstriyel geliştirme alanında 8 yıllık deneyim. Büyük devlet kurumları için dağıtılmış sistemlerin 3 yıllık gelişimi...
Bölüm Başkanı, Sberbank Hem büyük şirketlerde hem de yeni kurulan şirketlerde web uygulamalarının oluşturulması ve bakımı da dahil olmak üzere endüstriyel geliştirme alanında 8 yıllık deneyim. Büyük devlet müşterileri için 3 yıllık dağıtılmış sistemlerin geliştirilmesi. Prototipten endüstriyel kullanıma hazır hale gelene kadar üç projeyi sıfırdan hayata geçirdi. Şu anda bankanın iç müşterileri için tam kapsamlı geliştirme çalışmaları yürütüyor, veri analizi ve mühendislikle ilgili sorunları çözüyoruz. Java, Scala, Python, Javascript programlama konusunda deneyim. Dağıtılmış sistemler oluşturmaktan tahmine dayalı analitik ve amaç analizine kadar geniş bir yelpazedeki profesyonel ilgi alanları. Eğitim: UrFU'dan adını alan lisans derecesi. B.N. Yeltsin “Bilgi Teknolojileri”.
Veri Mimarisi
-Konu 1.Veri Mühendisi. Görevler, beceriler, araçlar, pazar ihtiyaçları
-Konu 2.Analitik uygulamaların mimarisi: temel bileşenler ve ilkeler
-Konu 3.Şirket içi / Bulut çözümleri
-Konu 4. Boru hattı otomasyonu ve orkestrasyonu – 1
-Konu 5. Boru hattı otomasyonu ve orkestrasyonu – 2
Veri Gölü
-Konu 6. Dağıtılmış dosya sistemleri. HDFS/S3
-Konu 7. Hadoop'a SQL erişimi. Apache Kovanı/Presto
-Konu 8. Veri saklama formatları ve özellikleri
-Konu 9. 1 vaka için uzaktan kumandanın analizi
-Konu 10.Mesaj kuyrukları. Kafka'ya genel bakış.
-Konu 11.Harici sistemlerden veri indirme
-Konu 12.Apache Spark – 1
-Konu 13.Apache Spark – 2
DWH
-Konu 14.Analitik DBMS. MPP veritabanları
-Konu 15.DWH Modelleme – 1. dbt'nin temelleri
-Konu 16.DWH Modelleme – 2. Veri Kasası 2.0
-Konu 17.Analitik uygulamalarda DevOps uygulamaları. CI+CD
-Konu 18. Durum 2 için uzaktan kumandanın analizi
-Konu 19.Veri Kalitesi. Veri Kalitesi Yönetimi
-Konu 20. Bir BI çözümünün dağıtımı
-Konu 21.İzleme / Meta Veri
NoSQL/YeniSQL
-Konu 22.NoSQL Depolama. Geniş sütun ve anahtar/değer çifti
-Konu 23.NoSQL Depolama. Belge odaklı
-Tema 24.ELK
-Tema 25.ClickHouse
-Konu 26. Durum 3 için uzaktan kumandanın analizi
MLOps
-Konu 27.Kodun Düzenlenmesi ve Paketlenmesi
-Konu 28.Docker ve REST mimarisi
-Tema 29.MLFlow + DVC
-Konu 30. Modellerin dağıtımı
-Konu 31. Durum 4 için uzaktan kumandanın analizi
-Konu 32. Durum 5 için uzaktan kumandanın analizi
Mezuniyet projesi
-Konu 33. Proje çalışmasının konusunun seçimi ve organizasyonu
-Konu 34.Danışma
-Konu 35.Koruma