Python ve veritabanlarında (SQL) veri analizi - RANEPA'dan ücretsiz kurs, eğitim, Tarih: 6 Mart 2023.
Miscellanea / / December 04, 2023
Python Veri Analizi ve Veritabanı (SQL) programı, öğrencilere Python dilini kullanarak ML (Makine Öğrenimi) algoritmalarını programlamanın temellerini anlamalarını sağlayacaktır. Aynı zamanda modern ilişkisel veritabanlarını yönetme alanında bir dizi yeterliliğe hakim olmanıza da yardımcı olacaktır. ve DBMS dil araçlarını (Veritabanı Yönetim Sistemleri) kullanma konusunda pratik beceriler kazanmak veri).
İş dünyasında ve hükümette, büyük miktarda verinin sürekli olarak analiz edilmesi gerekir. İşin kalitesini kontrol etmek için bilgi edinmek, yeni fikirler ortaya koymak ve kabul edilenleri haklı çıkarmak kararlar. Devasa miktarda veriyi anlayan uzmanlar, etkileyici maaşlarla kariyerlerinin hızla ilerlemesini bekleyebilirler.
Kural olarak, veri analizi ile ilgili iş ilanlarında en çok SQL ve Python'dan bahsedilir.
Kursa yalnızca aşağıdaki alanlarda eğitim almayan öğrenciler başvurabilir:
Programda uzmanlaşma sürecinde öğrenciler yeni dijital ürünler (bağımsız olarak veya ekip halinde) geliştirme fırsatına sahip olacaklar. En iyi çözümlerin yazarları Akademi'nin desteğini alacak ve RANEPA'nın Yapay Zeka Laboratuvarı ve Platform Geliştirme Laboratuvarı ile işbirliği yapma fırsatına sahip olacak.
Python
Her şey nasıl çalışıyor? Python Özellikleri.
Neden herkes Python kullanıyor? Diğer programlama dilleriyle karşılaştırma. Programlar nasıl yazılır? Python'un artıları. Python'u görevlerde nasıl kullanılır: kelime işlem, resimlerle çalışma, stok robotları yazma, sohbet botlarını başlatma. Python'da giriş ve çıkış. Python'daki isimler. Temel işlemler. Program yürütme ilerlemesinin kontrolü (koşullu yapılar). Basit program örnekleri.
Döngüler. Çizgiler. Dize yöntemleri.
Ön koşullu döngü. Break ve Continue ifadeleri. Döngü için Çizgi yapısı ve çizgi uzunluğu. Çizgi öğesi ve çizgilerin nasıl kesileceği. Bir dizeden bir alt dize alma. Hat geçişi. Bölümler.
Tuples. Listeler. fonksiyon haritası. Rastgele değer listesi oluşturucu.
Tuple'lara neden ihtiyaç duyulur? Bir listeyle çalışmak. Öğeleri listeleyin. Listeyi yazdırın. Listelerin doğru kopyalanması. Harita işlevini kullanmanın özellikleri. Rastgele değer üreteçleri nelerdir? Bir demet. Setlerle işlemler. Dondurulmuş set. Sözlükler. yöntem al Sözlük geçişi.
Fonksiyonlar. Matematiksel fonksiyonların uygulanması. Kapsam ve hariç tutma.
Fonksiyonlar nasıl doğru yazılır? Basit algoritmalar. İlk fonksiyonların yazılması. Matematik nasıl eklenir? Kendi işlevlerinizi yazmaya yönelik öneriler. Kapsamlar nasıl çalışır? Küresel değişkenler. Bir fonksiyondan birden fazla değer döndürme. İstisnalar.
Dosyalarla çalışma. Matrisler. Sıralama türleri
Dosyalarla ne yapabilirsiniz? Dosyaları açma ve kapatma. Metin dosyalarını okuma ve yazma. Matrisler. Matrislerin doldurulması. Matrisleri satır satır girme. Matrisleri okuma ve yazma. Kabarcık sıralaması. Algoritmanın analizi. Çözümün çeşitli versiyonları.
NumPy kütüphanesine genel bakış. NumPy fonksiyonlarıyla çalışma. SciPY kütüphanesi.
Python kütüphaneleri ve kurulumu. Temel NumPy veri türleri. Sayısal işlevler. Dizilerle çalışma. Dizilerle işlemler. İki boyutlu diziler. Matrisler. SciPy kütüphanesinin temel özellikleri.
Pandalar kitaplığına genel bakış. Temel analitik.
Kütüphanenin kurulumu. Bir Seri nesnesi oluşturma. DataFrame indeksleme. Tablolar. Dosyaları okuma ve yazma. İndeksleme. Veri örnekleme. Satır ve sütunlarla işlemler. NaN'la çalışıyorum. Sıralama.
Veri görselleştirmeleri. Pratik örnekler
Yeni verilerin incelenmesi, ön işleme, veri görselleştirme, özellikler arasındaki bağlantıların araştırılması, eğitim verilerinin hazırlanması ve kredi riski tahmin modellerinin oluşturulması. Şu soruyu yanıtlayan bir model elde etmek: kredi vermek veya vermemek.
Rutin görevlerin otomasyonu. Pratik örnekler
Çeşitli kaynaklardan (Excel dosyaları) veya İnternet'ten toplu bilgi edinmeyle ilgili görevlerin otomasyonuna ilişkin pratik örneklerin analizi.
Veri analizi için kullanılan makine öğrenimi yöntemlerinin gözden geçirilmesi. Pratik örnekler
Denetimli bir öğrenme probleminde temel özelliklerin ve bunların yorumlanmasının tanımlanmasına yönelik pratik bir örnek.
Geçici modül değerlendirmesi
Geçici sertifikasyon bir test (bilgisayar testi) şeklinde gerçekleşir. Tipik bir test binası örneği:
Bir değişkenin türünü bulmak için hangi Python işlevini kullanabilirsiniz?
- hwoami
- tip
- bir çeşit
- dır-dir
Aşağıdaki kodda hangi sayı aralığı oluşturulacak: aralık (9, 3, -2)
- 9 8 7 6 5 4 4
- 9 7 5 3
- 9 7 5
- 11 9 8 7 6 5 4
Listedeki kod pasajı neyi yürütmenize izin veriyor?
- Kod parçacığı: print(math.sqrt(2))
- matematik kütüphanesindeki 2 sayısını gösteriyor
- matematik kütüphanesini bağlama
- bir matematik sayısının karesini alma
- ikinin karekökünü gösteriyor
SQL
Veri depolama ve bütünlük.
Veri depolama: veri dosyaları, günlükler, RAID düzeyleri, Tempdb. Veritabanlarındaki ilişkiler, bire bir, bire çok, çoktan çoğa. Veri bütünlüğü: BİRİNCİL ANAHTAR, KONTROL, BENZERSİZ ve YABANCI ANAHTAR. Tabloların normalleştirilmesi.
Veritabanı ve tablolar oluşturma.
DBMS mimarisi: mantıksal (tablolar ve veri türü, anahtarlar, dizinler, görünümler, derlemeler, kısıtlamalar, kurallar, varsayılan değerler) ve fiziksel düzeyler (dosyalar ve dosya grupları, sayfalar). Veritabanı oluşturma. Tablo alanı veri türleri: Tam sayılar, Unicode karakter dizeleri, yaklaşık sayılar, ikili veriler, tarih ve saat, diğer veri türleri, karakter dizeleri. Tablolar oluşturma. İstekler nereye yazılır?
İndeksler. Diyagramlar.
Dizinler: kümelenmiş, kümelenmemiş, benzersiz tanımlama, filtrelenmiş, sütun deposu, karma, kümelenmemiş, bellek için optimize edilmiş dizin. ER diyagramları: Veritabanı Diyagramları, Veritabanı Düğümü. DML ve en yaygın SQL operatörleri: SELECT, INSERT, UPDATE, DELETE. Benzersiz faktörlerin önemi.
İstekler. Dış bağlantılar.
Tek tablodaki sorgular. Tekrarsız örnekleme. Birden fazla tablodaki sorgular. Dış birleşimler: SOL, SAĞ veya TAM.
Toplama fonksiyonları. Alt sorgular.
Alt sorgular: NEREDE COUNT, SUM, AVG, MAX, MIN, IN, ALL, HERHANGİ BİR. Verileri birleştirme: KATIL seçeneğini seçin. Toplama işlevleri: AVG, CHECKSUM_AGG, COUNT, COUNT_BIG, GROUPING, GROUPING_ID, MAX, MIN, STDSAPMA, STDEVP, STRING_AGG, SUM, VAR, VARP. Toplama fonksiyonları için koşullar.
Yararlı özellikler.
Operatörler hakkında biraz daha. Endüstriyel talep. Yararlı işlevler: SQRT, RAND, CONCAT, sayısal ve dize işlevleri. İşlem önceliği ve tür dönüşümü: CAST, CONVERT.
İşlemler. Temsil.
Dört şekilde bir istek. İşlemler: işlem kavramı - atomiklik, tutarlılık, izolasyon, dayanıklılık, işlem yönetimi - KAYIT, GERİ ALMA, KAYIT NOKTASI, İŞLEMİ AYARLA. Paralel veri erişimi: kirli, tekrarlanamayan okuma sorunları, hayaletler. Görünümler: indekslenmiş, bölümlenmiş, sistem.
Değişkenler ve döngüler.
Programlamanın başlangıcı. Değişkenler: DECLARE, SET, SELECT. Kod yapısı. Veri tanımlama operatörleri: CREATE, DROP, ALTER, vb. Veri işleme operatörleri: INSERT, DELETE, SELECT, UPDATE, vb. Veritabanındaki erişim haklarını ayarlamak için operatörler: GRANT / REVOKE, LOCK / UNLOCK, SET LOCK MODE Koruma, veri kurtarma ve diğer operatörler için operatörler. Döngüler: WHILE.
Saklı prosedürler ve işlevler.
Geçici tablolar. Transact-SQL imleçleri, sunucu, istemci. İmleç türleri: tek yönlü, statik, Tuş takımı, dinamik. Saklı prosedürler ve işlevler: CREATE PROCEDURE, CREATE PROC.
Tetikleyiciler. İstisnalar.
Konveyör HF. Tetikleyiciler: SONRA, YERİNE. İstisnalar: HARİÇ. Anahtar kelimeyi kullanan ve saklı yordamı kullanan dinamik SQL: HEMEN ÇALIŞTIRIN.
DBMS. NoSQL veritabanları.
Programlama/DBMS/SQL'deki işlemler. İsteklerin nasıl yürütüldüğü. Sorgu performansı nasıl artırılır? NoSQL veritabanı ve avantajları.
Geçici modül değerlendirmesi
Geçici sertifikasyon bir test (bilgisayar testi) şeklinde gerçekleşir. Tipik bir test binası örneği:
NUMBER türü ne tür alan verisidir?
- sicim
- sayısal
- ikili
Hangi SQL komutu verileri sorgular?
- DEĞİŞTİR
- SEÇME
- İTİBAREN
İşlem nedir?
- bu, DBMS tarafından gerçekleştirilen bir grup işlemdir
- ACID özelliklerine sahip bir işlemler grubudur
- bu bir SQL komutunu yürütme işlemidir