Analiza danych w czasie rzeczywistym 222890-D
Laboratorium (LAB) Semestr letni 2025/26

Informacje o zajęciach (wspólne dla wszystkich grup)

Liczba godzin:

Limit miejsc:

(brak limitu)

Zakres tematów:

Od plików płaskich do Data Mash. Modele przetwarzania danych w Big Data.

ETL i modelowanie w trybie wsadowym (offline learning) i przyrostowym (online learning).

Strumienie danych, zdarzenia i koncepcje czasu i okien czasowych w przetwarzaniu danych w czasie rzeczywistym.

Mikroserwisy i komuniakcja przez REST API.

Współczesne architektury aplikacji do przetwarzania danych strumieniowych - Lambda, Kappa, Pub/Sub.

Przetwarzanie ustrukturyzowanych i niestrukturyzowanych danych. Środowisko programistyczne dla języka Python.

Wykorzystanie obiektowych elementów Pythona w procesie modelowania za pomocą Scikit-Learn i Keras

Podstawy OOP dla języka Python. Budowa klasy dla algorytmu błądzenia losowego, Perceprtonu i Adeline.

Przygotowanie mikroserwisu z modelem ML do zastosowania produkcyjnego.

Strumieniowanie danych z wykorzystaniem RDD dla Apache Spark. Wprowadzenie do obiektu DataFrame.

Metody tworzenia sturmienia danych z wykorzystaniem obiektu DataFrame w Apache Spark. Sterowanie Outputem i Inputem.

Strumieniowanie danych z wykorzystaniem Apache Kafka. Obiekty producenta i konsumenta.

Przechwytywanie strumieni danych ze źródła Apache Kafka i ich transforamcje w Apache Spark

Detekcja anomalii dla danych strumieniowych z wykorzystaniem Apache Kafka, Apache Spark i modelu IsolationForest.

Przegląd realizacji projektów.

Grupa	Termin(y)	Prowadzący	Akcje
11	każdy poniedziałek, 8:00 - 9:40, budynek G (główny), sala 108 komp	Sebastian Zając	szczegóły
12	każdy poniedziałek, 9:50 - 11:30, budynek G (główny), sala 108 komp	Sebastian Zając	szczegóły
13	każdy poniedziałek, 11:40 - 13:20, budynek G (główny), sala 108 komp	Sebastian Zając	szczegóły
14	każdy poniedziałek, 13:30 - 15:10, budynek G (główny), sala 108 komp	Sebastian Zając	szczegóły
15	każdy wtorek, 11:40 - 13:20, budynek B (Biblioteka), sala 12 komp	Sebastian Zając	szczegóły
16	każdy wtorek, 13:30 - 15:10, budynek B (Biblioteka), sala 12 komp	Sebastian Zając	szczegóły

Opisy przedmiotów w USOS i USOSweb są chronione prawem autorskim.
Właścicielem praw autorskich jest Szkoła Główna Handlowa w Warszawie.