Analiza danych w czasie rzeczywistym 222890-D
Wykład (WYK) Semestr letni 2022/23

Modelowanie, uczenie i predykcja w trybie wsadowym (offline learning) i przyrostowym (online learning). Problemy przyrostowego uczenia maszynowego.

Modele przetwarzania danych w Big Data. Od plików płaskich do Data Lake. Mity i fakty przetwarzania danych w czasie rzeczywistym

Systemy NRT (near real-time systems), pozyskiwanie danych, streaming, analityka.

Algorytmy estymacji parametrów modelu w trybie przyrostowym. Stochastyczny spadek po gradiencie.

Współczesne architektury aplikacji do przetwarzania danych strumieniowych

Przygotowanie mikroserwisu z modelem ML do zastosowania produkcyjnego.

Przetwarzanie ustrukturyzowanych i niestrukturyzowanych danych w języku Python. Funkcyjne i Obiektowe łączenie z RDB i NoSQL

Agregacje i raportowanie w bazach NoSQL (na przykładzie bazy MongoDB).

Podstawy obiektowego programowania w Pythonie w analizie regresji liniowej, logistycznej oraz sieci neuronowych z wykorzystaniem biblioteki sklearn, TensorFLow i Keras

Architektura IT przetwarzania strumieniowego. Przygotowanie środowiska Apache Spark i Jupyter notebook z wykorzystaniem narzędzia docker. Analizy danych z serwisu Twitter.

Analiza 1 Detekcja wyłudzeń w transakcjach płatniczych z wykorzystaniem środowiska SPARK .Cz 1.

Analiza 1 Detekcja wyłudzeń w transakcjach płatniczych z wykorzystaniem środowiska SPARK i Kafka Cz. 2

Środowisko Microsoft Azure Databricks. Detekcja anomalii i wartości odstających w logowanych zdarzeniach sieci Ethernet.

Narzędzia SAS ESP do przetwarzania danych w czasie rzeczywistym Cz 1.

Narzędzia SAS ESP do przetwarzania danych w czasie rzeczywistym Cz 2.