Analiza danych w czasie rzeczywistym

1. Od plików płaskich do Data Mash. Modele przetwarzania danych w Big Data.

2. ETL i modelowanie w trybie wsadowym (offline learning) i przyrostowym (online learning). Map-Reduce.

3. Strumienie danych, zdarzenia i koncepcje czasu i okien czasowych w przetwarzaniu danych w czasie rzeczywistym.

4. Mikroserwisy i komuniakcja przez REST API.

5. Współczesne architektury aplikacji do przetwarzania danych strumieniowych - Lambda, Kappa, Pub/Sub.

6. Przetwarzanie ustrukturyzowanych i niestrukturyzowanych danych. Środowisko programistyczne dla języka Python.

7. Wykorzystanie obiektowych elementów Pythona w procesie modelowania za pomocą Scikit-Learn i Keras

8. Podstawy OOP dla języka Python. Budowa klasy dla algorytmu błądzenia losowego, Perceprtonu i Adeline.

9. Przygotowanie mikroserwisu z modelem ML do zastosowania produkcyjnego.

10. Strumieniowanie danych z wykorzystaniem RDD dla Apache Spark. Wprowadzenie do obiektu DataFrame.

11. Metody tworzenia stur

Podejmowanie prawidłowych decyzji opartych na danych i ich analizie jest niezwykle istotne w dzisiejszym i nowoczesnym biznesie. Wprowadzenie nowoczesnych metod takich jak uczenie maszynowe, sztuczna inteligencja i głębokie sieci neuronowe, może znacznie poprawić zarówno zrozumienie biznesu, jak i jakość podejmowanych decyzji. Ponadto, szybkośc podejmowania decyzji jest kluczowym czynnikiem w dynamicznym środowisku biznesowym, zwłaszcza tam, gdzie pracuje się bezpośrednio z klientem. Zajęcia mają na celu przekazanie studentom doświadczenia oraz kompleksowej wiedzy teoretycznej w zakresie przetwarzania i analizy danych w czasie rzeczywistym oraz zaprezentowanie najnowszych technologii informatycznych służących do przetwarzania danych ustrukturyzowanych (pochodzących np. z hurtowni danych) jak i nieustrukturyzowanych (np. obrazy, dźwięk, strumieniowanie video) w trybie on-line. W toku zajęć przedstawiona zostanie filozofia analizy dużych danych w czasie rzeczywistym jz wykorzystaniem programowania w języku Python. Przedstawione zostaną struktury oprogramowania służące do przetwarzania danych wraz z omówieniem problemów i trudności jakie spotyka się w realizacji modelowania w czasie rzeczywistym dla dużej ilości danych. Wiedza teoretyczna zdobywana będzie (oprócz części wykładowej) poprzez realizację przypadków testowych w narzędziach takich jak Apache Spark czy Apache Kafka. Na zajęciach laboratoryjnych studenci korzystać będą z pełni skonfigurowanych środowisk programistycznych przygotowanych do przetwarzania, modelowania i analizy danych. Tak, aby oprócz umiejętności i znajomości technik analitycznych studenci poznali i zrozumieli najnowsze technologie informatyczne związane z przetwarzaniem danych w czasie rzeczywistym.

Literatura podstawowa:

1. Zając S. "Modelowanie dla biznesu. Analityka w czasie rzeczywistym - narzędzia informatyczne i biznesowe. Oficyna Wydawnicza SGH, Warszawa 2022

2. K. Przanowski K. , Zając S. red. "Modelowanie dla biznesu, metody ML, modele portfela CF, modele rekurencyjne, analizy przeżycia, modele scoringowe, SGH, Warszawa 2020.

3. Frątczak E., red. "Modelowanie dla biznesu, Regresja logistyczna, Regresja Poissona, Survival Data Mining, CRM, Credit Scoring". SGH, Warszawa 2019.

4. S. Raschka, Python. Uczenie maszynowe. Wydanie II

5. Maas G., Garillot F. Stream Processing with Apache Spark, O'Reilly, 2021

6. F. Hueske, V. Kalavri Stream Processing with Apache Flink, O'Reilly, 2021

7. Nandi A. "Spark for Python Developers", 2015

Literatura uzupełniająca:

1. Frątczak E., "Statistics for Management & Economics" SGH, Warszawa, 2015

2. Simon P., "Too Big to IGNORE. The Business Case for Big Data", John Wiley & Sons Inc., 2013

3. Frank J. Ohlhorst. "Big Data Analytics. Turning Big Data into Big Money". John Wiley & Sons. Inc. 2013

4. Russell J. "Zwinna analiza danych Apache Hadoop dla każdego", Helion, 2014

5. Todman C., "Projektowanie hurtowni danych, Wspomaganie zarządzania relacjami z klientami", Helion, 2011

6. P. Bruce, A. Bruce, P. Gedeck, "Statystyka praktyczna w data science. 50 kluczowych zagadnień w językach R i Python". Helion, Wydanie II, 2021

Kryteria oceniania:

egzamin tradycyjny-pisemny: 0.00%

egzamin testowy: 40.00%

egzamin ustny: 0.00%

kolokwium: 20.00%

referaty/eseje: 40.00%

ocena z ćwiczeń: 0.00%

inne: 0.00%

1. Od plików płaskich do Data Mash. Modele przetwarzania danych w Big Data.

2. ETL i modelowanie w trybie wsadowym (offline learning) i przyrostowym (online learning). Map-Reduce.

3. Strumienie danych, zdarzenia i koncepcje czasu i okien czasowych w przetwarzaniu danych w czasie rzeczywistym.

4. Mikroserwisy i komuniakcja przez REST API.

5. Współczesne architektury aplikacji do przetwarzania danych strumieniowych - Lambda, Kappa, Pub/Sub.

6. Przetwarzanie ustrukturyzowanych i niestrukturyzowanych danych. Środowisko programistyczne dla języka Python.

7. Wykorzystanie obiektowych elementów Pythona w procesie modelowania za pomocą Scikit-Learn i Keras

8. Podstawy OOP dla języka Python. Budowa klasy dla algorytmu błądzenia losowego, Perceprtonu i Adeline.

9. Przygotowanie mikroserwisu z modelem ML do zastosowania produkcyjnego.

10. Strumieniowanie danych z wykorzystaniem RDD dla Apache Spark. Wprowadzenie do obiektu DataFrame.

11. Metody tworzenia stur

Podejmowanie prawidłowych decyzji opartych na danych i ich analizie jest niezwykle istotne w dzisiejszym i nowoczesnym biznesie. Wprowadzenie nowoczesnych metod takich jak uczenie maszynowe, sztuczna inteligencja i głębokie sieci neuronowe, może znacznie poprawić zarówno zrozumienie biznesu, jak i jakość podejmowanych decyzji. Ponadto, szybkośc podejmowania decyzji jest kluczowym czynnikiem w dynamicznym środowisku biznesowym, zwłaszcza tam, gdzie pracuje się bezpośrednio z klientem. Zajęcia mają na celu przekazanie studentom doświadczenia oraz kompleksowej wiedzy teoretycznej w zakresie przetwarzania i analizy danych w czasie rzeczywistym oraz zaprezentowanie najnowszych technologii informatycznych służących do przetwarzania danych ustrukturyzowanych (pochodzących np. z hurtowni danych) jak i nieustrukturyzowanych (np. obrazy, dźwięk, strumieniowanie video) w trybie on-line. W toku zajęć przedstawiona zostanie filozofia analizy dużych danych w czasie rzeczywistym jz wykorzystaniem programowania w języku Python. Przedstawione zostaną struktury oprogramowania służące do przetwarzania danych wraz z omówieniem problemów i trudności jakie spotyka się w realizacji modelowania w czasie rzeczywistym dla dużej ilości danych. Wiedza teoretyczna zdobywana będzie (oprócz części wykładowej) poprzez realizację przypadków testowych w narzędziach takich jak Apache Spark czy Apache Kafka. Na zajęciach laboratoryjnych studenci korzystać będą z pełni skonfigurowanych środowisk programistycznych przygotowanych do przetwarzania, modelowania i analizy danych. Tak, aby oprócz umiejętności i znajomości technik analitycznych studenci poznali i zrozumieli najnowsze technologie informatyczne związane z przetwarzaniem danych w czasie rzeczywistym.

Literatura podstawowa:

1. Zając S. "Modelowanie dla biznesu. Analityka w czasie rzeczywistym - narzędzia informatyczne i biznesowe. Oficyna Wydawnicza SGH, Warszawa 2022

2. K. Przanowski K. , Zając S. red. "Modelowanie dla biznesu, metody ML, modele portfela CF, modele rekurencyjne, analizy przeżycia, modele scoringowe, SGH, Warszawa 2020.

3. Frątczak E., red. "Modelowanie dla biznesu, Regresja logistyczna, Regresja Poissona, Survival Data Mining, CRM, Credit Scoring". SGH, Warszawa 2019.

4. S. Raschka, Python. Uczenie maszynowe. Wydanie II

5. Maas G., Garillot F. Stream Processing with Apache Spark, O'Reilly, 2021

6. F. Hueske, V. Kalavri Stream Processing with Apache Flink, O'Reilly, 2021

7. Nandi A. "Spark for Python Developers", 2015

Literatura uzupełniająca:

1. Frątczak E., "Statistics for Management & Economics" SGH, Warszawa, 2015

2. Simon P., "Too Big to IGNORE. The Business Case for Big Data", John Wiley & Sons Inc., 2013

3. Frank J. Ohlhorst. "Big Data Analytics. Turning Big Data into Big Money". John Wiley & Sons. Inc. 2013

4. Russell J. "Zwinna analiza danych Apache Hadoop dla każdego", Helion, 2014

5. Todman C., "Projektowanie hurtowni danych, Wspomaganie zarządzania relacjami z klientami", Helion, 2011

6. P. Bruce, A. Bruce, P. Gedeck, "Statystyka praktyczna w data science. 50 kluczowych zagadnień w językach R i Python". Helion, Wydanie II, 2021

Kryteria oceniania:

egzamin tradycyjny-pisemny: 0.00%

egzamin testowy: 40.00%

egzamin ustny: 0.00%

kolokwium: 20.00%

referaty/eseje: 40.00%

ocena z ćwiczeń: 0.00%

inne: 0.00%

1. Modelowanie, uczenie i predykcja w trybie wsadowym (offline learning) i przyrostowym (online learning). Problemy przyrostowego uczenia maszynowego.

2. 2. Modele przetwarzania danych w Big Data. Od plików płaskich do Data Lake. Mity i fakty przetwarzania danych w czasie rzeczywistym

3. Systemy NRT (near real-time systems), pozyskiwanie danych, streaming, analityka.

4. Algorytmy estymacji parametrów modelu w trybie przyrostowym. Stochastyczny spadek po gradiencie.

5. Współczesne architektury aplikacji do przetwarzania danych strumieniowych

6. Przygotowanie mikroserwisu z modelem ML do zastosowania produkcyjnego.

7. Przetwarzanie ustrukturyzowanych i niestrukturyzowanych danych w języku Python. Funkcyjne i Obiektowe łączenie z RDB i NoSQL

8. Agregacje i raportowanie w bazach NoSQL (na przykładzie bazy MongoDB).

9. Podstawy obiektowego programowania w Pythonie w analizie regresji liniowej, logistycznej oraz sieci neuronowych z wykorzystaniem biblioteki sklearn, TensorFLow i Ke

Podejmowanie prawidłowych decyzji na podstawie danych i ich analiz w biznesie to proces i codzienność. Nowoczesne metody modelowania przez uczenie maszynowe (ang. machine learning), sztuczną inteligencję (AI), bądź głębokie sieci neuronowe (ang. deep learning) pozwalają nie tylko na lepsze rozumienie biznesu, ale i wspomagają podejmowanie kluczowych dla niego decyzji. Rozwój technologii oraz coraz to nowsze koncepcje biznesowe pracy bezpośrednio z klientem wymagają nie tylko prawidłowych, ale i odpowiednio szybkich decyzji. Oferowane zajęcia mają na celu przekazanie studentom doświadczenia oraz kompleksowej wiedzy teoretycznej w zakresie przetwarzania i analizy danych w czasie rzeczywistym oraz zaprezentowanie najnowszych technologii informatycznych (darmowych oraz komercyjnych) służących do przetwarzania danych ustrukturyzowanych (pochodzących np. z hurtowni danych) jak i nieustrukturyzowanych (np. obrazy, dźwięk, strumieniowanie video) w trybie on-line. W toku zajęć przedstawiona zatem zostanie filozofia analizy dużych danych w czasie rzeczywistym jako część koncepcji Big Data w połączeniu ze strumieniowaniem danych, programowaniem strumieniowym w języku Python, R oraz SAS. Zostanie przedstawiona tzw. struktury lambda oraz kappa służące do przetwarzania danych w data lake wraz z omówieniem problemów i trudności jakie spotyka się w realizacji modelowania w czasie rzeczywistym dla dużej ilości danych. Wiedza teoretyczna zdobywana będzie (oprócz części wykładowej) poprzez realizację przypadków testowych w narzędziach takich jak Apache Spark, Nifi, Microsoft Azure, czy SAS. Na zajęciach laboratoryjnych studenci korzystać będą z pełni skonfigurowanych środowisk programistycznych przygotowanych do przetwarzania, modelowania i analizy danych. Tak aby oprócz umiejętności i znajomości technik analitycznych studenci poznali i zrozumieli najnowsze technologie informatyczne związane z przetwarzaniem danych w czasie rzeczywistym.

Literatura podstawowa:

1. K. Przanowski K. , Zając S. red. "Modelowanie dla biznesu, metody ML, modele portfela CF, modele rekurencyjne, analizy przeżycia, modele scoringowe, SGH, Warszawa 2020.

2. Frątczak E., red. "Modelowanie dla biznesu, Regresja logistyczna, Regresja Poissona, Survival Data Mining, CRM, Credit Scoring". SGH, Warszawa 2019.

2. Frątczak E., red., "Zaawansowane metody analiz statystycznych", Oficyna Wydawnicza SGH, Warszawa 2012.

3. Rubach P., Zając S., Jastrzebski B., Sulkowska J.I. , Sulkowski P., "Genus for biomolecules", Web Server, Nucleic Acids Research, 2019.

5. Maas G., Garillot F. Stream Processing with Apache Spark, O'Reilly, 2021

5. Indest A., Wild Knowledge. Outthik the Revolution. LID publishing.com 2017.

6. Real Time Analytic. "The Key to Unlocking Customer Insights & Driving the Customer Experience". Harvard Business Review Analytics Series, Harvard Business School Publishing, 2018.

7. Svolba G., "Applying Data Science. Business Case Studies Using SAS". SAS Institute Inc., Cary NC, USA, 2017.

8. Ellis B. "Real-Time Analytics Techniques to Analyze and Visualize Streaming data." , Wiley, 2014

9. Familiar B., Barnes J. "Business in Real-Time Using Azure IoT and Cortana Intelligence Suite" Apress, 2017

Literatura uzupełniająca:

1. Frątczak E., "Statistics for Management & Economics" SGH, Warszawa, 2015

2. Simon P., "Too Big to IGNORE. The Business Case for Big Data", John Wiley & Sons Inc., 2013

3. Nandi A. "Spark for Python Developers", 2015

4. Frank J. Ohlhorst. "Big Data Analytics. Turning Big Data into Big Money". John Wiley & Sons. Inc. 2013

5. Russell J. "Zwinna analiza danych Apache Hadoop dla każdego", Helion, 2014

6. Todman C., "Projektowanie hurtowni danych, Wspomaganie zarządzania relacjami z klientami", Helion, 2011

Kryteria oceniania:

egzamin tradycyjny-pisemny: 0.00%

egzamin testowy: 40.00%

egzamin ustny: 0.00%

kolokwium: 20.00%

referaty/eseje: 40.00%

ocena z ćwiczeń: 0.00%

inne: 0.00%

1. Modelowanie, uczenie i predykcja w trybie wsadowym (offline learning) i przyrostowym (online learning). Problemy przyrostowego uczenia maszynowego.

2. 2. Modele przetwarzania danych w Big Data. Od plików płaskich do Data Lake. Mity i fakty przetwarzania danych w czasie rzeczywistym

3. Systemy NRT (near real-time systems), pozyskiwanie danych, streaming, analityka.

4. Algorytmy estymacji parametrów modelu w trybie przyrostowym. Stochastyczny spadek po gradiencie.

5. Współczesne architektury aplikacji do przetwarzania danych strumieniowych

6. Przygotowanie mikroserwisu z modelem ML do zastosowania produkcyjnego.

7. Przetwarzanie ustrukturyzowanych i niestrukturyzowanych danych w języku Python. Funkcyjne i Obiektowe łączenie z RDB i NoSQL

8. Agregacje i raportowanie w bazach NoSQL (na przykładzie bazy MongoDB).

9. Podstawy obiektowego programowania w Pythonie w analizie regresji liniowej, logistycznej oraz sieci neuronowych z wykorzystaniem biblioteki sklearn, TensorFLow i Ke

Podejmowanie prawidłowych decyzji na podstawie danych i ich analiz w biznesie to proces i codzienność. Nowoczesne metody modelowania przez uczenie maszynowe (ang. machine learning), sztuczną inteligencję (AI), bądź głębokie sieci neuronowe (ang. deep learning) pozwalają nie tylko na lepsze rozumienie biznesu, ale i wspomagają podejmowanie kluczowych dla niego decyzji. Rozwój technologii oraz coraz to nowsze koncepcje biznesowe pracy bezpośrednio z klientem wymagają nie tylko prawidłowych, ale i odpowiednio szybkich decyzji. Oferowane zajęcia mają na celu przekazanie studentom doświadczenia oraz kompleksowej wiedzy teoretycznej w zakresie przetwarzania i analizy danych w czasie rzeczywistym oraz zaprezentowanie najnowszych technologii informatycznych (darmowych oraz komercyjnych) służących do przetwarzania danych ustrukturyzowanych (pochodzących np. z hurtowni danych) jak i nieustrukturyzowanych (np. obrazy, dźwięk, strumieniowanie video) w trybie on-line. W toku zajęć przedstawiona zatem zostanie filozofia analizy dużych danych w czasie rzeczywistym jako część koncepcji Big Data w połączeniu ze strumieniowaniem danych, programowaniem strumieniowym w języku Python, R oraz SAS. Zostanie przedstawiona tzw. struktury lambda oraz kappa służące do przetwarzania danych w data lake wraz z omówieniem problemów i trudności jakie spotyka się w realizacji modelowania w czasie rzeczywistym dla dużej ilości danych. Wiedza teoretyczna zdobywana będzie (oprócz części wykładowej) poprzez realizację przypadków testowych w narzędziach takich jak Apache Spark, Nifi, Microsoft Azure, czy SAS. Na zajęciach laboratoryjnych studenci korzystać będą z pełni skonfigurowanych środowisk programistycznych przygotowanych do przetwarzania, modelowania i analizy danych. Tak aby oprócz umiejętności i znajomości technik analitycznych studenci poznali i zrozumieli najnowsze technologie informatyczne związane z przetwarzaniem danych w czasie rzeczywistym.

Literatura podstawowa:

1. K. Przanowski K. , Zając S. red. "Modelowanie dla biznesu, metody ML, modele portfela CF, modele rekurencyjne, analizy przeżycia, modele scoringowe, SGH, Warszawa 2020.

2. Frątczak E., red. "Modelowanie dla biznesu, Regresja logistyczna, Regresja Poissona, Survival Data Mining, CRM, Credit Scoring". SGH, Warszawa 2019.

2. Frątczak E., red., "Zaawansowane metody analiz statystycznych", Oficyna Wydawnicza SGH, Warszawa 2012.

3. Rubach P., Zając S., Jastrzebski B., Sulkowska J.I. , Sulkowski P., "Genus for biomolecules", Web Server, Nucleic Acids Research, 2019.

5. Maas G., Garillot F. Stream Processing with Apache Spark, O'Reilly, 2021

5. Indest A., Wild Knowledge. Outthik the Revolution. LID publishing.com 2017.

6. Real Time Analytic. "The Key to Unlocking Customer Insights & Driving the Customer Experience". Harvard Business Review Analytics Series, Harvard Business School Publishing, 2018.

7. Svolba G., "Applying Data Science. Business Case Studies Using SAS". SAS Institute Inc., Cary NC, USA, 2017.

8. Ellis B. "Real-Time Analytics Techniques to Analyze and Visualize Streaming data." , Wiley, 2014

9. Familiar B., Barnes J. "Business in Real-Time Using Azure IoT and Cortana Intelligence Suite" Apress, 2017

Literatura uzupełniająca:

1. Frątczak E., "Statistics for Management & Economics" SGH, Warszawa, 2015

2. Simon P., "Too Big to IGNORE. The Business Case for Big Data", John Wiley & Sons Inc., 2013

3. Nandi A. "Spark for Python Developers", 2015

4. Frank J. Ohlhorst. "Big Data Analytics. Turning Big Data into Big Money". John Wiley & Sons. Inc. 2013

5. Russell J. "Zwinna analiza danych Apache Hadoop dla każdego", Helion, 2014

6. Todman C., "Projektowanie hurtowni danych, Wspomaganie zarządzania relacjami z klientami", Helion, 2011

Kryteria oceniania:

egzamin tradycyjny-pisemny: 0.00%

egzamin testowy: 40.00%

egzamin ustny: 0.00%

kolokwium: 20.00%

referaty/eseje: 40.00%

ocena z ćwiczeń: 0.00%

inne: 0.00%