Big Data Analytics

obowiązkowe

Laboratorium ma na celu zapoznanie Studentów z praktyczną stroną przetwarzania dużych zbiorów danych w środowisku Apache Hadoop. Studenci dowiedzą się jak zastosować techniki analizy danych i uczenia maszynowego poznane na wcześniejszych etapach kształcenia do dużych zbiorów danych. W szczególności kurs nie będzie uczył nowych technik. Zajęcia skupią się na rzeczywistych przykładach i zrozumieniu działania używanych narzędzi.

1. Wprowadzenie do środowiska Linux

2. Wprowadzenie do Big Data

• Środowisko Hadoop

• Paradygmat MapReduce

3. Przetwarzanie i eksploracja danych z użyciem Apache Hive i Apache Spark

• Różnice vs. RDBMs

• Optymalizacja

• Pułapki

4. Wprowadzenie do uczenia maszynowego z użyciem Apache Spark

• Przeniesienie modelu zbudowanego w R lub Python na wcześniejszych etapach kształcenia do świata dużych danych (możliwości i ograniczenia)

5. Analiza interaktywna

6. Wizualizacje w Big Data

7. Automatyzacja przetwarzania danych z użyciem Apache Ariflow

Literatura oraz publikacje dostępne on-line będą udostęniane w trakcie laboratorium

Studenci nauczą się w jaki sposób wykorzystywać ekosystem Hadoop do przygotowania i analizy dużych zbiorów danych oraz zastosowania podstawowych metod uczenia maszynowego.

K_U02, K_U05

Warunkiem zaliczenia przedmiotu jest:

• Obecność na zajęciach

• Prezentacja, w której przedstawione zostaną wybrane zastosowania omówionych w trakcie zajęć metod

• projekt z użyciem dużego zbioru danych