Eksploracja i przetwarzanie dużych zbiorów danych 1000-2M13DZD
Wykład (WYK) Semestr letni 2020/21

Wiedza i umiejętności:

-- Zgodna z ośmioma głównymi punktami opisanymi w zakresie tematów.

Kompetencje społeczne:

-- Potrafi przygotować i zaprezentować raport z analizy przykładowych dużych / złożonych danych praktycznych, gdzie analiza odbywa się przy użyciu metod eksploracji danych i uczenia maszynowego omawianych na zajęciach.

-- Potrafi wskazać (w języku niespecjalistycznym, nakierowanym na potencjalnych użytkowników systemów analitycznych, a niekoniecznie na ekspertów z dziedziny uczenia maszynowego, eksploracji danych, tudzież tzw. data science), jakie problemy z kategorii "big data" (np. wielkość, liczba wymiarów, wielomodalność, jakość i zmienność danych itd.) mogą wystąpić podczas przetwarzania i eksploracji konkretnych danych praktycznych.

Tematykę przedmiotu można podzielić na następujące sekcje / aspekty:

1. Przegląd znanych metod / algorytmów eksploracji danych i uczenia maszynowego (np. indukcja reguł, selekcja cech, analiza skupień, zaś z drugiej strony XGBoost, SVM, różne architektury sieci neuronowych itd. - zakładamy, że takie metody są już częściowo znane uczestnikom) ze względu na wyzwania związane z dużymi i potencjalnie rozproszonymi danymi. Dyskusja nad sposobami wykorzystania znanych podejść i platform wspierających skalowalne obliczenia (np. związanych z MapReduce - tu też zakładamy częściową wiedzę uczestników z wcześniej studiowanych przedmiotów), jak i przypadkami, gdzie podejścia te mogą okazać się niewystarczające, w zależności od specyfiki źródła danych bądź rozpatrywanej metody eksploracji danych / uczenia maszynowego. Rozszerzenie dyskusji na wcześniej nie studiowane cele i metody analityczne, w szczególności metody wykrywania anomalii i metody znajdowania podobnych przypadków w dużych i dynamicznie przyrastających źródłach danych.

2. Omówienie wybranych metod uczenia maszynowego i eksploracji danych poprzez pryzmat rozumienia wyników ich działania jako rozwiązań problemów optymalizacyjnych formułowanych na danych wejściowych. W szczególności dyskusja złożoności tych problemów w obliczu problematyki dużych danych, gdzie tym istotniejszą wagę przywiązujemy do algorytmów heurystycznych, randomizowanych, tudzież bazujących na narzędziach sztucznej inteligencji (algorytmy ewolucyjne, symulowane wyżarzanie itd.). Ogólniejsza dyskusja o powiązaniach pomiędzy dziedzinami uczenia maszynowego (ML) i sztucznej inteligencji (AI) - wskazanie, że akronimy AI i ML nie są ze sobą tożsame, chociaż dziedziny za nimi stojące są wzajemnie dla siebie bardzo ważne.

3. Omówienie reprezentatywnych scenariuszy systemów informatycznych ze względu na różnorodne charakterystyki przepływu danych i związane z nimi wyzwania stojące przed metodami eksploracji danych i uczenia maszynowego. Np. warianty wykonywania lokalnych operacji podczas przetwarzania danych, zanim dane te zostaną zarejestrowane we w pełni skalowalnej infrastrukturze.

4. Integracja funkcjonalności i potrzeb związanych z metodami eksploracji danych i uczenia maszynowego z innymi warstwami i systemami analitycznymi, takimi jak bazy danych (zarówno SQL, jak i noSQL) i systemy klasy Business Intelligence. Dwie kategorie: a) funkcje ML wywoływane z poziomu innych interfejsów (np. funkcje rozszerzające SQL); b) przykłady wykorzystania innych interfejsów obliczeniowych przez algorytmy ML (np. skrypty wyliczające modele ML na podstawie automatycznie generowanych analitycznych kwerend SQL).

5. Omówienie różnych podejść do kompaktyfikacji danych i modeli, których celem jest usprawnienie działania procesów uczenia maszynowego i eksploracji danych na dużych danych (w tym na danych strumieniowych, a także danych o bardzo dużej wymiarowości). Kompaktyfikacja może obejmować: a) kompresję i kwantyzację danych; b) specyficzne wersje metod uczenia modeli i odkrywania wiedzy bazujące na obliczeniach aproksymacyjnych (np. poprzez próbkowanie danych); c) mechanizmy redukcji wymiarów, selekcji i ekstrakcji cech, jak również upraszczania modeli poprzez redukcję opisujących je parametrów. Również scenariusze hybrydowe, gdzie np. dostrajanie hiperparametrów odbywa się z użyciem większej kompaktyfikacji (przez co jest szybko), zaś uczenie się ostatecznego modelu odbywa się w sposób dokładniejszy.

6. Omówienie problemów związanych z uzdatnianiem dużych, wielomodalnych, heterogenicznych, wielowymiarowych danych do celów uczenia maszynowego i eksploracji danych. Scenariusze, w których dane - mimo że bardzo duże - nie nadają się do procesów uczenia modeli (np. w sytuacjach, gdy brak jest etykiet związanych z pojęciami / sytuacjami / obiektami, których modeli chcemy się z danych wyuczyć) i gdzie trzeba dopiero uruchomić odpowiednie procesy, żeby to umożliwić (które mogą być różne w zależności od tego, czy do etykietowania danych potrzebna jest wiedza specjalistyczna), związane np. z interaktywnych wyszukiwaniem reprezentatywnych przykładów w repozytoriach danych. Również scenariusze, w których w danych treningowych mogą się pojawiać błędy (zjawisko tzw. danych śmieciowych) związane np. z pomiarami lub etykietami, przez co również wyuczone modele mogą działać błędnie.

7. Wyzwania związane z utrzymaniem skuteczności modeli tworzonych przy pomocy metod uczenia maszynowego i eksploracji danych rozumianych jako komponenty większych systemów informatycznych. Dbanie o procesy dostrajania / douczania modeli do nowo napływających danych, które to procesy mogą być różnie projektowane ze względu na wielkość danych, dynamikę ich przyrostu, a także ze względu na prędkość używania i dostosowywania modeli, która jest wymagana w różnych scenariuszach zastosowań biznesowych. Diagnostyka modeli ze względu na popełniane przez nie błędy, z wykorzystaniem m.in. elementów objaśnialności i wizualizacji.

8. Praktyczne scenariusze stosowania procesów odkrywania wiedzy z danych, obejmujące formułowanie celów analitycznych, przygotowanie danych oraz wykorzystanie metod uczenia maszynowego i eksploracji danych. Przykłady realizacji takich procesów związane z konkursami uczenia maszynowego na dużych zbiorach danych, organizowanymi na platformach online (np. na platformie Knowledge Pit), obejmujące współpracę z pomysłodawcami / sponsorami konkursów, zapewnienie relewantnych danych do konkursu (w tym aspekty anonimizacji, jakości, jak również adekwatności względem rozwiązywanego w konkursie problemu), a wreszcie produkcyjne wdrożenie wyników - prototypów rozwiązań, które okazały się zwycięskie w warunkach konkursowych, ale które wciąż wymagają kontynuacji prac w praktyce.