Statystyczne uczenie maszynowe

informatyka
matematyka

monograficzne

Wykład może być kontynuacją "Statystycznej analizy danych" lub "Statystyki" lub "Rachunku Prawdopodobieństwa i Statystyki".

w sali
zdalnie

Wykład jest wprowadzeniem do uczenia pod nadzorem, inaczej predykcji statystycznej, zogniskowanym na nowoczesnych metodach liniowych i opartym w dużej mierze (ok. 2/3) na monografii Hastiego, Tibshiraniego i Friedmana pt. “The Elements of Statistical Learning”.

W ostatnich latach klaruje się pogląd, że głębokie sieci neuronowe są skuteczne tam, gdzie danych jest dużo, zmienne wyjaśniające mają pewną przestrzenną lub czasową organizację (jak np. sygnały, teksty czy obrazy) i stosunek sygnału do szumu jest duży. Natomiast tam, gdzie danych jest mało lub nie mają specjalnej organizacji lub sygnał jest słaby lub ważna jest interpretowalność wyników -- tam lepsze są nowoczesne metody liniowe, jak lasso czy gradient boosting (Robert Tibshirani, wykład laureata nagrody ISI, 2021). Wykład "Statystyczne uczenie maszynowe" jest wprowadzeniem do uczenia pod nadzorem, inaczej predykcji statystycznej, zogniskowanym na takich właśnie metodach liniowych i opartym w dużej mierze (ok. 2/3) na monografii Hastiego, Tibshiraniego i Friedmana pt. “The Elements of Statistical Learning”.

W pierwszej części omawiam podstawową metodę predykcji cechy ciągłej, czyli model regresji liniowej, a ponadto regresję grzbietową, lasso oraz wybór podzbioru zmiennych wyjaśniających. W drugiej części przedstawiam liniowe metody predykcji cechy dyskretnej, czyli klasyfikacji takie, jak liniowa analiza dyskryminacyjna Fishera, regresja logistyczna czy maszyny wektorów podpierających. W części trzeciej omawiam uniwersalne, nieliniowe predyktory takie, jak metoda k-najbliższych sąsiadów oraz drzewa decyzyjne. Część czwarta jest poświęcona metodom regularyzacji uczenia i wzmacniania siły predykcji - omawiam: penalizację błądu predykcji, kernelizację zmiennych wyjaśniających oraz boosting (kombinacje liniowe “słabych” predyktorów).

Wykład jest zogniskowany na ważnych metodach uczenia maszynowego, które są rozwiązaniami zadania minimalizacji penalizowanego błędu predykcji na danych uczących. W ten sposób otrzymujemy zbiory funkcji predykcyjnych indeksowanych “hiperparametrem” (np. wagą kary na parametrach funkcji predykcyjnej), którego wartość obliczamy na dodatkowych danych walidacyjnych lub za pomocą kroswalidacji na danych uczących. Wiele uwagi poświęcę, aby w możliwie ścisły sposób uzasadnić popularne postępowania walidacyjne.

Wykład można zaliczyć na podstawie dwóch rodzajów aktywności: rozwiązywania zadań matematycznych lub programowania i eksperymentów komputerowych.

1. Tibshirani R., http://statweb.stanford.edu/~tibs/ftp/ISI.pdf, 2021.

2. Hastie T., Tibshirani R. and Friedman J. The Elements of Statistical Learning, Springer 2009.

3. Shalev-Shwartz S. and Ben-David S. Understanding Machine Learning: From Theory to Algorithms, Cambridge University Press 2014.

Wiedza i umiejętności:

1. Rozumie podstawowe metody predykcji.

2. Umie nauczyć/dopasować funkcję predykcyjną do danych uczących, wybrać hiperparametr na danych walidacyjnych, oszacować błąd predykcji na danych testowych.

Kompetencje społeczne:

Potrafi zastosować predykcję do badania zjawisk przyrodniczych czy społecznych.

Ocena końcowa będzie równa maksimum z:

-- oceny za aktywność na zajęciach (np wychwycenie błędu w rachunkach, podanie alternatywnego dowodu czy wyprowadzenia metody predykcji),

-- oceny za rozwiązywanie zadań w trakcie kursu,

-- oceny z egzaminu ustnego lub projektu programistycznego.