Statystyczne uczenie maszynowe

W ostatnich latach klaruje się pogląd, że głębokie sieci neuronowe są skuteczne tam, gdzie danych jest dużo, predyktory mają pewną przestrzenną lub czasową organizację (jak np. sygnały, teksty czy obrazy) i stosunek sygnału do szumu jest duży. Natomiast tam, gdzie danych jest mało lub nie mają specjalnej organizacji lub sygnał jest słaby lub ważna jest interpretowalność wyników -- tam lepsze są nowoczesne metody liniowe, jak lasso czy gradient boosting (Robert Tibshirani, prezentacja po otrzymaniu nagrody ISI, maj 2021). Wykład jest wprowadzeniem do uczenia pod nadzorem, inaczej predykcji statystycznej, zogniskowanym na takich właśnie metodach liniowych i opartym w dużej mierze (ok. 2/3) na monografii Hastiego, Tibshiraniego i Friedmana pt. “The Elements of Statistical Learning”.

W pierwszej części omawiam podstawową metodę predykcji cechy ciągłej, czyli model regresji liniowej, a ponadto regresję grzbietową, lasso oraz wybór podzbioru zmiennych wyjaśniających. W drugiej części przedstawiam liniowe metody predykcji cechy dyskretnej, czyli klasyfikacji takie, jak liniowa analiza dyskryminacyjna Fishera, regresja logistyczna czy maszyny wektorów podpierających. W części trzeciej omawiam uniwersalne, nieliniowe predyktory takie, jak metoda k-najbliższych sąsiadów oraz drzewa decyzyjne. Część czwarta jest poświęcona metodom regularyzacji uczenia i wzmacniania siły predykcji - omawiam: penalizację błądu predykcji, kernelizację zmiennych wyjaśniających oraz boosting (kombinacje liniowe “słabych” predyktorów).

Wykład jest zogniskowany na ważnych metodach uczenia maszynowego, które są rozwiązaniami zadania minimalizacji penalizowanego błędu na danych uczących. W ten sposób otrzymujemy zbiory funkcji predykcyjnych indeksowanych “hiperparametrem” (np. wagą kary na parametrach funkcji predykcyjnej), którego wartość obliczamy na dodatkowych danych walidacyjnych lub za pomocą kroswalidacji na danych uczących. Wiele uwagi poświęcę, aby w możliwie ścisły sposób uzasadnić popularne postępowania walidacyjne.

Wykład można zaliczyć na podstawie dwóch rodzajów aktywności: rozwiązywania zadań matematycznych lub programowania i eksperymentów komputerowych.

Wiedza i umiejętności:

1. Rozumie podstawowe metody predykcji.

2. Umie nauczyć/dopasować funkcję predykcyjną do danych uczących, wybrać hiperparametr na danych walidacyjnych, oszacować błąd predykcji na danych testowych.

Kompetencje społeczne:

Potrafi zastosować predykcję do badania zjawisk przyrodniczych czy społecznych.