Serwisy internetowe Uniwersytetu Warszawskiego Nie jesteś zalogowany | zaloguj się
katalog przedmiotów - pomoc

Statystyczne uczenie maszynowe

Informacje ogólne

Kod przedmiotu: 1000-1M18SUM Kod Erasmus / ISCED: (brak danych) / (brak danych)
Nazwa przedmiotu: Statystyczne uczenie maszynowe
Jednostka: Wydział Matematyki, Informatyki i Mechaniki
Grupy: Przedmioty monograficzne dla matematyki 2 stopnia
Punkty ECTS i inne: 6.00
zobacz reguły punktacji
Język prowadzenia: angielski
Kierunek podstawowy MISMaP:

informatyka
matematyka

Rodzaj przedmiotu:

monograficzne

Założenia (opisowo):

Wykład może być kontynuacją "Statystycznej analizy danych" lub "Statystyki" lub "Rachunku Prawdopodobieństwa i Statystyki".

Tryb prowadzenia:

w sali
zdalnie

Skrócony opis:

Wykład jest wprowadzeniem do uczenia pod nadzorem, inaczej predykcji statystycznej, zogniskowanym na nowoczesnych metodach liniowych i opartym w dużej mierze (ok. 2/3) na monografii Hastiego, Tibshiraniego i Friedmana pt. “The Elements of Statistical Learning”.

Pełny opis:

W ostatnich latach klaruje się pogląd, że głębokie sieci neuronowe są skuteczne tam, gdzie danych jest dużo, predyktory mają pewną przestrzenną lub czasową organizację (jak np. sygnały, teksty czy obrazy) i stosunek sygnału do szumu jest duży. Natomiast tam, gdzie danych jest mało lub nie mają specjalnej organizacji lub sygnał jest słaby lub ważna jest interpretowalność wyników -- tam lepsze są nowoczesne metody liniowe, jak lasso czy gradient boosting (Robert Tibshirani, prezentacja po otrzymaniu nagrody ISI, maj 2021). Wykład jest wprowadzeniem do uczenia pod nadzorem, inaczej predykcji statystycznej, zogniskowanym na takich właśnie metodach liniowych i opartym w dużej mierze (ok. 2/3) na monografii Hastiego, Tibshiraniego i Friedmana pt. “The Elements of Statistical Learning”.

W pierwszej części omawiam podstawową metodę predykcji cechy ciągłej, czyli model regresji liniowej, a ponadto regresję grzbietową, lasso oraz wybór podzbioru zmiennych wyjaśniających. W drugiej części przedstawiam liniowe metody predykcji cechy dyskretnej, czyli klasyfikacji takie, jak liniowa analiza dyskryminacyjna Fishera, regresja logistyczna czy maszyny wektorów podpierających. W części trzeciej omawiam uniwersalne, nieliniowe predyktory takie, jak metoda k-najbliższych sąsiadów oraz drzewa decyzyjne. Część czwarta jest poświęcona metodom regularyzacji uczenia i wzmacniania siły predykcji - omawiam: penalizację błądu predykcji, kernelizację zmiennych wyjaśniających oraz boosting (kombinacje liniowe “słabych” predyktorów).

Wykład jest zogniskowany na ważnych metodach uczenia maszynowego, które są rozwiązaniami zadania minimalizacji penalizowanego błędu na danych uczących. W ten sposób otrzymujemy zbiory funkcji predykcyjnych indeksowanych “hiperparametrem” (np. wagą kary na parametrach funkcji predykcyjnej), którego wartość obliczamy na dodatkowych danych walidacyjnych lub za pomocą kroswalidacji na danych uczących. Wiele uwagi poświęcę, aby w możliwie ścisły sposób uzasadnić popularne postępowania walidacyjne.

Wykład można zaliczyć na podstawie dwóch rodzajów aktywności: rozwiązywania zadań matematycznych lub programowania i eksperymentów komputerowych.

Literatura:

1. http://statweb.stanford.edu/~tibs/ftp/ISI.pdf

2. Hastie T., Tibshirani R. and Friedman J. The Elements of Statistical Learning, Springer 2009.

3. Shai Shalev-Shwartz S. and Ben-David S. Understanding Machine Learning: From Theory to Algorithms, Cambridge University Press 2014.

Efekty uczenia się:

Wiedza i umiejętności:

1. Rozumie podstawowe metody predykcji.

2. Umie nauczyć/dopasować funkcję predykcyjną do danych uczących, wybrać hiperparametr na danych walidacyjnych, oszacować błąd predykcji na danych testowych.

Kompetencje społeczne:

Potrafi zastosować predykcję do badania zjawisk przyrodniczych czy społecznych.

Metody i kryteria oceniania:

Ocena końcowa będzie równa maksimum z:

-- oceny za aktywność na zajęciach (np wychwycenie błędu w rachunkach, podanie alternatywnego dowodu czy wyprowadzenia metody predykcji),

-- oceny za rozwiązywanie zadań w trakcie kursu,

-- oceny z egzaminu ustnego lub projektu programistycznego.

Zajęcia w cyklu "Semestr zimowy 2020/21" (zakończony)

Okres: 2020-10-01 - 2021-01-31
Wybrany podział planu:


powiększ
zobacz plan zajęć
Typ zajęć: Ćwiczenia, 30 godzin więcej informacji
Wykład, 30 godzin więcej informacji
Koordynatorzy: Piotr Pokarowski
Prowadzący grup: Piotr Pokarowski
Lista studentów: (nie masz dostępu)
Zaliczenie: Egzamin
Kierunek podstawowy MISMaP:

informatyka
matematyka

Zajęcia w cyklu "Semestr zimowy 2021/22" (w trakcie)

Okres: 2021-10-01 - 2022-02-20
Wybrany podział planu:


powiększ
zobacz plan zajęć
Typ zajęć: Ćwiczenia, 30 godzin więcej informacji
Wykład, 30 godzin więcej informacji
Koordynatorzy: Piotr Pokarowski
Prowadzący grup: Piotr Pokarowski
Lista studentów: (nie masz dostępu)
Zaliczenie: Egzamin
Opisy przedmiotów w USOS i USOSweb są chronione prawem autorskim.
Właścicielem praw autorskich jest Uniwersytet Warszawski.