Wprowadzenie do przetwarzania języka naturalnego

obowiązkowe

Celem zajęć będzie praktyczne wprowadzenie uczestniczek i uczestników w zagadnienia i metody przetwarzania języka naturalnego. Jest to praktyczna i interdyscyplinarna dziedzina oparta na wiedzy z zakresu lingwistyki, programowania i uczenia maszynowego, która w ostatnim czasie zyskała na znaczeniu i rozgłosie m.in. dzięki narzędziom takim jak ChatGPT.

Przetwarzanie języka naturalnego umożliwia zautomatyzowaną analizę zbiorów tekstów oraz tworzenie systemów sztucznej inteligencji opartych na danych tekstowych (wyszukiwarki, czatboty, narzędzia korpusowe itp.). W ramach zajęć przejdziemy błyskawiczny kurs programowania w Pythonie oraz poznamy od strony praktycznej pakiety pozwalające na automatyczną analizę tekstu, m.in. spaCy, StyloMetrix, BERTopic, i inne, np. służące do tworzenia zestawień statystycznych oraz wizualizacji uzyskanych rezultatów.

w sali

Celem zajęć będzie praktyczne wprowadzenie uczestniczek i uczestników w zagadnienia dotyczące przetwarzania języka naturalnego, lingwistyki komputerowej i programowania, w szczególności – przetwarzania korpusów tekstów z wykorzystaniem technik przetwarzania języka naturalnego dostępnych w języku programowania Python.

Od uczestniczek i uczestników nie wymaga się wcześniejszej znajomości języków programowania i umiejętności programistycznych.

Celem zajęć będzie praktyczne wprowadzenie uczestniczek i uczestników w zagadnienia dotyczące przetwarzania języka naturalnego, lingwistyki komputerowej i programowania, w szczególności – przetwarzania korpusów tekstów z wykorzystaniem technik przetwarzania języka naturalnego dostępnych w języku programowania Python.

Od uczestniczek i uczestników nie wymaga się wcześniejszej znajomości języków programowania i umiejętności programistycznych, oczekuje się jednak motywacji i zaangażowania potrzebnych do opanowania umiejętności programistycznych w zakresie przetwarzania języka naturalnego.

Zagadnienia wyznaczające zakres zajęć:

1. Podstawy programowania w Pythonie: typy zmiennych, struktury danych, warunki i pętle, funkcje i klasy, praca z plikami i wykorzystanie pakietów

2. Wykorzystanie Pythona do gromadzenia i przetwarzania danych tekstowych (scraping, odpytywanie API, OCR i transkrypcja audio)

3. Pakiet spaCy i różne poziomy anotacji lingwistycznej: analiza i znakowanie morfo-syntaktyczne, parsowanie zależnościowe

4. Semantyka wektorowa i modele językowe

5. Modele klasyfikacji sekwencji i klasyfikacji tokenów w spaCy

6. Przeszukiwanie tekstu ze spaCy: wyszukiwanie oparte na regułach i warstwach anotacji, wyszukiwanie semantyczne

7. Analiza stylometryczna tekstów z wykorzystaniem pakietów StyloMetrix, pandas i scikit learn

8. Modelowanie tematyczne z wykorzystaniem pakietu BERTopic

9. Wizualizacja wyników przetwarzania korpusu

Altinuk, D. (2021). Mastering spaCy: An end-to-end practical guide to implementing NLP applications using the Python ecosystem. Birmingham: Packt Publishing.

Hobson, L., Cole, H., Hannes, H. (2021). Przetwarzanie języka naturalnego w akcji. Rozumienie, analiza i generowanie tekstu w Pythonie na przykładzie języka angielskiego. Warszawa: PWN.

Mattingly, W. (2022). Introduction to Python for Digital Humanities, 2022, URL: www.python-textbook.pythonhumanities.com.

Mattingly, W. (2021). Introduction to spaCy 3, URL: www.spacy.pythonhumanities.com.

Sweigart, A. (2020). Automatyzacja nudnych zadań z Pythonem. Nauka programowania. Gliwice: Helion.

Student/Studentka

- zna narzędzia służące do przetwarzania i analizy danych tekstowych dostępne w języku Python

- zna podstawy programowania w Pythonie oraz pakiety tego języka służące do przetwarzania i analizy danych tekstowych

- zna najważniejsze pojęcia i techniki przetwarzania języka naturalnego

- potrafi przeprowadzić analizę korpusu danych tekstowych z wykorzystaniem pakietów języka Python

- potrafi sformułować hipotezę dotyczącą zbioru tekstu i zweryfikować ją z wykorzystaniem technik przetwarzania języka naturalnego

- potrafi zwizualizować uzyskane rezultaty analizy korpusu tekstów

- potrafi krytycznie ocenić informacje dotyczące systemów sztucznej inteligencji opartych na danych tekstowych

- rozumie znaczenie przetwarzania języka naturalnego w rozwiązywaniu problemów poznawczych i praktycznych oraz stosowania metod tej dziedziny do realizacji własnych celów badawczych

Uczestnictwo w zajęciach (dopuszczalne dwie nieobecności).

Regularne rozwiązywanie zadań dotyczących programowania i przetwarzania języka naturalnego.

Zrealizowanie małego projektu indywidualnego lub grupowego wykorzystującego metody przetwarzania języka naturalnego.