Uniwersytet Warszawski - Centralny System Uwierzytelniania
Strona główna

Ujawnianie niepewności statystycznych ukrytych w wynikach badań

Informacje ogólne

Kod przedmiotu: 1400-236UNSwBN
Kod Erasmus / ISCED: (brak danych) / (brak danych)
Nazwa przedmiotu: Ujawnianie niepewności statystycznych ukrytych w wynikach badań
Jednostka: Wydział Biologii
Grupy: Przedmioty DOWOLNEGO WYBORU
Przedmioty obieralne na studiach drugiego stopnia na kierunku bioinformatyka
Punkty ECTS i inne: 4.00 Podstawowe informacje o zasadach przyporządkowania punktów ECTS:
  • roczny wymiar godzinowy nakładu pracy studenta konieczny do osiągnięcia zakładanych efektów uczenia się dla danego etapu studiów wynosi 1500-1800 h, co odpowiada 60 ECTS;
  • tygodniowy wymiar godzinowy nakładu pracy studenta wynosi 45 h;
  • 1 punkt ECTS odpowiada 25-30 godzinom pracy studenta potrzebnej do osiągnięcia zakładanych efektów uczenia się;
  • tygodniowy nakład pracy studenta konieczny do osiągnięcia zakładanych efektów uczenia się pozwala uzyskać 1,5 ECTS;
  • nakład pracy potrzebny do zaliczenia przedmiotu, któremu przypisano 3 ECTS, stanowi 10% semestralnego obciążenia studenta.
Język prowadzenia: polski
Kierunek podstawowy MISMaP:

astronomia
biologia
biotechnologia
chemia
fizyka
geografia
geologia
geologia stosowana
gospodarka przestrzenna
informatyka
matematyka
ochrona środowiska
psychologia

Rodzaj przedmiotu:

fakultatywne
monograficzne
nieobowiązkowe

Założenia (opisowo):

Zakłada się, że uczestnicy mieli wcześniej choćby przelotny kontakt z podstawowymi metodami wnioskowania statystycznego i nie wykazują niechęci do operowania (prostymi) formułami matematycznymi . Przydatna jest odrobina doświadczeń w programowaniu; jej brak nie przekreśla możliwości udziału w zajęciach, ale może spowodować konieczność poniesienia większych nakładów pracy.

Do aktywnego udziału w zajęciach niezbędna jest wiedza matematyczna na poziomie co najmniej maturalnym, z ew. minimalnym uszczerbkiem wywołanym upływem czasu.


Tryb prowadzenia:

mieszany: w sali i zdalnie

Skrócony opis:

Zajęcia stanowią nietypowy przegląd wybranych prostych metod statystycznych, głównie z perpektywy niepewności statystycznych i częściowo w kontekście powtarzalności wyników i tzw. kryzysu powtarzalności w nauce. Znaczna część zajęć polega na odtwarzaniu statystycznych przedziałów niepewności (przedziałów ufności, predykcji, tolerancji) w sytuacjach gdy nie są dostępne surowe dane, a jedynie wyniki ich standardowej analizy za pomocą statystycznych testów istotności. W ten sposób ujawnione i określone zostają niepewności co do rzeczywistej wielkości efektów oraz zmienność indywidualna. Zamiast polegać na fałszywej pewności wynikającej ze stosowania testów, uczymy się bardziej elastycznego podejścia. Ćwiczenia obejmują głównie kwestie natury techniczno-obliczeniowej; ich sens jest wyjaśniany we wprowadzeniach do zajęć i w czasie przeznaczonym na dyskusję i komentarze.

Uwaga: Niezbędna jest wiedza matematyczna na poziomie co najmniej maturalnym.

Pełny opis:

Zajęcia stanowią nietypowy przegląd wybranych prostych metod statystycznych, głównie z perspektywy niepewności statystycznych i częściowo w kontekście powtarzalności wyników i tzw. kryzysu powtarzalności w nauce. Duża część zajęć polega na znajdowaniu statystycznych przedziałów niepewności (przedziałów ufności, przedziałów predykcji, przedziałów tolerancji) w sytuacjach gdy nie są dostępne surowe dane, a jedynie wyniki ich analizy dokonanej za pomocą statystycznych testów istotności, czyli zgodnej z najbardziej rozpowszechnionym standardem postępowania. W ten sposób ujawnione i określone zostają niepewności co do rzeczywistej wielkości efektów, które pozostają ukryte gdy końcowym produktem analizy jest istotność statystyczna. Zamiast ulegać urokowi testów i fałszywej pewności najczęściej z ich stosowania wynikającej, pytamy o to, czego można się na podstawie danych dowiedzieć i z jakim stopniem pewności. Dążymy tu do pokazania elastycznego podejścia z perspektywy rozkładów ufności i krzywych p-wartości (krzywych ufności). Jednocześnie, zamiast ograniczać się do analizy wartości średnich, eksponujemy zmienność indywidualną.

Pierwszym przykładem może być porównanie dwu grup, doświadczalnej i kontrolnej, dla którego dysponujemy p-wartością w teście t Studenta i wyliczonymi średnimi, chcemy zaś się dowiedzieć jaka co najmniej, lub jaka co najwyżej jest prawdziwa wielkość rzeczywistego efektu (różnicy średnich populacyjnych) i w jakich granicach może się mieścić określona część indywidualnych wartości, różnic między nimi etc. Można do tego dojść przez "rozgryzanie" (reverse engineering). Takie właśnie "rozgryzanie" stanowi ważną część kursu. Ta formuła zajęć wymaga uważnego wniknięcia w szczegóły rozpatrywanych i używanych metod, a tym samym prowadzi do dokładnego zaznajomienia się z nimi.

Tego rodzaju postępowanie jest w trakcie zajęć stosowane do różnych metod: porównania średnich, częstości, analizy wariancji, korelacji, regresji. Kiedy nie są możliwe rozwiązania dokładne, szukamy przybliżeń. W przypadku dwuwymiarowej analizy wariancji szczególna uwaga jest poświęcona analizie interakcji. Gdy to możliwe, uwzględniane są metody permutacyjne (rerandomizacyjne) i bootstrapowe. Obliczenia wykonywane są głównie za pomocą systemu R, mogą być też wykorzystywane dostępne w internecie kalkulatory dedykowane różnym aspektom analizy niepewności statystycznych. Używane są głównie przykłady stylizowane, ale zachowujące znaczne podobieństwo do sytuacji powszechnie spotykanych w literaturze naukowej.

Uzupełnieniem są symulacje Monte Carlo pokazujące zmienność wyników pomiędzy powtórzeniami tego samego doświadczenia, a tym samym zmienność wniosków, do których można na podstawie tych wyników dojść. Dają one możliwy obraz niepewności statystycznych w przypadkach bardziej złożonych, gdy nie istnieją proste sposoby przejścia od istotności statystycznej do przedziału ufności.

Uwaga: Do aktywnego udziału w zajęciach niezbędna jest wiedza matematyczna na poziomie co najmniej maturalnym, z ew. minimalnym uszczerbkiem wywołanym upływem czasu.

Ogólne spojrzenie na problematykę niepewności statystycznych bez wnikania w szczegóły obliczeniowe jest przedmiotem osobnego wykładu (w sem. zimowym) pt. "Kult istotności statystycznej".

Literatura:

Literatura (uzupełnienia w trakcie zajęć):

Acree MC. 2021. The Myth of Statistical Inference. Springer.

Bird KD. 2004. Analysis of Variance via Confidence Intervals. SAGE.

Clarke BS, Clarke JL. 2018. Predictive statistics. Cambridge University Press.

Cumming G. 2011. Understanding the New Statistics: Effect Sizes, Confidence Intervals, and Meta-Analysis. Routledge.

Halsey LG, Curran-Everett D., Vowler SL, Drummond G. 2015. The fickle P value generates irreproducible results. Nature Methods, 12: 179-185.

Ioannidis J.P.A. 2005. Why most published research findings are false. PLoS Med 2(8): e124.

Kline R.B. 2004. Beyond Significance Testing. Reforming Data Analysis Methods in Behavioral Research. American Psychological Association.

Krishnamoorthy K., Mathew T. 2009. Statistical Tolerance Regions. Theory, Applications, and Computation. Wiley.

Lazzeroni LC, Lu Y, Belitskaya-Levy I. 2014. P-values in genomics: Apparent precision masks high uncertainty. Molecular Psychiatry, 19: 1336–1340.

Lecoutre B, Poitvineau J. 2014. The Significance Test Controversy Revisited. The Fiducial Bayesian Alternative. Springer.

Meeker WQ, Hahn GJ, Escobar LA. 2017. Statistical intervals: A guide for practitioners and researchers. Wiley.

Motulsky H. 2014. Intuitive Biostatistics, 3rd edition. Oxford University Press.

Nuzzo R. 2014. Scientific method: statistical errors. Nature 506: 150-152.

Polansky AM. 2008. Observed confidence levels. Chapman & Hall.

Schweder T, Hjort NL. 2016. Confidence, Likelihood, Probability: Statistical Inference with Confidence Distributions. Cambridge University Press.

Wang C. 1992. Sense and Nonsense of Statistical Inference: Controversy, Misuse, and Subtlety. CRC Press.

Efekty uczenia się:

Po zaliczeniu kursu student:

- dostrzega istnienie niepewności statystycznych na różnych etapach badań naukowych, rozumie potrzebę ich kwantyfikacji i zna stosowane w tym celu metody;

- wykazuje zmniejszoną podatność na uleganie urokowi istotności statystycznej;

- krytycznie analizuje stwierdzenia napotkane w literaturze;

- jest wyczulony na rozróżnienie merytorycznych i społecznych uwarunkowań wnioskowania w badaniach naukowych;

- potrafi używać spójnej i wnikliwej argumentacji do pokazania obszarów niewiedzy;

- dostrzega potrzebę analizowania wyników badań z różnych punktów widzenia;

- umie wykorzystywać argumenty pochodzące z formalizmu matematycznego i symulacji komputerowej do określenia zakresów niepewności.

Metody i kryteria oceniania:

Zaliczenie na ocenę na podstawie rozwiązań zadań i problemów w trakcie zajęć. Obecność na zajęciach jest obowiązkowa. Uzupełniającym elementem (mogącym podnosić ocenę) może być przygotowanie opierającego się na obliczeniach opracowania dotyczącego np. ujawniania niepewności statystycznych w rzeczywistych przykładach z literatury, ew. wizualizacji niepewności statystycznych – temat do uzgodnienia z prowadzącym w pierwszej części semestru.

Zajęcia w cyklu "Semestr letni 2023/24" (w trakcie)

Okres: 2024-02-19 - 2024-06-16
Wybrany podział planu:
Przejdź do planu
Typ zajęć:
Ćwiczenia, 60 godzin więcej informacji
Koordynatorzy: Tomasz Wyszomirski
Prowadzący grup: Łukasz Banasiak, Tomasz Wyszomirski
Lista studentów: (nie masz dostępu)
Zaliczenie: Przedmiot - Zaliczenie na ocenę
Ćwiczenia - Zaliczenie na ocenę
Tryb prowadzenia:

w sali

Opisy przedmiotów w USOS i USOSweb są chronione prawem autorskim.
Właścicielem praw autorskich jest Uniwersytet Warszawski.
ul. Banacha 2
02-097 Warszawa
tel: +48 22 55 44 214 https://www.mimuw.edu.pl/
kontakt deklaracja dostępności USOSweb 7.0.3.0-2b06adb1e (2024-03-27)