Teoria sterowania stochastycznego

matematyka

monograficzne

Rachunek prawdopodobieństwa II 1000-135RP2

Rachunek prawdopodobieństwa II 1000-135RP2

Przygotowanie z teorii procesów z czasem dyskretnym. Łańcuchy Markowa, martyngały, momenty zatrzymania.

w sali

Przedmiot jest wstępem do teorii sterowania stochastycznego. Przerabiany materiał będzie zawierał liczne przykłady i zastosowania, m.in. w ekonomii, teorii niezawodności oraz analizie. Większość rozważań będzie prowadzona dla procesów z czasem dyskretnym.

Przedmiot jest poświęcony przeglądowi podstawowych narzędzi teorii sterowania stochastycznego, rozważania zostaną zilustrowane licznymi przykładami oraz zastosowaniami. Większość materiału zostanie przedstawiona w kontekście procesów z czasem dyskretnym. W szczególności, przedyskutowane zostaną: zasada maksimum, równanie Hamiltona–Jacobiego–Bellmana oraz programowanie dynamiczne.

1. Wprowadzenie. Kilka przykładów deterministycznego sterowania. (2 wykłady)

2. Programowanie dynamiczne, przykłady (2 wykłady).

3. Zasada maksimum. Równanie Hamiltona-Jacobiego-Bellmana (3 wykłady).

4. Przypadek szczególny: wybrane elementy teorii optymalnego stopowania (4 wykłady).

5. Elementy teorii sterowania w czasie ciągłym (3-4 wykłady).

1. P. D. Bertsekas, S. E. Shreve, Stochastic optimal control. The discrete time case. Mathematics in Science and Engineering, 139. Academic Press, Inc. [Harcourt Brace Jovanovich, Publishers], New York-London, 1978.

2. A. Seierstad, Stochastic control in discrete and continuous time. Springer, New York, 2009.

3. Skrypt z wykładu, aktualizowany na bieżąco, będzie dostępny pod adresem: https://www.mimuw.edu.pl/~ados/teaching/index.html

Wiedza i umiejętności. Student:

1. Podaje przykłady deterministycznych problemów sterowania oraz formułuje ogólne metody ich badania.

2. Zna pojęcie programowania dynamicznego i potrafi je zastosować do badania problemów stochastycznego sterowania.

3. Potrafi sformułować zasadę maksimum dla optymalnego sterowania oraz jej związki z równaniem Hamiltona-Jacobiego-Bellmana.

4. Potrafi sformułować i rozwiązywać podstawowe problemy optymalnego stopowania dla horyzontu skończonego i nieskończonego.

5. Zna podstawowe fakty dotyczące teorii optymalnego sterowania dla procesów z czasem ciągłym.

6. Zna bieżący stan wiedzy z dziedziny na poziomie wystarczającym do podjęcia samodzielnych badań.

Kompetencje społeczne. Student:

1. Rozumie znaczenie teorii sterowania jako narzędzia służącego do badania pewnych zagadnień pojawiających się w przyrodzie

Dwie pisemne prace domowe w trakcie semestru, ustny egzamin końcowy.