Przedmowa
Rozdział 1. Wprowadzenie do teorii procesów stochastycznych
1.1. Wstęp: cel rozdziału
1.2. Przestrzeń zdarzeń elementarnych
1.3. Prawdopodobieństwo
1.4. Klasa zdarzeń obserwowalnych
1.4.1. Zdarzenia zależące od skończonej liczby zmiennych losowych
1.4.2. Przeformułowanie problemu: pojęcia zmiennej losowej i przestrzeni probabilistycznej
1.4.3. Trudność wykorzystania definicji (1.2') w przypadku nieprzeliczalnej liczby elementów
1.5. Konstrukcja zdarzeń losowych zależących od skończonej liczby prób
1.5.1. Prawdopodobieństwo określone na klasie zdarzeń odpowiadających skończonej liczbie prób
1.5.2. Klasa zdarzeń odpowiadających skończonej, ale dowolnej liczbie prób
1.6. Klasa zdarzeń J^ zależących od nieskończonej liczby zmiennych losowych
1.6.1. Klasa zbiorów, na którą rozszerzone jest prawdopodobieństwo P
1.6.2. Jednoznaczne prawdopodobieństwo na klasie &
1.7. Przykłady zdarzeń zależących od nieskończenie wielu zmiennych losowych
1.8. Wartość oczekiwana
1.9. Warunkowa wartość oczekiwana
1.9.1. Wartość oczekiwana jako całka — przypadek elementarny
1.9.2. Wzór Bayesa: definicja warunkowej wartości oczekiwanej
1.9.3. Warunkowa wartość oczekiwana względem rozbicia klasy
1.9.4. Własności warunkowej wartości oczekiwanej
1.9.5. Warunkowa wartość oczekiwana: nieskończenie wiele zmiennych losowych
1.9.6. Ogólna definicja wartości oczekiwanej
1.9.7. Ogólna definicja warunkowej wartości oczekiwanej
1.9.8. Warunkowa wartość oczekiwana względem funkcji
1.9.9. Podwójna warunkowa wartość oczekiwana
1.10. Martyngały
1.10.1. Definicja martyngalu: uwagi wprowadzające
1.10.2. Przykłady martyngałów
1.10.3. Podstawowa nierówność dla martyngałów
1.10.4. Moment Markowa
1.10.5. Moment Markowa w języku gier hazardowych
1.10.6. W grach uczciwych reguły zatrzymania nie mogą powiększać majątku początkowego
Zadania
Rozdzial 2. Łańcuchy Markowa
2.1. Wstęp
2.2. Uwaga o ciągach niezależnych
2.3. Proces z pamięcią sięgającą jednego kroku
2.4. Prawdopodobieństwa i prawdopodobieństwa przejścia
2.4.1. Obliczanie prawdopodobieństw warunkowych i prawdopodobieństw przejść za pomocą wzoru Bayesa
2.4.2. Łańcuch Markowa jako układ dynamiczny
2.5. Obliczanie prawdopodobieństw z prawdopodobieństwem warunkowym jako zmienną losową: zapis w języku przestrzeni zdarzeń elementarnych
2.6. Przykłady
2.7. Klasyfikacja stanów łańcucha Markowa
2.7.1. Długość łańcucha łączącego stany osiągalne
2.7.2. Rodzaje stanów
2.7.3. Kryteria powracalności i niepowracalności
2.7.4. Podział przestrzeni S
2.8. Asymptotyczne własności prawdopodobieństw />
Zadania
Rozdzial 3. Programowanie dynamiczne przy ustalonym czasie końcowym
3.1. Plan rozdziału
3.2. Markowskie modele układów sterowania
3.2.1. Proste przykłady sterowanych łańcuchów Markowa
3.2.2. Niektóre oznaczenia
3.2.3. Prawdopodobieństwa przejść w « krokach przy strategii r.„
3.3. Funkcja kosztów
3.4. Sprowadzenie innych kosztów do postaci markowskiej: procedury rozbudowy
3.5. Rekurencyjne obliczanie kosztów
3.6. Wprowadzenie do programowania dynamicznego
3.7. Równanie funkcyjne dla kresu dolnego kosztów: ustalony koszt końcowy
3.8. Zasada optymalności
3.9. Istnienie sterowania optymalnego
3.10. Programowanie dynamiczne: wprowadzenie do problemu z czasem
nieskończonym
Zadania
Rozdział 4. Sterowanie optymalne w problemie z czasem swobodnym
4.1. Plan rozdziału
4.2. Rozważany problem
4.2.1. Funkcja kosztu
4.2.2. Przykłady
4.2.3. Wstępna analiza istnienia optymalnej strategii sterowania
4.2.4. Operatory zwężające na przestrzeniach euklidesowych i inne uwagi wstępne
4.3. Równanie kosztu dla problemu z czasem nieskończonym
4.4. Sterowanie optymalne
4.4.1. Lematy pomocnicze
4.4.2. Wystarczający warunek optyraalności
4.4.3. Istnienie sterowania optymalnego
4.5. Procedury obliczeniowe
4.5.1. Aproksymacja w przestrzeni strategii
4.5.2. Granica ciągu kosztów odpowiadających skończonym czasom
4.5.3. Iteracyjne procedury Gaussa-Seidla i Jacobiego dla problemów liniowych
4.5.4. Procedura Gaussa-Seidla dla problemu liniowego: podejście probabilistyczne
4.5.5. Wyższość procedury Gaussa-Seidla
4.5.6. Omówienie procedury Gaussa-Seidla
4.5.7. Procedura Gaussa-Seidla dla problemu sterowania
4.6. Przeliczalna przestrzeń S: jednoznaczność rozwiązania równania
(4.5a)
4.6.1. Warunki jednoznaczności rozwiązania
4.6.2. Kryteria zapewniające, że rozwiązanie równania (4.5a) jest kosztem
4.7. Przeliczalna przestrzeń 5: sterowanie optymalne
4.8. Przeliczalna przestrzeń 5: metody obliczeniowe
Zadania
Rozdział 5. Problem kosztu z dyskontem
5.1. Wstęp
5.2. Funkcja kosztów
5.3. Funkcja kosztów przy ustalonej strategii n
5.4. Sterowanie optymalne
5.4.1. Równanie kosztu optymalnego: aproksymacja w przestrzeni
strategii
5.5. Inne techniki obliczeniowe
5.5.1. Iteracje wsteczne: procedura Gaussa-Seidla
5.6. Optymalność w klasie sterowań z pamięcią
Zadania
Rozdział 6. Minimalizacja średniego kosztu na jednostkę czasu
6.1. Wstęp
6.2. Przykłady
6.3. Koszt przy ustalonej strategii n=11'°
6.3.1. Granica kosztów z dyskontem
6.4.1. Warunek wystarczający optymalności
6.4.2. Iteracja w przestrzeni strategii: konstrukcja sterowania optymalnego
6.5. Inne metody obliczeniowe.
6.6. Optymalność strategii w°° w klasie sterowań nieantycypujących
6.7. Koszty nieograniczone
Zadania
Rozdział 7. Optymalne zatrzymywanie
7.1. Wstęp i przykład
7.3. Rekurencyjna metoda obliczania kosztó
7.4. Optymalne zatrzymywanie przy ściśle dodatniej funkcji k i ograniczonej funkcji g
7.4.1. Warunek wystarczający skończonej wartości kosztu
7.4.2. Konieczny i wystarczający warunek optymalności
7.4.3. Istnienie sterowania optymalnego
7.4.4. Iteracyjne metody obliczania optymalnego kosztu i sterowania
7.5. Optymalne zatrzymywanie przy funkcji fc=0 i funkcji g ograniczonej
7.5.1. Jednoznaczność rozwiązania równania (7.14)
7.5.2. „Największe" rozwiązanie równania V—min[G, PV]
7.5.3. Koszt optymalny
Zadania
Rozdział 8. Teoria stabilności
8.1. Wstęp
8.2. Rodzaje zbieżności stochastycznej
8.2.1. Kryterium zbieżności prawie na pewno
8.3. Deterministyczne funkcje Lapunowa
8.3.1. Czas ciągły
8.3.2. Czas dyskretny
8.4. Stabilność i asymptotyczna stabilność
8.4.1. Stabilność asymptotyczna
8.4.2. Stabilność wykładnicza
8.4.3. Uwagi na temat uogólnień
8.5. Stochastyczne twierdzenia o zbiorze niezmienniczym
8.5.1. Zbiory co-graniczne i słaba ograniczoność miar probabilistycznych
8.5.2. Zbiór eo-graniczny w zbiorze niezmienniczym
8.5.4. Uogólnienie twierdzenia o zbiorze niezmienniczym dla procesów w euklidesowej przestrzeni stanów
8.6. Powracalność i miary niezmiennicze: asymptotyczne własności rozkładów prawdopodobieństwa
8.6.1. Wstęp
8.6.2. Istnienie miary niezmienniczej
8.6.3. Jednoznaczność miary niezmienniczej
8.6.4. Niezmienniczość asymptotyczna
8.6.5. Powracalność: kryterium typu funkcji Lapunowa dla warunku (8.18)
8.6.6. Uogólnienie dla ciągłych przestrzeni stanów
8.7. Przykłady
8.7.1. Dyskretna przestrzeń stanów
8.8. Dodatek: metoda diagonalna Cantora
Zadania
Rozdział 9. Uklady liniowe z kwadratowym kosztem
9.1. Omawiane zagadnienia
9.2. Układ liniowy z kwadratowym kosztem: czas skończony
9.2.1. Model
9.2.2. Sterowanie optymalne: czas skończony
9.2.3. Asymptotyczne własności macierzy P„ i wektorów
9.3. Zagadnienie z dyskontem
9.3.1. Zagadnienie z dyskontem: czas skończony
9.3.2. Asymptotyczne własności macierzy P„ i sterowania um
9.3.3. Zagadnienie z dyskontem: czas nieskończony
9.3.4. Aproksymacja w przestrzeni strategii: koszt zdyskontowany
9.4. Średni koszt przypadający na jednostkę czasu
9.4.1. Aproksymacja w przestrzeni strategii
9.5. Liniowa filtracja: czas dyskretny
9.5.1. Wstęp
9.5.2. Własności gaussowskich zmiennych losowych
9.5.3. Wyprowadzenie filtru: równania dynamiczne na warunkową wartość oczekiwaną i kowariancje
9.5.4. Ograniczoność warunkowych kowariancji
9.5.5. Asymptotyczne własności kowariancji Z(n+n)
9.6. Łączne zagadnienie filtracji i sterowania
9.6.1. Wstęp
9.6.2. Uproszczenie problemu
9.6.3. Twierdzenie o rozdzielaniu
9.6.4. Asymptotyczne własności łącznego zagadnienia sterowania
i filtracji
9.7. Przykłady modelowania, sterowania i filtracji
9.8. Dodatek
9.9. Przykłady układów sterowalnych i obserwowalnych
Zadania
Rozdziel 10. Procesy Markowa z czasem ciągłym
10.1. Wstęp
10.2. Postać kanoniczna procesu z czasem dyskretnym
10.2.1. Skalowanie procesów dyskretnych: zależność od A dla małych A. Przypadek liniowy
10.3. Proces Wienera
10.4. Trajektorie procesu z czasem dyskretnym i ich zachowanie graniczne
10.4.1. Ograniczoność
10.4.2. Interpolacja procesu z czasem dyskretnym
10.4.3. Granica interpolowanego procesu jest ciągła
10.5. Całki stochastyczne: wstęp
10.5.1. Definicja i własności całki stochastycznej
10.6. Alternatywna konstrukcja rozwiązania stochastycznego równania różniczkowego
10.7. Stochastyczny rachunek różniczkowy
10.8. Różniczkowy generator procesu
10.9. Różniczki stochastyczne i lemat It6
10.10. Uogólnienie lematu Itó na procesy zatrzymane w losowej chwili
Zadania
Rozdzial 11. Teoria sterowania: czas ciągly
11.1. Wstęp: model układu.
11.2. Równania dla kosztu przy ustalonym sterowaniu
11.2.1. Równanie kosztu: sterowanie na skończonym przedziale
11.2.2. Koszt przy sterowaniu do zbioru docelowego
11.2.3. Równanie kosztu: przypadek z dyskontem.
11.2.4. Równanie kosztu: przypadek samego kosztu końcowego
11.2.5. Średni koszt przypadający na jednostkę czasu
11.3. Sterowanie optymalne
11.3.1. Ustalony czas sterowania
11.3.2. Nieustalony czas sterowania
11.3.3. Zagadnienie z dyskontem
11.3.4. Minimalizacja średniego kosztu przypadającego na jednostkę czasu
11.4. Liniowe układy z kwadratowym kosztem (uogólnienie rozważań rozdz. 9 na przypadek czasu ciągłego)
11.4.1. Problem sterowania: skończony czas sterowania
11.4.2. Liniowe zagadnienie filtracji
11.4.3. Inne wyprowadzenie filtru ciągłego
11.4.4. Liniowa filtracja i sterowanie: koszt kwadratowy
11.5. Numeryczne rozwiązanie równania optymalnego kosztu
Zadania
Dodatek. Procesy stochastyczne w ciągle] przestrzeni stanów
D.l. Wstęp
D.2. Prawdopodobieństwo
D.2.1. Klasa zdarzeń zależących od skończonej liczby zmiennych
losowych
D.2.2. Zdarzenia zależne od nieskończonej liczby zmiennych losowych
D.2.3. Wartość oczekiwana
D.2.4. Prawdopodobieństwo warunkowe: wzór Bayesa
D.2.5. Warunkowa wartość oczekiwana: przypadek ogólny
D.2.6. Warunkowe gęstości: jeszcze raz wzór Bayesa
D.2.7. Warunkowe wartości oczekiwane (ciąg dalszy)
D.3. Procesy Markowa: czas dyskretny
D.4. Procesy z czasem ciągłym
Literatura
Skorowidz
