Systemy adaptacyjne i uczące się
Paweł Wawrzyński
rok wydania: 2009
stron: 194
oprawa: miękka
format: B5
wydawnictwo: Oficyna Wydawnicza Politechniki Warszawskiej
W skrypcie omówiono mechanizmy adaptacji możliwe do aplikowania w systemach tworzonych przez człowieka. Celem adaptacji jest poprawa działania systemu w trakcie pracy. Nie zawsze funkcjonowanie zaprojektowanego systemu jest zadowalające, więc należy go „nauczyć” jak działać optymalnie.
W pracy podano metody i algorytmy potrzebne przy projektowaniu systemów adaptacyjnych i uczących.
SPIS TREŚCI:
1. Wprowadzenie 6
1.1. Przykłady zagadnień, w których pojawia się potrzeba adaptacji i uczenia się 7
1.2. Cel skryptu i poruszane zagadnienia 9
1.3. Trzy dziedziny składające się na zawartość skryptu 9
1.4. Adaptacja i uczenie się jako droga do inteligentnego zachowania się maszyn i programów 13
I. Aproksymacja funkcji i podstawowe mechanizmy adaptacji 15
2. Liniowa aproksymacja funkcji 15
2.1. Aproksymatory i zagadnienie aproksymacji 15
2.2. Aproksymacja liniowa i rekurencyjne najmniejszej kwadraty 17
2.3. Własności statystyczne rekurencyjnych najmniejszych kwadratów 25
3. Nieliniowa aproksymacja funkcji i sieci neuronowe 32
3.1. Perceptron wielowarstwowy 32
3.2. Iteracyjna optymalizacja i aproksymacja stochastyczna 38
3.3. Uczenie się przy użyciu aproksymacji stochastycznej 45
3.4. Zagadnienie dostrajania parametru kroku 48
3.5. Zagadnienia praktyczne związane z używaniem sieci neuronowych w systemach uczących się 53
II. Uczenie się przez wzmacnianie 58
4. Podstawy 58
4.1. Proces Decyzyjny Markowa 58
4.2. Algorytmy Q-Learning i SARSA 61
4.3. Rozszerzenie algorytmów Q-Learning i SARSA do ciągłych przestrzeni stanów i decyzji 64
5. Optymalizacja stochastycznego wyboru 69
5.1. Parametryzowane rozkłady prawdopodobieństwa 69
5.2. Algorytm REINFORCE punktowy 75
5.3. Stacjonarna polityka decyzyjna 78
5.4. Algorytm REINFORCE statyczny 80
5.5. Algorytm REINFORCE epizodyczny 82
6. Algorytm Aktor-Krytyk 88
6.1. Aktor i Krytyk 88
6.2. TD(λ) 92
7. Aktor-Krytyk z kompatybilną aproksymacją 97
7.1. Optymalizacja średniej nagrody 97
7.2. Gradient polityki 99
7.3. Aktor-Krytyk z kompatybilną aproksymacją 102
7.4. Naturalny Aktor-Krytyk 105
7.5. Dyskonto: ograniczenie wariancji estymatora gradientu 106
8. Wielokrotne przetwarzanie obserwacji 108
8.1. Algorytm Q-Learning z powtarzaniem doświadczenia 109
8.2. Próbkowanie ważnościowe 112
8.3. Algorytm Aktor-Krytyk z powtarzaniem doświadczenia 113
8.4. Optymalizacja estymatora wskaźnika jakości 121
III. Sterowanie adaptacyjne 124
9. Obiekty dynamiczne 124
9.1. Wstęp 124
9.2. Liniowe obiekty SISO 126
9.3. Dyskretna aproksymacja obiektów o ciągłej dynamice 136
10. Stabilność i funkcja Lapunowa 138
10.1. Ogólna postać typowego schematu adaptacji 138
10.2. Stabilność 140
10.3. Funkcja Lapunowa 143
10.4. Stabilność w kontekście funkcji Lapunowa 145
11. Schematy adaptacji dla obiektów liniowych z obserwowalnym stanem 150
11.1. Liniowy obiekt SISO pierwszego rzędu 150
11.2. Uogólnienie 154
11.3. Obiekty liniowe wyższych rzędów 157
12. Zaawansowane schematy adaptacji 161
12.1. Obiekty o nieliniowej dynamice 161
12.2. Obiekty z nieobserwowalnymi pochodnymi stanu 164
13. Samostrojące się regulatory 171
13.1. Dynamika liniowo parametryzowalna 172
13.2. Liniowe najmniejsze kwadraty w czasie ciągłym 173
13.3. Najmniejsze kwadraty z wykładniczym zapominaniem 175
13.4. Adaptacyjny dobór współczynnika zapominania 177
IV. Synteza 178
14. Pozostałe podejścia 178
14.1. Stochastyczne sterowanie adaptacyjne 178
14.2. Aproksymowane programowanie dynamiczne 180
15. Podsumowanie 182
15.1. Uczenie się przez wzmacnianie 182
15.2. Sterowanie adaptacyjne 184
Dodatek 186
A. Probabilistyka 186
B. Dowody 190
Literatura 191
