Sieci neuronowe do przetwarzania informacji
Stanisław Osowski
rok wydania: 2013 (wyd.3, poprawione)
stron: 422 + CD
format: B5
oprawa: miękka
wydawnictwo: Oficyna Wydawnicza Politechniki Warszawskiej
W podręczniku przedstawiono podstawowe rodzaje sieci neuronowych do przetwarzania informacji. Omówiono algorytmy uczenia oraz odtwarzania takich sieci neuronowych, jak: perceptron wielowarstwowy, sieć kaskadowej korelacji, sieć radialna, sieci rekurencyjne, sieć koherenna, sieci typu SVM i inne. W pracy zamieszczono wyniki symulacji komputerowych różnych rodzajów sieci w zastosowaniach do przetwarzania informacji.
SPIS TREŚCI:
Przedmowa 7
1. Wstęp 9
1.1. Podstawy biologiczne działania neuronu 9
1.2. Pierwsze modele sieci neuronowej 12
1.3. Przegląd zastosowań sieci neuronowych 14
2. Modele neuronów i metody ich uczenia 17
2.1. Perceptron 18
2.2. Neuron sigmoidalny 19
2.3. Neuron radialny 24
2.4. Neuron typu adaline 25
2.5. Instar i outstar Grossberga 27
2.6. Neurony typuWTA 30
2.7. Model neuronu Hebba 34
2.8. Model stochastyczny neuronu 37
2.9. Zadania i problemy 39
3. Sieci jednokierunkowe wielowarstwowe typu sigmoidalnego 40
3.1. Sieć jednowarstwowa 41
3.2. Sieć wielowarstwowa perceptronowa 44
3.2.1. Struktura sieci perceptronowej 44
3.2.2. Algorytm propagacji wstecznej 45
3.3. Grafy przepływowe w zastosowaniu do generacji gradientu 49
3.4. Algorytmy gradientowe uczenia sieci 54
3.4.1. Zależności podstawowe 54
3.4.2. Algorytm największego spadku 56
3.4.3. Algorytm zmiennej metryki 57
3.4.4. Algorytm Levenberga-Marquardta 59
3.4.5. Algorytm gradientów sprzężonych 61
3.5. Dobór współczynnika uczenia 62
3.6. Metody heurystyczne uczenia sieci 65
3.6.1. Algorytm Quickprop 65
3.6.2. Algorytm RPROP 67
3.7. Program komputerowy MLP do uczenia sieci perceptronowej 67
3.8. Porównanie efektywności algorytmów uczących 69
3.9. Elementy optymalizacji globalnej 74
3.9.1. Algorytm symulowanego wyżarzania 76
3.9.2. Elementy algorytmów genetycznych 80
3.10.Metody inicjalizacji wag 85
3.11.Zadania i problemy 87
4. Problemy praktycznego wykorzystania sieci neuronowych 89
4.1. Zdolności generalizacyjne sieci neuronowych 89
4.1.1. Zależności podstawowe 89
4.1.2. Miara VCdim 90
4.1.3. Zależności między błędem generalizacji i miarą VCdim 91
4.1.4. Przegląd metod zwiększania zdolności generalizacyjnych sieci neuronowej 93
4.2. Wstępny dobór architektury sieci 98
4.3. Dobór optymalnej architektury sieci pod względem generalizacji 101
4.3.1. Metody wrażliwościowe redukcji sieci 102
4.3.2. Metody redukcji sieci z zastosowaniem funkcji kary 107
4.4. Wtrącanie szumu do próbek uczących 109
4.5. Zwiększanie zdolności generalizacyjnych przez użycie wielu sieci 111
4.6. Przykłady zastosowań sieci perceptronowej 113
4.6.1. Rozpoznawanie i klasyfikacja wzorców binarnych 114
4.6.2. Rozpoznawanie wzorców na podstawie obrysu zewnętrznego 122
4.6.3. Sieć neuronowa do kompresji danych 128
4.6.4. Identyfikacja obiektów dynamicznych 132
4.6.5. Predykcja obciążeń systemu elektroenergetycznego 135
4.7. Zadania i problemy 139
5. Sieci neuronowe radialne 141
5.1. Podstawy matematyczne 142
5.2. Sieć neuronowa radialna 144
5.3. Metody uczenia sieci neuronowych radialnych 149
5.3.1. Proces samoorganizacji w zastosowaniu do adaptacji parametrów funkcji radialnych 151
5.3.2. Algorytm probabilistyczny doboru parametrów funkcji radialnych 154
5.3.3. Algorytm hybrydowy uczenia sieci radialnych 156
5.3.4. Algorytmy uczące oparte na propagacji wstecznej 158
5.4. Metody doboru liczby funkcji bazowych 160
5.4.1. Metody heurystyczne 161
5.4.2. Metoda ortogonalizacji Grama-Schmidta 162
5.5. Program komputerowy uczenia sieci radialnych 166
5.6. Przykład zastosowania sieci radialnej w aproksymacji 168
5.7. Porównanie sieci radialnych z sieciami sigmoidalnymi 171
5.8. Zadania i problemy 172
6. Sieci SVM 173
6.1. Sieć liniowa SVM w zadaniu klasyfikacji 174
6.1.1. Sieć nieliniowa SVM w zadaniu klasyfikacji 180
6.2. Interpretacja mnożników Lagrange'a w rozwiązaniu sieci 188
6.3. Problem klasyfikacji przy wielu klasach 189
6.4. Sieci SVM do zadań regresji 191
6.5. Przegląd algorytmów rozwiązania zadania dualnego 194
6.6. Program komputerowy uczenia sieci SVM 198
6.7. Przykłady zastosowania sieci SVM 200
6.7.1. Problem klasyfikacyjny dwu spiral 200
6.7.2. Rozpoznawanie tekstur 202
6.7.3. Wykrywanie uszkodzeń elementów w obwodzie filtru elektrycznego 203
6.8. Porównanie sieci SVM z innymi rozwiązaniami neuronowymi 206
6.9. Zadania i problemy 210
7. Specjalizowane struktury sieci neuronowych 212
7.1. Sieć kaskadowej korelacji Fahlmana 212
7.2. Sieć Volterry 216
7.2.1. Struktura i zależności uczące sieci 219
7.2.2. Przykłady zastosowań sieci Volterry 222
7.3. Zadania i problemy 228
8. Sieci rekurencyjne jako pamięci asocjacyjne 229
8.1. Wprowadzenie 229
8.2. Sieć autoasocjacyjna Hopfielda 231
8.2.1. Zależności podstawowe 231
8.2.2. Tryb uczenia sieci Hopfielda 234
8.2.3. Tryb odtworzeniowy sieci Hopfielda 235
8.2.4. Program Hop win 236
8.3. Sieć Hamminga 239
8.3.1. Struktura sieci i algorytm doboru wag 239
8.3.2. Działanie sieci Hamminga 241
8.3.3. Program Shamming uczenia sieci 242
8.4. Sieć typu BAM 245
8.4.1. Opis działania sieci 245
8.4.2. Zmodyfikowany algorytm uczący sieci BAM 248
8.4.3. Zmodyfikowana struktura sieci BAM 249
8.5. Zadania i problemy 255
9. Sieci rekurencyjne tworzone na bazie perceptronu 257
9.1. Wprowadzenie 257
9.2. Sieć perceptronowa ze sprzężeniem zwrotnym 257
9.2.1. Struktura sieci RMLP 257
9.2.2. Algorytm uczenia sieci RMLP 259
9.2.3. Dobór współczynnika uczenia 261
9.2.4. Współczynnik wzmocnienia sygnału 261
9.2.5. Wyniki symulacji komputerowych 262
9.3. Sieć rekurencyjna Elmana 267
9.3.1. Struktura sieci 267
9.3.2. Algorytm uczenia sieci Elmana 268
9.3.3. Uczenie z wykorzystaniem momentu 271
9.3.4. Przykładowe wyniki symulacji komputerowych sieci Elmana 272
9.4. Sieć RTRN 275
9.4.1. Struktura sieci i algorytm uczący 275
9.4.2. Wyniki eksperymentów numerycznych 277
9.5. Zadania i problemy 281
10. Sieci samoorganizujące się na zasadzie współzawodnictwa 282
10.1. Zależności podstawowe sieci samoorganizujących się przez współzawodnictwo 283
10.1.1. Miary odległości między wektorami 284
10.1.2. Normalizacja wektorów 285
10.1.3. Problem neuronów martwych 286
10.2. Algorytmy uczące sieci samoorganizujących 287
10.2.1. Algorytm Kohonena 289
10.2.2. Algorytm gazu neuronowego 289
10.2.3. Program Kohon 291
10.2.4. Porównanie algorytmów samoorganizacji 293
10.3. Sieć odwzorowań jedno- i dwuwymiarowych 295
10.4.Odwzorowanie Sammona 299
10.5. Zastosowania sieci samoorganizujących 300
10.5.1. Kompresja danych 300
10.5.2.Wykrywanie uszkodzeń w urządzeniach 303
10.5.3. Krótkoterminowe prognozowanie obciążeń systemu elektroenergetycznego 306
10.6. Sieć hybrydowa 310
10.7. Zadania i problemy 314
11. Sieci samoorganizujące typu korelacyjnego 315
11.1. Funkcja energetyczna sieci korelacyjnych 315
11.2. Sieci neuronowe PCA 317
11.2.1.Wprowadzenie matematyczne 317
11.2.2. Relacja między przekształceniami PCA i SVD 320
11.2.3. Estymacja pierwszego składnika głównego 321
11.2.4. Algorytmy estymacji wielu składników głównych 323
11.3. Sieci neuronowe do ślepej separacji sygnałów 325
11.3.1. Zależności wstępne 325
11.3.2. Niezależność statystyczna sygnałów 326
11.3.3. Struktura rekurencyjna sieci separującej 327
11.3.4. Algorytm Heraulta-Juttena dla sieci rekurencyjnej 328
11.3.5. Algorytm Cichockiego uczenia sieci rekurencyjnej 330
11.3.6. Program ślepej separacji BS 330
11.3.7. Sieć jednokierunkowa do separacji sygnałów 334
11.3.8. Toolbox ICALAB 339
11.4. Zadania i problemy 340
12. Podstawy matematyczne systemów rozmytych 342
12.1. Operacje na zbiorach rozmytych 344
12.2. Miary rozmytości zbiorów rozmytych 346
12.3. Rozmytość a prawdopodobieństwo 347
12.4. Reguły rozmyte wnioskowania 349
12.5. Systemy wnioskowania rozmytego Mamdaniego-Zadeha 350
12.5.1. Fuzyfikator 353
12.5.2. Defuzyfikator 356
12.5.3. Model Mamdaniego-Zadeha jako układ uniwersalnego aproksymatora 357
12.6. Model wnioskowania Takagi-Sugeno-Kanga 358
12.7. Zadania i problemy 361
13. Sieci neuronowe rozmyte 362
13.1. Struktura sieci rozmytej TSK 362
13.2. Struktura sieci Wanga-Mendela 366
13.3. Algorytmy samoorganizacji w zastosowaniu do uczenia sieci rozmytej 367
13.3.1. Algorytm grupowania górskiego 368
13.3.2. Algorytm C-means 371
13.3.3. Algorytm Gustafsona-Kessela samoorganizacji rozmytej 373
13.4. Generacja reguł wnioskowania sieci rozmytej 378
13.5. Algorytm hybrydowy uczenia sieci rozmytej TSK 381
13.6. Modyfikacje sieci TSK 385
13.6.1. Algorytm wyznaczania liczby reguł wnioskowania 386
13.6.2. Przykład numeryczny 388
13.6.3. Uproszczona sieć TSK 391
13.7. Sieć hybrydowa rozmyta 393
13.8. Przykłady zastosowań sieci rozmytych 396
13.8.1. Estymacja stężenia składników mieszaniny gazowej 396
13.8.2. Rozpoznawanie składników mieszanin gazowych 397
13.8.3. Rozpoznawanie gatunków piwa na podstawie zapachu 399
13.9. Adaptacyjny algorytm samoorganizacji dla sieci rozmytej 402
13.10. Zadania i problemy 406
Bibliografia 407
Skorowidz 419
