Słowo wstępne
Wprowadzenie
1. Elementy teorii prawdopodobieństwa i algebry liniowej
1.1. Zdarzenia losowe
1.2. Prawdopodobieństwo
1.3. Zależność i niezależność
1.4. Zmienne losowe. Wartości oczekiwane
1.5. Procesy stochastyczne
1.6. Macierze
1.7. Działania na macierzach
1.8. Przestrzeń r-wymiarowa
1.9. Wartości własne i wektory własne
1.10. Macierze dodatnie. Twierdzenia Perrona-Frobeniusa
1.11. Macierze stochastyczne. Współczynniki ergodyczności
2. Podstawowe pojęcia teorii jednorodnych łańcuchów Markowa
2.1. Własność Markowa
2.2. Przykłady jednorodnych łańcuchów Markowa
2.3. Momenty zatrzymania i mocna własność Markowa
2.4. Klasyfikacja stanów
2.5. Stany chwilowe i powracalne
2.6. Klasyfikacja jednorodnych łańcuchów Markowa
Zadania
3. Pochłaniające łańcuchy Markowa
3.1. Macierz fundamentalna
3.2. Zastosowania macierzy fundamentalnej
3.3. Uogólnienia i uzupełnienia
3.4. Warunkowa ewolucja łańcucha Markowa w zbiorze stanów chwilowych
Zadania
4. Ergodyczne łańcuchy Markowa
4.1. Regularne łańcuchy Markowa
4.2. Rozkład stacjonarny
4.3. Macierz fundamentalna
4.4. Cykliczne łańcuchy Markowa
4.5. Odwrotne łańcuchy Markowa
4.6. Model Ehrenfestów
Zadania
5. Ogólne własności łańcuchów Markowa
5.1. Asymptotyczne własności prawdopodobieństw przejścia
5.2. tr-algebra ogonowa
5.3. Twierdzenia graniczne dla sum częściowych
5.4. Grupowe łańcuchy Markowa
5.5. Rozszerzone łańcuchy Markowa
5.6. Uogólnienie pojęcia jednorodnego skończonego łańcucha Markowa
Zadania
6. Zastosowania łańcuchów Markowa w psychologii i genetyce
6.1. Matematyczna teoria uczenia się
6.2. Model kompozycyjny
6.3. Łańcuch Markowa związany z modelem kompozycyjnym
6.4. Mendlowska teoria dziedziczności
6.5. Kojarzenie rodzeństwa
6.6. Dryf genetyczny. Model Wrighta
Zadania
7. Niejednorodne łańcuchy Markowa
7.1. Preliminaria
7.2. Słaba ergodyczność
7.3. Jednostajna słaba ergodyczność
7.4. Mocna ergodyczność
7.5. Jednostajna mocna ergodyczność
7.6. Własności asymptotyczne niejednorodnych łańcuchów Markowa
Zadania
8. Procesy Markowa
8.1. Teoriomiarowa definicja procesu Markowa
8.2. Macierz intensywności
8.3. Konstruktywna definicja procesu Markowa
8.4. Sieci dyskretne i klasyfikacja stanów
8.5. Pochłaniające procesy Markowa
8.6. Regularne procesy Markowa
8.7. Procesy urodzin i śmierci
8.8. Uogólnienie pojęcia jednorodnego skończonego procesu Markowa
8.9. Niejednorodne procesy Markowa
Zadania
Uzupełnienie
Nota historyczna
Bibliografia
Wykaz symboli
Skorowidz