Fluxul evenimentelor numită o succesiune de evenimente omogene care apar unul după altul în momente aleatorii. Exemple: fluxul de apeluri la o centrală telefonică; fluxul de defecțiuni ale computerului; fluxul cererilor de decontare în centrul de calcul etc.

Fluxul evenimentelor este reprezentat vizual printr-o serie de puncte cu abscise Q1, Q2, ..., Q n , ...(Fig. 6.15) cu intervale între ele: T 1 \u003d Q 2 - Q 1, T 2 \u003d Q 3 -Q 2, ..., T p \u003d Q n +1 - Q n. Cu descrierea probabilistică, fluxul de evenimente poate fi reprezentat ca o secvență de variabile aleatoare:

Q1; Q 2 \u003d Q 1 + T 1; Q 3 \u003d Q 1 + T 1 + T 2; etc.

Figura sub forma unei serii de puncte arată nu fluxul de evenimente în sine (este aleatoriu), ci doar una dintre implementarea sa specifică.

Fluxul de evenimente este numit staționar, dacă caracteristicile sale probabilistice nu depind de alegerea originii sau, mai precis, dacă probabilitatea de a lovi unul sau altul de evenimente în orice interval de timp depinde doar de lungimea acestui interval și nu depinde de locul exact în care axă 0-t este localizat.

Figura 6.15 - Implementarea fluxului de evenimente

Fluxul de evenimente este numit comun, dacă probabilitatea ca două sau mai multe evenimente să lovească un interval de timp elementar este neglijabilă în comparație cu probabilitatea ca un singur eveniment să se lovească.

Figura 6.16 - Fluxul evenimentelor ca proces aleatoriu

Fluxul obișnuit al evenimentelor poate fi interpretat ca un proces aleatoriu X(t) - numărul de evenimente care au apărut înainte de momentul t (Fig. 6.16). proces aleatoriu X(t) sare în sus cu o unitate în puncte Q ,Q 2 ,...,Q n.

Fluxul de evenimente este numit curge fără efecte secundare, dacă numărul de evenimente care se încadrează pe orice interval de timp nu depinde de câte evenimente au căzut pe orice alt interval care nu se intersectează cu acesta. Practic, absența unui efect secundar în flux înseamnă că evenimentele care formează fluxul apar în anumite momente de timp independent unele de altele.

Fluxul de evenimente este numit cel mai simplu dacă este staționar, obișnuit și nu are efecte secundare. Interval de timp Tîntre două evenimente învecinate ale fluxului cel mai simplu are o distribuţie exponenţială

(la t>0); (6.21)

Unde / L [T]- reciproca valorii medii a intervalului T.

Se numește un flux obișnuit de evenimente fără efecte secundare Poisson. Cel mai simplu flux este un caz special al unui flux staționar Poisson. intensitate Fluxul de evenimente se numește numărul mediu de evenimente pe unitatea de timp. Pentru flux staționar; pentru un flux nestaționar depinde în general de timp: .

procese stocastice Markov. Procesul aleatoriu este numit Markovian dacă are următoarea proprietate: pentru orice moment de timp t 0 probabilitatea oricărei stări a sistemului în viitor(la t>t0) depinde de starea ei actuală.(la t=t0) și nu depinde de modul în care sistemul a ajuns în această stare.

În acest capitol, vom lua în considerare numai procesele Markov cu stări discrete S1, S2,...,S n. Astfel de procese sunt ilustrate convenabil folosind graficul de stare (Fig. 5.4), unde dreptunghiurile (sau cercurile) indică stările. S1, S2, … ale sistemului S, iar săgețile indică posibile tranziții de la stare la stare (graficul marchează doar tranziții directe, nu tranziții prin alte stări).

Figura 5.4 - Graficul stărilor unui proces aleator

Uneori, graficul de stare marchează nu numai posibile tranziții de la stare la stare, ci și posibile întârzieri în starea anterioară; aceasta este reprezentată de o săgeată ("buclă") direcționată dintr-o stare dată către ea, dar puteți face fără ea. Numărul de stări ale sistemului poate fi fie finit, fie infinit (dar numărabil).

Proces stocastic Markov cu stări discrete și timp discretdenumit în mod obișnuit un lanț Markov. Pentru un astfel de proces, momentele t1, t2... când sistemul Sîși poate schimba starea, este convenabil să-l considerăm ca pași succesivi ai procesului, și nu timpul ca un argument de care depinde procesul t, si numarul pasului: 12, . . .,k;…. Procesul aleatoriu în acest caz este caracterizat de o succesiune de stări

Dacă S(0)- starea inițială a sistemului (înainte de primul pas); S(1)- starea sistemului imediat după prima etapă; ...; S(k) este starea sistemului imediat după pasul k....

Eveniment Si , (i=1,2,...) este un eveniment aleator, deci succesiunea de stări (5.6) poate fi considerată ca o succesiune de evenimente aleatoare. Stare initiala S(0) poate fi fie predeterminat, fie aleatoriu. Se spune că evenimentele din șirul (5.6) formează un lanț Markov.

Luați în considerare un proces cu n stări posibile S1, S2, ..., S n. Dacă este notat cu X(t) numărul stării în care se află sistemul S în acest moment t, atunci procesul este descris de o funcție aleatorie întreagă X(t)>0, ale căror posibile valori sunt 1, 2,...,n. Această funcție sare de la o valoare întreagă la alta la un moment dat. t1, t2,... (fig. 5.5) și este continuă în stânga, care este marcată prin puncte în fig. 5.5.

Figura 5.5 - Graficul unui proces aleatoriu

Se consideră legea de distribuție unidimensională a funcției aleatoare X(t). Notează prin probabilitatea ca după k- al-lea pas [și până la ( k+1)al-lea] sistem S va fi în stare S i (i=1,2,...,n). Probabilități p i (k) numit probabilități de stare lanțuri Markov. Evident, pentru orice k

. (5.7)

Distribuția probabilității stărilor la începutul procesului

p 1 (0) ,p 2 (0),…,p i (0),…,p n (0)(5.8)

numit distribuția de probabilitate inițială lanțul Markov. În special, dacă starea inițială S(0) a sistemului S este cunoscut exact, de exemplu S(0)=S i, apoi probabilitatea inițială Pi(0) = 1, iar toate celelalte sunt egale cu zero.

Probabilitatea de tranziție pe k-al-lea pas din stat Siîntr-o stare S j este probabilitatea condiționată ca sistemul k-al-lea pas va fi în stat S j cu condiția ca imediat înainte (după k - 1 trepte) era într-o stare Si. Probabilitățile de tranziție sunt uneori numite și „probabilități de tranziție”.

Lanțul Markov se numește omogen, dacă probabilitățile de tranziție nu depind de numărul pasului, ci depind doar de starea de la și către:

Probabilitățile de tranziție ale unui lanț Markov omogen P ij formați un tabel pătrat (matrice) de dimensiune n* n:

(5.10)

. (5.11)

O matrice cu această proprietate este numită stocastică. Probabilitate P ij nu este altceva decât probabilitatea ca sistemul care a ajuns la un anumit pas în stat S j, și va persista la pasul următor.

Dacă pentru un lanț Markov omogen sunt date distribuția inițială de probabilitate (5.8) și matricea probabilităților de tranziție (5.10), atunci probabilitățile stărilor sistemului poate fi determinată prin formula recursivă

(5.12)

Pentru un lanț Markov neomogen, probabilitățile de tranziție din matricea (5.10) și formula (5.12) depind de numărul pasului k.

Pentru un lanț Markov omogen, dacă toate stările sunt esențiale și numărul de stări este finit, există o limită determinată din sistemul de ecuații și Suma probabilităților de tranziție din orice rând al matricei este egală cu unu.

În calculele reale folosind formula (5.12), este necesar să se ia în considerare nu toate stările S j, dar numai cele pentru care probabilitățile de tranziție sunt nenule, i.e. cele din care pe graficul de stat conduc săgețile la stat Si.

Proces aleator Markov cu stări discrete și timp continuunumit uneori „lanț Markov continuu”. Pentru un astfel de proces, probabilitatea de tranziție de la stare Si V S j pentru orice moment de timp este zero. În loc de probabilitatea de tranziție p ij considera densitatea probabilității de tranziție care este definită ca limita raportului probabilității de tranziție de la stare Siîntr-o stare S j pentru o scurtă perioadă de timp adiacentă momentului t, la lungimea acestui interval când acesta tinde spre zero. Densitatea probabilității de tranziție poate fi fie constantă () fie dependentă de timp. În primul caz, se numește un proces aleator Markov cu stări discrete și timp continuu omogen. Un exemplu tipic de astfel de proces este procesul aleatoriu X(t), care este numărul de apariții până în momentul de față t evenimente în cel mai simplu flux (Fig. 5.2).

Când se consideră procese aleatoare cu stări discrete și timp continuu, este convenabil să se reprezinte tranzițiile sistemului S de la stare la stare ca având loc sub influența anumitor fluxuri de evenimente. În acest caz, densitățile de probabilitate de tranziție capătă semnificația intensităților fluxurilor de evenimente corespunzătoare (de îndată ce apare primul eveniment în fluxul cu intensitate , sistemul din starea Si sare în sj). Dacă toate aceste fluxuri sunt Poisson, atunci procesul care are loc în sistemul S va fi Markov.

Când luăm în considerare procesele aleatoare Markov cu stări discrete și timp continuu, este convenabil să folosiți un grafic de stare pe care împotriva fiecărei săgeți care duce de la stare Si, V S j este indicată intensitatea fluxului de evenimente care transpune sistemul de-a lungul acestei săgeți (Fig. 5.6). Un astfel de grafic de stare se numește marcat.

Probabilitatea ca sistemul S, care este în stare Si, pentru o perioadă elementară de timp () va intra în stat S j(element de probabilitate de tranziție de la Si V S j), există posibilitatea ca în acest timp dt va exista cel puțin un eveniment al firului care traduce sistemul S din S i la S j . Până la ordinele superioare infinitezimale, această probabilitate este egală cu .

Fluxul probabilității de tranziție in afara statului Si V sj se numește mărime (aici intensitatea poate fi fie dependentă, fie independentă de timp).

Luați în considerare cazul în care sistemul S are un număr finit de stări S1, S2,..., S p. Pentru a descrie un proces aleator care are loc în acest sistem, sunt utilizate probabilitățile stărilor

(5.13)

Unde p i (t) - probabilitatea ca sistemul S pe moment t este într-o stare Si:

. (5.14)

Evident, pentru orice t

Pentru a afla probabilitățile (5.13) este necesar să se rezolve sistemul de ecuații diferențiale (ecuații Kolmogorov) având forma

(i=1,2,…,n),

sau, omițând argumentul t variabile p i ,

(i=1,2,…,n). (5.16)

Reamintim că intensitățile fluxului ij pot depinde de timp .

Este convenabil să compuneți ecuațiile (5.16) folosind graficul de stare a sistemului etichetat și următoarea regulă mnemonică: derivata probabilității fiecărei stări este egală cu suma tuturor fluxurilor de probabilitate care se transferă din alte stări în aceasta, minus suma tuturor fluxurilor de probabilitate care se transferă din această stare în altele. De exemplu, pentru sistemul S , al cărui grafic de stare etichetat este dat în Fig. 10.6, sistemul de ecuații Kolmogorov are forma

(5.17)

Din moment ce pentru orice t condiția (5.15) este îndeplinită, oricare dintre probabilitățile (5.13) poate fi exprimată în termeni de rest și astfel se reduce numărul de ecuații cu una.

Pentru a rezolva sistemul de ecuații diferențiale (5.16) pentru probabilități de stare p 1 (t) p 2 (t), …, p n (t), trebuie să setați distribuția de probabilitate inițială

p 1 (0), p 2 (0), …, p i (0), …, p n (0), ( 5.18)

a căror sumă este egală cu unu.

Dacă, în special, în momentul inițial t= 0 starea sistemului S este cunoscută exact, de exemplu, S(0) =S i, Și p i (0)= 1, atunci probabilitățile rămase de exprimare (5.18) sunt egale cu zero.

În multe cazuri, când procesul din sistem durează suficient de mult, se pune întrebarea despre comportamentul limitativ al probabilităților. p i(t) la . Dacă toate fluxurile de evenimente care duc sistemul de la stare la stare sunt cele mai simple (adică Poisson staționar cu intensități constante), în unele cazuri există final (sau limita) probabilități de stare

, (5.19)

independent de starea în care se afla sistemul S la momentul inițial. Aceasta înseamnă că în timp în sistemul S, limitează modul staționar, timp în care trece din stare în stare, dar probabilitățile stărilor nu se mai schimbă. În acest mod de limitare, fiecare probabilitate finală poate fi interpretată ca timp relativ mediu menținerea sistemului în această stare.

Se numește un sistem în care există probabilități finale ergodic. Dacă sistemul S are un număr finit de stări S1, S2,. . . , S n, apoi pentru existența probabilităților finale suficient, la din orice stare a sistemului(într-un anumit număr de pași) mergi la oricare altul. Dacă numărul de state S1, S2,. . . , S n, este infinită, atunci această condiție încetează să mai fie suficientă, iar existența probabilităților finale depinde nu numai de graficul stării, ci și de intensitățile .

Probabilitățile de stare finală (dacă există) pot fi obținute prin rezolvare sisteme liniare ecuații algebrice, ele se obțin din ecuațiile diferențiale ale lui Kolmogorov dacă le setăm laturile din stânga (derivatele) egale cu zero. Cu toate acestea, este mai convenabil să scrieți aceste ecuații direct din graficul de stare, folosind regula mnemonică: pentru fiecare stare, fluxul total de probabilitate de ieșire este egal cu cel total de intrare. De exemplu, pentru un sistem S al cărui grafic de stare etichetat este dat la p este. 5.7, ecuațiile pentru probabilitățile de stare finală sunt

(5.20)

Astfel, se dovedește (pentru sistem S cu p state) sistem n ecuaţii algebrice liniare omogene cu n necunoscut p 1, p 2, ..., r p. Necunoscute pot fi găsite din acest sistem p 1, p 2, . . . , r p s până la un factor arbitrar. Pentru a găsi valori exacte p 1,..., r p, adaugă la ecuații condiția de normalizare p 1 + p 2 + …+ p p=1, folosind care puteți exprima oricare dintre probabilități pi prin altele (și, în consecință, aruncați una dintre ecuații).

Întrebări de revizuire

1 Ce se numește o funcție aleatoare, un proces aleatoriu, o secțiune a unui proces aleator, implementarea lui?

2 Cum diferă procesele aleatorii în structura lor și natura fluxului lor în timp?

3 Ce ​​legi de distribuție ale unei funcții aleatoare sunt folosite pentru a descrie o funcție aleatoare?

4 Care este funcția de așteptare a unei funcții aleatoare, care este semnificația ei geometrică?

5 Care este funcția de varianță a unei funcții aleatoare, care este semnificația ei geometrică?

6 Care este funcția de corelare a unui proces aleatoriu și ce caracterizează acesta?

7 Care sunt proprietățile funcției de corelare a unui proces aleator?

8 De ce a fost introdus conceptul de funcție de corelație normalizată?

9 Explicați cum, folosind date experimentale, să obțineți estimări ale funcțiilor caracteristicilor unui proces aleatoriu?

10 Care este diferența dintre o funcție de corelație încrucișată și o funcție de autocorelare?

11 Ce proces aleatoriu este denumit procese staționare în sens restrâns și în sens larg?

12 Care este proprietatea de ergodicitate a unui proces aleator staționar?

13 Ce se înțelege prin descompunerea spectrală a unui proces aleator staționar și de ce este necesar?

14 Care este relația dintre funcția de corelație și densitatea spectrală a unei funcții aleatoare staționare?

15 Ce se numește cel mai simplu flux de evenimente?

16 Ce proces aleatoriu se numește lanț Markov? Care este metoda de calcul a stărilor sale?

17 Ce este un proces stocastic Markov cu stări discrete și timp continuu?

M(U)=10, D(U)=0,2.

6.5 Găsiți funcția de corelație încrucișată normalizată a funcțiilor aleatoare X(t)=t*UȘi Y(t)=(t+1)U, Unde U este o variabilă aleatoare, iar varianța D(U)=10.

PROCESUL MARKOV

Proces fără efecte secundare, - proces aleatoriu, a cărui evoluţie după orice valoare dată a parametrului de timp t nu depinde de evoluţia care a precedat t, cu condiția ca valoarea procesului în aceasta să fie fixă ​​(pe scurt: „viitorul” și „trecutul” procesului nu depind unul de celălalt atunci când „prezentul” este cunoscut).

Proprietatea care determină M. p. se numește. Markovian; a fost formulat mai întâi de A. A. Markov. Cu toate acestea, deja în lucrarea lui L. Bachelier se poate vedea o încercare de a interpreta brownianul ca un M. p., încercare care a primit fundamentare după studiile lui N. Wiener (N. Wiener, 1923). Bazele teorie generală M. sts cu timp continuu au fost stabilite de A. N. Kolmogorov.

proprietatea Markov. Există, în esență, diferite definiții ale lui M. n. Una dintre cele mai comune este următoarea. Dai drumul spațiu de probabilitate dat un proces aleatoriu cu valori dintr-un spațiu măsurabil unde T - submulțimea axei reale Fie N t(respectiv N t).este o s-algebră în generat de X(s). Unde Cu alte cuvinte, N t(respectiv N t) este un ansamblu de evenimente asociate cu evoluția procesului până la momentul t (începând de la t) . Procesul X(t). Procesul Markov dacă (aproape sigur) proprietatea Markov este valabilă pentru toți:

sau, ce este la fel, dacă pentru oricare

A m.p., pentru care T este cuprins în mulțimea numerelor naturale, numită. lanțul Markov(cu toate acestea, ultimul termen este cel mai adesea asociat cu cazul de cel mult E numărabil) . Dacă T este un interval în și En este mai mult decât numărabil, M. p. Lanț Markov cu timp continuu. Exemple de MT în timp continuu sunt furnizate de procesele de difuzie și procesele cu incremente independente, inclusiv procesele Poisson și Wiener.

În cele ce urmează, pentru certitudine, vom lua în considerare doar cazul Formulele (1) și (2) oferă o interpretare clară a principiului independenței „trecutului” și „viitorului” cu „prezentul” cunoscut, dar definiția lui M. p. bazată pe acestea s-a dovedit a fi insuficient de flexibilă în acele numeroase situații în care trebuie luate în considerare nu una, ci un set de condiții de tip (1) sau (2) corespunzătoare unor măsuri diferite, deși convenite într-un anumit fel. Considerații de acest fel au condus la adoptarea următoarea definiție (vezi , ).

Lasă dat:

a) unde s-algebra conține toate mulțimile de un punct din E;

b) măsurabil dotat cu o familie de s-algebre astfel încât dacă

V) (" ") x t =xt(w) , definitorie pentru orice mapare măsurabilă

d) pentru fiecare și o măsură de probabilitate pe s-algebra astfel încât funcția măsurabil în raport cu dacă și

Set de nume (neterminând) Procesul Markov dat în if -aproape sigur

oricare ar fi ele Aici este spațiul evenimentelor elementare, este spațiul fazelor sau spațiul stărilor, Р( s, x, t, V)- functie de tranzitie sau probabilitatea de tranziție a procesului X(t) . Dacă este dotat cu o topologie, a este colecția de seturi Borel E, atunci se obişnuieşte să se spună că M. p. este dat în E. De obicei, definiția lui M. p. include cerința ca și atunci să fie interpretată ca probabilitate, cu condiția ca x s =x.

Se pune întrebarea dacă vreo funcție de tranziție Markov P( s x;t, V), dat într-un spațiu măsurabil poate fi considerat ca o funcție de tranziție a unor M. p. Răspunsul este pozitiv dacă, de exemplu, E este un spațiu separabil local compact și este o colecție de mulțimi Borel în E. Mai mult, lasă E - metrica completă spatiu si lasa

pentru oriunde
a este complementul e-vecinătăţii punctului X. Atunci M. p. corespunzător poate fi considerat continuu în dreapta și având limite în stânga (adică traiectoriile sale pot fi alese ca atare). Existenţa unui M. p. continuu este asigurată de condiţia pentru (vezi , ). În teoria lui M. p., atenția principală este acordată proceselor care sunt omogene (în timp). Definiția corespunzătoare presupune un sistem dat obiecte a) - d) cu diferența că pentru parametrii s și u care au apărut în descrierea sa este admisă acum doar valoarea 0. Se simplifică și notația:

În continuare, se postulează omogenitatea spațiului W, adică se cere ca pentru oricare a existat asa ceva (w) pentru Din această cauză, pe s-algebra N, cea mai mică s-algebră din W care conține orice eveniment de formă operatori de schimbare a timpului q t, care păstrează operațiile de unire, intersecție și scădere a mulțimilor și pentru care

Set de nume proces Markov omogen (neterminator) dat în dacă -aproape sigur

pentru funcția tranzitorie a procesului X(t). t, x, V), în plus, în cazul în care nu există rezervări speciale, acestea solicită în plus acest lucru și că în (4) întotdeauna F t poate fi înlocuită cu o s-algebră egală cu intersecția completărilor F t peste toate măsurile posibile Adesea, fixând o măsură de probabilitate m ("inițială") și luând în considerare o funcție aleatorie Markov unde este măsura pe dată de egalitate

M. p. măsurabil progresiv dacă pentru fiecare t>0 funcția induce un măsurabil unde este o s-algebră

Borel subaseaza in . M. p. drept-continuu sunt progresiv măsurabile. Există o modalitate de a reduce un caz neomogen la unul omogen (vezi ), iar în cele ce urmează ne vom ocupa de M. omogen.

Strict. Fie dat într-un spațiu măsurabil un M. p.

Funcția de nume moment Markov, Dacă pentru toți În acest caz, ele se referă la familia F t if at (cel mai adesea F t este interpretată ca un ansamblu de evenimente asociate cu evoluția lui X(t). până la momentul t). A crede

Măsurabil progresiv M. n. Xnaz. strict proces Markov (s.m.p.) dacă pentru orice moment Markov m și toate și raportul

(strict proprietatea Markov) se ține -aproape sigur pe mulțimea W t . Când se verifică (5), este suficient să se ia în considerare numai seturi de forma unde în acest caz, un S. m. s. este, de exemplu, orice Feller M. s. spaţiu E. M. p. Procesul Feller Markov dacă funcția

este continuă ori de câte ori f este continuă și mărginită.

În clasa cu m. p. se disting anumite subclase. Fie Markov P( t, x, V), definite într-un spațiu metric local compact E, continuu stocastic:

pentru orice vecinătate U a fiecărui punct Atunci, dacă operatorii iau în ei înșiși funcții continue și care dispar la infinit, atunci funcțiile Р( t, x, V). îndeplinește standardul L. p. X, adică continuă pe dreapta cu. m.p., pentru care

Și - aproape sigur pe platou a sunt momente PMarkov care nu scad odata cu cresterea.

Încheierea procesului Markov. Adesea fizic. Este oportun să descriem sistemele cu ajutorul unui MT neterminător, dar numai pe un interval de timp de lungime aleatorie. În plus, chiar și transformările simple ale lui M. p. pot duce la un proces cu traiectorii date pe un interval aleator (vezi. Funcţional dintr-un proces Markov). Ghidându-se de aceste considerații, conceptul de M. terminator p.

Fie un M. p. omogen în spațiul fazelor având funcție de tranziție și să fie un punct și o funcție astfel încât cu și altfel (dacă nu există rezervări speciale, luați în considerare ). Noua traiectorie x t(w) este dat numai pentru ) prin intermediul egalității A F t definit ca în set

Stabiliți unde numit terminarea procesului Markov (c.m.p.) obținut din prin terminarea (sau uciderea) la momentul z. Valoarea lui z numită. punctul de rupere, sau durata de viață, o. m. p. Spațiul de fază al noului proces este unde este urma s-algebrei în E. Funcția de tranziție o. p.p. este restricția la set Procesul X(t). un proces strict Markov, sau un proces Markov standard, dacă proprietatea corespunzătoare este deținută. p.t. cu momentul ruperii p.p. este definit într-un mod similar. M.

procesele Markov și . M. p. de tipul mișcării browniene sunt strâns legate de ecuațiile diferențiale ale parabolice. tip. Tranziția p(s, x, t, y) al procesului de difuzie satisface, sub anumite ipoteze suplimentare, ecuațiile diferențiale inverse și directe ale lui Kolmogorov:

Funcția p( s, x, t, y) este funcția lui Green a ecuațiilor (6) - (7), iar primele metode cunoscute pentru construirea proceselor de difuzie s-au bazat pe teoreme de existență pentru această funcție pentru ecuațiile diferențiale (6) - (7). Pentru un proces omogen în timp L( s x)= L(x).pe funcții netede coincide cu caracteristica. operator de M. p. (vezi Operatori tranzitori semigrup).

Matematic așteptările diferitelor funcționale din procesele de difuzie servesc ca soluții la problemele corespunzătoare cu valori la limită pentru ecuația diferențială (1). Să - matematică. asteptare dupa masura Atunci functia satisface pt s ecuația (6) și condiția

La fel, funcția

satisface când s ecuaţie

și starea și 2 ( T, x) = 0.

Fie t momentul în care primul ajunge la graniță dD zone traiectoria procesului Apoi, în anumite condiții, funcția

satisface ecuația

și ia valorile cp pe platou

Rezolvarea problemei primei valori la limită pentru o parabolică liniară generală. Ecuații de ordinul 2

în ipoteze destul de generale, poate fi scris ca

În cazul în care funcțiile L și c, f nu depinde de s, o reprezentare similară cu (9) este posibilă și pentru rezolvarea unei eliptice liniare. ecuații. Mai exact, funcția

sub anumite ipoteze există probleme

În cazul în care operatorul L degenerează (del b( s x) = 0 ).sau dD insuficient „bune”, valorile limită pot să nu fie acceptate de funcțiile (9), (10) în puncte individuale sau pe seturi întregi. Conceptul de punct de limită regulat pentru un operator L are o interpretare probabilistică. În punctele regulate ale graniței, valorile limită sunt atinse de funcțiile (9), (10). Rezolvarea problemelor (8), (11) face posibilă studierea proprietăților proceselor de difuzie corespunzătoare și funcționalelor din acestea.

Există metode pentru construirea M. p. care nu se bazează pe construcția soluțiilor ecuațiilor (6), (7), de exemplu. metodă ecuații diferențiale stocastice, schimbare absolut continuă de măsură etc. Această împrejurare, împreună cu formulele (9), (10), ne permite să construim și să studiem proprietățile problemelor cu valori la limită pentru ecuația (8) într-un mod probabilistic, precum și proprietățile lui soluția elipticii corespunzătoare. ecuații.

Deoarece soluția ecuației diferențiale stocastice este insensibilă la degenerarea matricei b( s x), Acea metode probabilistice au fost folosite pentru a construi soluții pentru a degenera ecuații diferențiale eliptice și parabolice. Extinderea principiului de mediere a lui N. M. Krylov și N. N. Bogolyubov la stocastic ecuatii diferentiale a permis folosirea (9) pentru a obține rezultatele corespunzătoare pentru ecuații diferențiale eliptice și parabolice. Unele probleme dificile de studiere a proprietăților soluțiilor ecuațiilor de acest tip cu un parametru mic la cea mai mare derivată s-au dovedit a fi posibil de rezolvat cu ajutorul considerațiilor probabilistice. Rezolvarea problemei cu valoarea la limită a 2-a pentru ecuația (6) are și o semnificație probabilistică. Formularea problemelor cu valori la limită pentru un domeniu nemărginit este strâns legată de recurența procesului de difuzie corespunzător.

În cazul unui proces omogen în timp (L nu depinde de s), soluția pozitivă a ecuației, până la o constantă multiplicativă, coincide, în anumite ipoteze, cu densitatea de distribuție staționară a M.p. ecuații. R. 3. Khasminsky.

Lit.: Markov A. A., „Izv. Phys.-Mat. Ob. Kazan. University”, 1906, v. 15, nr. 4, p. 135-56; B a cu h e l i e r L., "Ann. scient. Ecole norm, super.", 1900, v. 17, p. 21-86; Kolmogorov A. N., „Math. Ann.”, 1931, Bd 104, S. 415-458; Rusă transl.-„Avansuri în științe matematice”, 1938, c. 5, p. 5-41; Chzhu n Kai-lai, Lanțuri Markov omogene, trad. din engleză, M., 1964; R e 1 1 e r W., „Ann. Math.”, 1954, v. 60, p. 417-36; Dynkin E. B., Yushkevitch A. A., „Teoria probabilității și aplicațiile sale”, 1956, vol. 1, c. 1, p. 149-55; X și n t J.-A., Procese și potențiale Markov, trad. din engleză, M., 1962; Dellasher și K., Capacități și procese aleatorii, trad. din franceză, Moscova, 1975; D y n k și n E. V., Fundamentele teoriei proceselor Markov, M., 1959; al său, Markov processes, M., 1963; I. I. G și Khman, A. V. S ko r oh o d, Theory of random processes, vol. 2, M., 1973; Freidlin M.I., în cartea: Results of Science. Teoria probabilității este un tip special important de procese aleatorii. Un exemplu de proces Markov este dezintegrarea unei substanțe radioactive, unde probabilitatea dezintegrarii unui anumit atom într-o perioadă scurtă de timp nu depinde de cursul procesului din perioada anterioară. ... ... Dicţionar enciclopedic mare

Un proces Markov este un proces aleatoriu a cărui evoluție după orice valoare dată a parametrului de timp nu depinde de evoluția care l-a precedat, cu condiția ca valoarea procesului în acel moment să fie fixă ​​(„viitorul” procesului nu este . .. ... Wikipedia

procesul Markov- 36. Procesul Markov Note: 1. Densitatea de probabilitate condiționată se numește densitatea de probabilitate a trecerii de la starea xn 1 la momentul tn 1 la starea xp la momentul tn. Prin intermediul acestuia, densitățile de probabilitate ale unui ...... arbitrar Dicționar-carte de referință de termeni ai documentației normative și tehnice

procesul Markov- Markovo procesas statusas T sritis automatika atitikmenys: engl. Procesul Markov vok. Markovprozess, m rus. procesul Markov, m; Procesul Markov, m pranc. processus markovien, m … Automatikos terminų žodynas

procesul Markov- Markovo vyksmas statusas T sritis fizika atitikmenys: engl. procesul Markov; Procesul Markovian vok. Markow Prozess, m; Markowscher Prozess, domnule rus. procesul Markov, m; Procesul Markov, m pranc. processus de Markoff, m; processus marcovien, m;… … Fizikos terminų žodynas

Un tip special important de procese aleatorii. Un exemplu al procesului Markov este dezintegrarea unei substanțe radioactive, unde probabilitatea dezintegrarii unui anumit atom într-o perioadă scurtă de timp nu depinde de cursul procesului din perioada anterioară. ... ... Dicţionar enciclopedic

Un tip special important de procese stocastice (vezi procesul stocastic) având mare importanțăîn aplicațiile teoriei probabilităților la diferite ramuri ale științelor naturale și tehnologiei. Un exemplu de M. p. este dezintegrarea unei substanțe radioactive. ...... Marea Enciclopedie Sovietică

O descoperire remarcabilă în domeniul matematicii, făcută în 1906 de omul de știință rus A.A. Markov.

Cursul 9

procese Markov
Cursul 9
procese Markov



1

procese Markov

procese Markov
Procesul aleatoriu din sistem este numit
Markovian dacă nu are nicio consecință. Acestea.
dacă avem în vedere starea curentă a procesului (t 0) - ca
prezent, set de stări posibile ((s),s t) - as
trecut, set de stări posibile ( (u),u t) - as
viitor, apoi pentru un proces Markov cu un fix
prezent, viitorul nu depinde de trecut, ci este determinat
prezent doar și nu depinde de când și cum sistemul
ajuns în această stare.
KHNURE, departament. PM, lector Kirichenko L.O.
„Teoria probabilității, matematică
statistici și procese aleatorii"
2

procese Markov

procese Markov
Procesele aleatoare ale lui Markov poartă numele remarcabilului matematician rus A.A. Markov, care a început să studieze conexiunea probabilistică a variabilelor aleatoare.
și a creat o teorie care poate fi numită „dinamică
probabilități.” În viitor, bazele acestei teorii au fost
baza inițială a teoriei generale a proceselor aleatorii, precum și științe aplicate atât de importante precum teoria proceselor de difuzie, teoria fiabilității, teoria cozilor de așteptare etc.
KHNURE, departament. PM, lector Kirichenko L.O.
„Teoria probabilității, matematică
statistici și procese aleatorii"
3

Markov Andrei Andreevici Markov Andrei Andreevici Markov Andrei Andreevici

procese Markov
Markov Andrei Andreevici
1856-1922
matematician rus.
Am scris aproximativ 70 de lucrări pe
teorii
numere,
teorii
aproximări ale funcţiilor, teorii
probabilități. A extins semnificativ domeniul de aplicare al legii
numere mari si centrale
teorema limitei. Este
fondatorul teoriei proceselor aleatorii.
KHNURE, departament. PM, lector Kirichenko L.O.
„Teoria probabilității, matematică
statistici și procese aleatorii"
4

procese Markov

procese Markov
În practică, procesele pure Markov sunt de obicei
nu se intalnesc. Dar există procese pentru care influența „preistoriei” poate fi neglijată și atunci când se studiază
astfel de procese, pot fi aplicate modele Markov. ÎN
În prezent, teoria proceselor Markov și aplicațiile sale sunt utilizate pe scară largă în diverse domenii.
KHNURE, departament. PM, lector Kirichenko L.O.
„Teoria probabilității, matematică
statistici și procese aleatorii"
5

procese Markov

procese Markov
Biologie: procese de naștere și moarte - populații, mutații,
epidemii.
Fizică:
radioactiv
decăderi,
teorie
contoare
particule elementare, procese de difuzie.
Chimie:
teorie
urme
V
nuclear
emulsii fotografice,
modele probabilistice ale cineticii chimice.
Imagini.jpg
Astronomie: teoria fluctuațiilor
strălucirea căii lactee.
Teoria cozilor: centrale telefonice,
ateliere de reparații, case de bilete, birouri de informații,
mașini-unelte și alte sisteme tehnologice, sisteme de control
sisteme de productie flexibile, prelucrarea informatiilor de catre servere.
KHNURE, departament. PM, lector Kirichenko L.O.
„Teoria probabilității, matematică
statistici și procese aleatorii"
6

procese Markov

procese Markov
Fie în momentul prezent t0 sistemul să fie în
anumită stare S0. Cunoaștem caracteristicile
starea sistemului în prezent și tot ceea ce era la t< t0
(istoria procesului). Putem prezice viitorul
acestea. ce se întâmplă când t > t0?
Nu tocmai, dar câteva caracteristici probabilistice
proces în viitor poate fi găsit. De exemplu, probabilitatea ca
că după un timp
sistemul S va fi în stare
S1 sau rămâne în stare S0 etc.
KHNURE, departament. PM, lector Kirichenko L.O.
„Teoria probabilității, matematică
statistici și procese aleatorii"
7

procesele Markov. Exemplu.

procese Markov
procesele Markov. Exemplu.
System S - un grup de aeronave implicate în luptă aeriană. Fie x numărul
avioane „roșii”, y este numărul de avioane „albastre”. Până la momentul t0, numărul de aeronave supraviețuitoare (nu doborâte).
respectiv – x0, y0.
Ne interesează probabilitatea ca la timp
t 0 superioritatea numerică va fi de partea „roșiilor”. Această probabilitate depinde de starea în care se afla sistemul.
la momentul t0 și nu la momentul și în ce secvență aeronava doborâtă până la momentul t0 a fost ucisă.
KHNURE, departament. PM, lector Kirichenko L.O.
„Teoria probabilității, matematică
statistici și procese aleatorii"
8

Lanțuri Markov discrete

procese Markov
Lanțuri Markov discrete
Procesul Markov cu număr finit sau numărabil
stările și momentele de timp se numește discrete
lanțul Markov. Tranzițiile de la stat la stat sunt posibile numai la momente întregi.
KHNURE, departament. PM, lector Kirichenko L.O.
„Teoria probabilității, matematică
statistici și procese aleatorii"
9

10. Lanțuri Markov discrete. Exemplu

procese Markov

Presupune
Ce
vorbire
merge
O
aruncări succesive de monede
joc „aruncare”; moneda este aruncată în
momente condiționale de timp t =0, 1, ... și mai departe
la fiecare pas jucătorul poate câștiga ±1 s
aceeași
probabilitate
1/2,
asa de
Astfel, în momentul t, câștigul său total este o variabilă aleatoare ξ(t) cu valori posibile j = 0, ±1, ... .
Cu condiția ca ξ(t) = k, la pasul următor câștigul va fi
este deja egal cu ξ(t+1) = k ± 1, luând valorile j = k ± 1 cu aceeași probabilitate 1/2. Putem spune că aici, cu o probabilitate adecvată, are loc o tranziție de la starea ξ(t) = k la starea ξ(t + 1) = k ± 1.
KHNURE, departament. PM, lector Kirichenko L.O.
„Teoria probabilității, matematică
statistici și procese aleatorii"
10

11. Lanțuri Markov discrete

procese Markov
Lanțuri Markov discrete
Generalizând acest exemplu, ne putem imagina un sistem cu
număr numărabil de stări posibile, care în timp
timpul discret t = 0, 1, ... trece aleatoriu de la o stare la alta.
Fie ξ(t) poziția sa la momentul t ca rezultat al unui lanț de tranziții aleatorii
ξ(0) -> ξ(1) -> ... -> ξ(t) -> ξ(t+1) ->...-> ... .
KHNURE, departament. PM, lector Kirichenko L.O.
„Teoria probabilității, matematică
statistici și procese aleatorii"
11

12. Lanțuri Markov discrete

procese Markov
Lanțuri Markov discrete
Când se analizează procese aleatoare cu stări discrete, este convenabil să se folosească o schemă geometrică - un grafic
state. Vârfurile graficului sunt stările sistemului. Contele Arcs
– posibile treceri de la stat la stat.
Jocul „aruncă”.
KHNURE, departament. PM, lector Kirichenko L.O.
„Teoria probabilității, matematică
statistici și procese aleatorii"
12

13. Lanțuri Markov discrete

procese Markov
Lanțuri Markov discrete
Notați toate stările posibile prin numere întregi i = 0, ±1, ...
Să presupunem că cu o stare cunoscută ξ(t) =i, la pasul următor, sistemul trece în starea ξ(t+1) = j cu probabilitate condiționată
P( (t 1) j (t) i)
indiferent de comportamentul ei în trecut, mai precis, indiferent de
de la lanțul de tranziții la momentul t:
P( (t 1) j (t) i; (t 1) it 1;...; (0) i0 )
P( (t 1) j (t) i)
Această proprietate se numește Markovian.
KHNURE, departament. PM, lector Kirichenko L.O.
„Teoria probabilității, matematică
statistici și procese aleatorii"
13

14. Lanțuri Markov discrete

procese Markov
Lanțuri Markov discrete
Număr
pij P( (t 1) j (t) i)
numită probabilitate
trecerea sistemului de la starea i la starea j într-o singură etapă
punct de timp t1.
Dacă probabilitatea de tranziție nu depinde de t, atunci lanțul
Markov este numit omogen.
KHNURE, departament. PM, lector Kirichenko L.O.
„Teoria probabilității, matematică
statistici și procese aleatorii"
14

15. Lanțuri Markov discrete

procese Markov
Lanțuri Markov discrete
Matricea P , ale cărei elemente sunt probabilități
tranziția pij , se numește matrice de tranziție:
p11 ... p1n
P p 21 ... p 2n
p
n1 ... pnn
Este stocastică, adică
pij 1 ;
i
KHNURE, departament. PM, lector Kirichenko L.O.
„Teoria probabilității, matematică
statistici și procese aleatorii"
p ij 0 .
15

16. Lanțuri Markov discrete. Exemplu

procese Markov
Lanțuri Markov discrete. Exemplu
Matricea de tranziție pentru jocul „aruncare”
...
k2
k2
0
k 1
1/ 2
k
0
k 1
k
k 1
k2
0
1/ 2
0
0
1/ 2
0
1/ 2
0
1/ 2
0
0
0
KHNURE, departament. PM, lector Kirichenko L.O.
„Teoria probabilității, matematică
statistici și procese aleatorii"
...
k 1 k 2
0
0
0
1/ 2
0
1/ 2
...
0
0
1/ 2
0
16

17. Lanțuri Markov discrete. Exemplu

procese Markov
Lanțuri Markov discrete. Exemplu
Grădinarul, ca urmare a unei analize chimice a solului evaluează
starea ei cu unul dintre cele trei numere - bun (1), corect (2) sau rău (3). Ca urmare a observațiilor de-a lungul anilor, grădinarul a observat
că productivitatea solului în curent
anul depinde doar de starea lui în
anul precedent. Prin urmare, probabilitățile
trecerea solului de la o stare la
altul poate fi reprezentat prin următoarele
Lanț Markov cu matricea P1:
0.20 0.50 0.30
0.00 0.50 0.50
0.00 0.00 1.00
KHNURE, departament. PM, lector Kirichenko L.O.
„Teoria probabilității, matematică
statistici și procese aleatorii"
17

18. Lanțuri Markov discrete. Exemplu

procese Markov
Lanțuri Markov discrete. Exemplu
Cu toate acestea, ca urmare a măsurilor agrotehnice, grădinarul poate modifica probabilitățile de tranziție în matricea P1.
Apoi matricea P1 va fi înlocuită
la matricea P2:
0.30 0.60 0.10
0.10 0.60 0.30
0.05 0.40 0.55
KHNURE, departament. PM, lector Kirichenko L.O.
„Teoria probabilității, matematică
statistici și procese aleatorii"
18

19. Lanțuri Markov discrete

procese Markov
Lanțuri Markov discrete
Luați în considerare modul în care stările procesului se schimbă în timp. Vom lua în considerare procesul în momente succesive de timp, începând de la momentul 0. Să stabilim distribuția inițială de probabilitate p(0) ( p1 (0),..., pm (0)) , unde m este numărul de procese stări, pi (0) este probabilitatea de a găsi
proces în starea i la momentul inițial. Probabilitatea pi (n) se numește probabilitatea necondiționată a stării
i la momentul n 1.
Componentele vectorului p(n) arată care dintre stările posibile ale circuitului la momentul n sunt cele mai multe
probabil.
m
KHNURE, departament. PM, lector Kirichenko L.O.
„Teoria probabilității, matematică
statistici și procese aleatorii"
pk (n) 1
k 1
19

20. Lanțuri Markov discrete

procese Markov
Lanțuri Markov discrete
Cunoașterea șirului ( p (n)) pentru n 1,... vă permite să vă faceți o idee despre comportamentul sistemului în timp.
Într-un sistem cu 3 stări
p11 p12 p13
P p21
p
31
p22
p32
p23
p33
p2 (1) p1 (0) p12 p2 (0) p22 p3 (0) p32
p2 (n 1) p1 (n) p12 p2 (n) p22 p3 (n) p32
În general:
p j (1) pk (0) pkj
p j (n 1) pk (n) pkj
k
KHNURE, departament. PM, lector Kirichenko L.O.
„Teoria probabilității, matematică
statistici și procese aleatorii"
k
p(n 1) p(n) P
20

21. Lanțuri Markov discrete. Exemplu

procese Markov
Lanțuri Markov discrete. Exemplu
Matrice
0.20 0.50 0.30
0.00 0.50 0.50
0.00 0.00 1.00
Etapa
(p(n))
n
0
1, 0, 0
n
1
0.2 , 0.5 , 0.3
n
2
0.04 , 0.35 , 0.61
n
3
0.008 , 0.195 , 0.797
n
4
0.0016 , 0.1015 , 0.8969
KHNURE, departament. PM, lector Kirichenko L.O.
„Teoria probabilității, matematică
statistici și procese aleatorii"
21

22. Lanțuri Markov discrete

procese Markov
Lanțuri Markov discrete
n
Matrice de tranziție în n trepte P(n) P .
0.20 0.50 0.30
0.00 0.50 0.50
0.00 0.00 1.00
p(2) p(0) P
2
p(2)
P(2) P2
1, 0, 0
0.0016
0.
0.
0.0016
0.
0.
0.1015
0.0625
0.
0.1015
0.0625
0.
0.8969
0.9375
1.
0.8969
0.9375
1.
0.04 , 0.35 , 0.61
KHNURE, departament. PM, lector Kirichenko L.O.
„Teoria probabilității, matematică
statistici și procese aleatorii"
22

23. Lanțuri Markov discrete

procese Markov
Lanțuri Markov discrete
Cum se comportă lanțurile Markov pentru n?
Pentru un lanț Markov omogen, în anumite condiții, este valabilă următoarea proprietate: p (n) pentru n.
Probabilitățile 0 nu depind de distribuția inițială
p(0) , dar sunt determinate numai de matricea P . În acest caz, se numește distribuție staționară, iar lanțul în sine este numit ergodic. Proprietatea ergodicității înseamnă că pe măsură ce n crește
probabilitatea stărilor practic încetează să se schimbe, iar sistemul intră într-un mod stabil de funcționare.
i
KHNURE, departament. PM, lector Kirichenko L.O.
„Teoria probabilității, matematică
statistici și procese aleatorii"
23

24. Lanțuri Markov discrete. Exemplu

procese Markov
Lanțuri Markov discrete. Exemplu
0.20 0.50 0.30
0.00 0.50 0.50
0.00 0.00 1.00
0 0 1
P() 0 0 1
0 0 1
KHNURE, departament. PM, lector Kirichenko L.O.
„Teoria probabilității, matematică
statistici și procese aleatorii"
p()(0,0,1)
24

25. Lanțuri Markov discrete. Exemplu

procese Markov
Lanțuri Markov discrete. Exemplu
0.30 0.60 0.10
0.10 0.60 0.30
0.05 0.40 0.55
0.1017 0.5254 0.3729
P() 0,1017 0,5254 0,3729
0.1017 0.5254 0.3729
p()(0,1017,0,5254,0,3729)
KHNURE, departament. PM, lector Kirichenko L.O.
„Teoria probabilității, matematică
statistici și procese aleatorii"
25

26. Markov procesează cu timp continuu

procese Markov

Un proces se numește proces în timp continuu dacă
momentele posibilelor tranziții de la stat la stat nu sunt fixate în prealabil, ci sunt incerte, aleatorii și pot apărea
oricând.
Exemplu. Sistemul tehnologic S este format din două dispozitive,
fiecare dintre care la un moment aleator de timp poate ieși din
clădire, după care începe imediat reparația nodului, continuând de asemenea pentru un timp necunoscut, întâmplător.
Sunt posibile următoarele stări ale sistemului:
S0 - ambele dispozitive funcționează;
S1 - primul dispozitiv este în curs de reparare, al doilea funcționează corect;
S2 - al doilea dispozitiv este în curs de reparare, primul funcționează corect;
S3 - ambele dispozitive sunt în curs de reparare.
KHNURE, departament. PM, lector Kirichenko L.O.
„Teoria probabilității, matematică
statistici și procese aleatorii"
26

27. Markov procesează cu timp continuu

procese Markov
Markov procesează cu timp continuu
Au loc tranziții ale sistemului S de la stare la stare
aproape instantaneu, în momente aleatorii de eșec
orice dispozitiv sau
sfarsitul reparatiei.
Probabilitatea de simultan
defecțiunea ambelor dispozitive
poate fi neglijat.
KHNURE, departament. PM, lector Kirichenko L.O.
„Teoria probabilității, matematică
statistici și procese aleatorii"
27

28. Fluxuri de evenimente

procese Markov
Fluxuri de evenimente
Un flux de evenimente este o succesiune de evenimente omogene care urmează unul după altul în anumite momente aleatorii în timp.
este numărul mediu de evenimente
Intensitatea fluxului de evenimente
pe unitatea de timp.
KHNURE, departament. PM, lector Kirichenko L.O.
„Teoria probabilității, matematică
statistici și procese aleatorii"
28

29. Fluxuri de evenimente

procese Markov
Fluxuri de evenimente
Un flux de evenimente este numit staționar dacă caracteristicile sale probabilistice nu depind de timp.
În special, intensitatea
fluxul staționar este constant. Fluxul evenimentelor are inevitabil concentrații sau rarefări, dar nu sunt de natură obișnuită, iar numărul mediu de evenimente pe unitatea de timp este constant și nu depinde de timp.
KHNURE, departament. PM, lector Kirichenko L.O.
„Teoria probabilității, matematică
statistici și procese aleatorii"
29

30. Fluxuri de evenimente

procese Markov
Fluxuri de evenimente
Un flux de evenimente se numește flux fără consecințe dacă pentru
oricare două segmente de timp care nu se suprapun și numărul de evenimente care se încadrează pe unul dintre ele nu depinde de câte evenimente au căzut pe celălalt. Cu alte cuvinte, asta înseamnă că evenimentele care formează fluxul apar în anumite momente.
timpul independent unul de celălalt și fiecare cauzat de propriile sale cauze.
Un flux de evenimente se numește obișnuit dacă probabilitatea de apariție a două sau mai multe evenimente într-un interval elementar t este neglijabil de mică în comparație cu probabilitatea de apariție a unuia.
evenimente, adică evenimentele din el apar unul câte unul și nu în grupuri de mai multe simultan
KHNURE, departament. PM, lector Kirichenko L.O.
„Teoria probabilității, matematică
statistici și procese aleatorii"
30

31. Fluxuri de evenimente

procese Markov
Fluxuri de evenimente
Un flux de evenimente se numește cel mai simplu (sau Poisson staționar) dacă are trei proprietăți simultan: 1) este staționar, 2) este obișnuit, 3) nu are consecințe.
Cel mai simplu flux are cea mai simplă descriere matematică. El joacă printre streamuri aceeași specială
rol ca legea distributie normala printre altele
legi de distribuție. Și anume, atunci când un număr suficient de mare de independent, staționar și obișnuit
curge (comparabile între ele ca intensitate), se obţine un debit apropiat de cel mai simplu.
KHNURE, departament. PM, lector Kirichenko L.O.
„Teoria probabilității, matematică
statistici și procese aleatorii"
31

32. Fluxuri de evenimente

procese Markov
Fluxuri de evenimente
Pentru cel mai simplu flux cu intensitate
interval
timpul T dintre evenimentele adiacente are un exponențial
distribuție cu densitate
p(x) e x , x 0 .
Pentru variabilă aleatorie T, care are o distribuție exponențială, așteptarea matematică este reciproca parametrului.
KHNURE, departament. PM, lector Kirichenko L.O.
„Teoria probabilității, matematică
statistici și procese aleatorii"
32

33. Markov procesează cu timp continuu

procese Markov
Markov procesează cu timp continuu
Luând în considerare procesele cu stări discrete și timp continuu, putem presupune că toate tranzițiile sistemului S de la stare la stare au loc sub acțiunea lui
cele mai simple fluxuri de evenimente (fluxuri de apeluri, fluxuri de eșec, fluxuri de recuperare etc.).
Dacă toate fluxurile de evenimente care transferă sistemul S de la o stare la alta sunt cele mai simple, atunci procesul are loc în
sistem, va fi Markovian.
KHNURE, departament. PM, lector Kirichenko L.O.
„Teoria probabilității, matematică
statistici și procese aleatorii"
33

34. Markov procesează cu timp continuu

procese Markov
Markov procesează cu timp continuu
Să fie afectat sistemul din stat
cel mai simplu flux de evenimente. De îndată ce apare primul eveniment al acestui flux, sistemul „sare” din stare
într-o stare.
- intensitatea fluxului de evenimente, translatarea sistemului
in afara statului
KHNURE, departament. PM, lector Kirichenko L.O.
„Teoria probabilității, matematică
statistici și procese aleatorii"
V
.
34

35. Procese Markov cu timp continuu

procese Markov
Markov procesează cu timp continuu
Fie sistemul S luat în considerare
stări posibile
. Probabilitatea p ij (t) este probabilitatea trecerii de la starea i la starea j în timpul t.
Probabilitatea stării i-a
este probabilitatea ca
că la momentul t sistemul va fi în stare
. Este evident că pentru orice moment de timp suma
dintre toate probabilitățile de stare este egală cu unu:
KHNURE, departament. PM, lector Kirichenko L.O.
„Teoria probabilității, matematică
statistici și procese aleatorii"
35

36. Procese Markov cu timp continuu

procese Markov
Markov procesează cu timp continuu
Pentru a găsi toate probabilitățile de stare
Cum
funcțiile timpului, ecuațiile diferențiale ale lui Kolmogorov sunt compilate și rezolvate - un tip special de ecuație în care funcțiile necunoscute sunt probabilitățile stărilor.
Pentru probabilitățile de tranziție:
p ij (t) p ik (t) kj
k
Pentru probabilități necondiționate:
p j (t) p k (t) kj
k
KHNURE, departament. PM, lector Kirichenko L.O.
„Teoria probabilității, matematică
statistici și procese aleatorii"
36

37. Kolmogorov Andrei Nikolaevici

procese Markov
Kolmogorov Andrei Nikolaevici
1903-1987
mare rusă
matematician.
KHNURE, departament. PM, lector Kirichenko L.O.
„Teoria probabilității, matematică
statistici și procese aleatorii"
37

38. Procese Markov cu timp continuu

procese Markov
Markov procesează cu timp continuu
- Rata de eșec;
- intensitatea fluxului de recuperare.
Să fie sistemul în stat
S0. Este transferat în starea S1 de către flux
defectarea primului dispozitiv. Intensitatea lui este
Unde
- Timpul mediu de funcționare fără defecțiune a dispozitivului.
Din starea S1 la S0, sistemul este transferat prin fluxul de restaurări
primul dispozitiv. Intensitatea lui este
Unde
- timpul mediu de reparare al primei mașini.
În mod similar, se calculează intensitățile fluxurilor de evenimente care transferă sistemul de-a lungul tuturor arcelor de grafic.
KHNURE, departament. PM, lector Kirichenko L.O.
„Teoria probabilității, matematică
statistici și procese aleatorii"
38

39. Sisteme de aşteptare

procese Markov

Exemple de sisteme de așteptare (QS): centrale telefonice, ateliere de reparații,
bilet
casete de marcat,
referinţă
Biroul,
mașini-unelte și alte sisteme tehnologice,
sisteme
management
flexibil
sisteme de productie,
prelucrarea informatiilor de catre servere etc.
KHNURE, departament. PM, lector Kirichenko L.O.
„Teoria probabilității, matematică
statistici și procese aleatorii"
39

40. Sisteme de aşteptare

procese Markov
Sisteme de așteptare
QS constă dintr-un anumit număr de porții
unități, care sunt numite canale de serviciu (acestea sunt
mașini, roboți, linii de comunicație, casierii etc.). Orice CMO
este conceput pentru a deservi fluxul de aplicații (cerințe) care sosesc la momente aleatorii.
Servirea solicitării continuă pentru un timp aleatoriu, după care canalul este eliberat și este gata să primească următorul.
aplicatii.
KHNURE, departament. PM, lector Kirichenko L.O.
„Teoria probabilității, matematică
statistici și procese aleatorii"
40

41. Sisteme de așteptare

procese Markov
Sisteme de așteptare
Procesul de operare QS este un proces aleatoriu cu discret
stări și timp continuu. Starea QS-ului se schimbă brusc în momentele apariției unor evenimente
(sosirea unei noi cereri, sfârșitul serviciului, moment,
când aplicația, care s-a săturat să aștepte, iese din coadă).
KHNURE, departament. PM, lector Kirichenko L.O.
„Teoria probabilității, matematică
statistici și procese aleatorii"
41

42. Sisteme de aşteptare

procese Markov
Sisteme de așteptare
Clasificarea sistemelor de aşteptare
1. QS cu defecțiuni;
2. CMO cu o coadă.
Într-un QS cu refuzuri, o cerere care sosește în momentul în care toate canalele sunt ocupate primește un refuz, părăsește QS-ul și nu mai este
deservite.
Într-un QS cu coadă, o revendicare care ajunge în momentul în care toate canalele sunt ocupate nu pleacă, ci intră în coadă și așteaptă oportunitatea de a fi servită.
QS cu cozi sunt subdivizate în tipuri diferiteîn funcţie
asupra modului în care este organizată coada - limitată sau nelimitată. Restricțiile se pot aplica atât pentru lungimea cozii, cât și pentru timpul
așteptări, „disciplină de serviciu”.
KHNURE, departament. PM, lector Kirichenko L.O.
„Teoria probabilității, matematică
statistici și procese aleatorii"
42

43. Sisteme de așteptare

procese Markov
Sisteme de așteptare
Subiectul teoriei cozilor este construcția
modele matematice care leagă condiții date
Operarea QS (numărul de canale, performanța acestora, reguli
munca, natura fluxului de aplicații) cu caracteristicile care ne interesează - indicatori ai eficacității QS. Acești indicatori descriu capacitatea QS de a face față fluxului
aplicatii. Acestea pot fi: numărul mediu de aplicații deservite de QS pe unitatea de timp; numărul mediu de canale ocupate; numărul mediu de aplicații din coadă; timpul mediu de așteptare pentru serviciu etc.
KHNURE, departament. PM, lector Kirichenko L.O.
„Teoria probabilității, matematică
statistici și procese aleatorii"
43

44.

MULȚUMESC
PENTRU ATENTIE!!!
44

45. Construiți un grafic de tranziție

procese Markov
Construiți un grafic de tranziție
0.30
0.70
0.0
0.10
0.60
0.30
0.50
0.50
0.0
KHNURE, departament. PM, lector Kirichenko L.O.
„Teoria probabilității, matematică
statistici și procese aleatorii"

Un sistem de așteptare este caracterizat printr-un proces aleatoriu. Studiul unui proces aleator care are loc în sistem, expresia sa matematică este subiectul teoriei cozilor.

Analiza matematică a funcționării unui sistem de așteptare este mult facilitată dacă procesul aleatoriu al acestei operații este Markovian. Un proces dintr-un sistem se numește Markovian dacă în orice moment probabilitatea oricărei stări a sistemului în viitor depinde numai de starea sistemului la acest momentși nu depinde de modul în care sistemul a ajuns în această stare. Când cercetăm sisteme economice Procesele aleatoare Markov cu stări discrete și continue sunt cele mai utilizate.

Procesul aleatoriu este numit proces cu stări discrete, dacă toate stările sale posibile pot fi enumerate în prealabil, iar procesul în sine constă în faptul că din când în când sistemul sare de la o stare la alta.

Procesul aleatoriu este numit proces de stare continuă dacă se caracterizează printr-o trecere lină, treptată de la stare la stare.

De asemenea, putem distinge procesele Markov cu discret Și timp continuu. În primul caz, tranzițiile sistemului de la o stare la alta sunt posibile doar la momente strict definite, prefixate. În al doilea caz, trecerea sistemului de la stare la stare este posibilă în orice moment aleator, necunoscut anterior. Dacă probabilitatea de tranziție nu depinde de timp, atunci se numește procesul Markov omogen.

În studiul sistemelor de așteptare, procesele Markov aleatoare cu stări discrete și timp continuu sunt de mare importanță.

Studiul proceselor Markov se reduce la studiul matricelor de probabilitate de tranziție (). Fiecare element al unei astfel de matrice (un flux de evenimente) reprezintă probabilitatea trecerii de la o stare dată (căreia îi corespunde un rând) la următoarea stare (căreia îi corespunde o coloană). Această matrice oferă toate tranzițiile posibile ale unui set dat de stări. Prin urmare, procesele care pot fi descrise și modelate folosind matrice de probabilitate de tranziție trebuie să aibă o dependență a probabilității unei anumite stări de starea imediat precedentă. Așa că la coadă lanțul Markov. În acest caz, un lanț Markov de ordinul întâi este un proces pentru care fiecare stare specifică depinde doar de starea anterioară. Un lanț Markov de ordinul doi și superior este un proces în care starea curentă depinde de două sau mai multe anterioare.

Mai jos sunt două exemple de matrice de probabilitate de tranziție.

Matricele de probabilitate de tranziție pot fi reprezentate prin grafice de stare de tranziție, așa cum se arată în figură.

Exemplu

Compania produce un produs care saturează piața. Dacă o întreprindere realizează un profit (P) din vânzarea unui produs în luna curentă, atunci cu o probabilitate de 0,7 va obține un profit în luna următoare și cu o probabilitate de 0,3 - o pierdere. Dacă în luna curentă compania primește o pierdere (Y), atunci cu o probabilitate de 0,4 în luna următoare va obține un profit și cu o probabilitate de 0,6 - o pierdere (estimările probabilistice au fost obținute în urma unui sondaj). de experți). Calculați estimarea probabilistică a profitului din vânzarea de bunuri după două luni de funcționare a întreprinderii.

Sub formă de matrice, aceste informații ar fi exprimate după cum urmează (corespunzător cu exemplul de matrice 1):

Prima iterație – construirea unei matrice de tranziții în două etape.

Dacă compania realizează un profit luna aceasta, atunci probabilitatea ca aceasta să facă profit luna viitoare este

Dacă o companie face profit în această lună, atunci probabilitatea ca luna viitoare să aibă o pierdere este

Dacă o companie înregistrează o pierdere în această lună, atunci probabilitatea ca aceasta să facă profit luna viitoare este

Dacă compania înregistrează o pierdere în luna curentă, atunci probabilitatea ca în luna următoare să sufere din nou o pierdere este egală cu

Ca rezultat al calculelor, obținem o matrice de tranziții în doi pași:

Rezultatul se obține prin înmulțirea matricei m cu o matrice cu aceleași probabilități:

Pentru a efectua aceste proceduri în mediul Excel, trebuie să efectuați următorii pași:

• 1) formează o matrice;
• 2) apelați funcția MULTIPLU;
• 3) indicați prima matrice - o matrice;
• 4) indicați a doua matrice (aceeași matrice sau alta);
• 5) OK;
• 6) evidențiați zona noii matrice;
• 7) F2;
• 8) Ctrl+Shift+Enter;
• 9) obțineți o nouă matrice.

A doua iterație – construirea unei matrice de tranziții în trei etape. În mod similar, se calculează probabilitățile de a obține un profit sau pierdere la pasul următor și se calculează matricea tranzițiilor în trei etape, are următoarea formă:

Astfel, în următoarele două luni de funcționare ale întreprinderii, probabilitatea de a obține un profit din lansarea produsului este mai mare în comparație cu probabilitatea de a face o pierdere. Cu toate acestea, trebuie remarcat faptul că probabilitatea de a obține un profit scade, astfel încât compania trebuie să dezvolte un nou produs care să înlocuiască produsul fabricat.

proces aleatoriu X(t), tОT numit Markovian dacă există t l< t2< ... < t n , aparținând regiunii T, funcția de distribuție condiționată a unei variabile aleatoare X(tn)în raport cu X(t 1), . . ., X(t n-1) coincide cu funcția de distribuție condiționată X(tn) relativ X(t n-1)în sensul că pentru orice x n нX egalitatea

Luarea în considerare a definiției (3.1.1) cu creșterea succesivă n ne permite să stabilim că pentru procesele aleatoare Markov funcția de distribuție n-dimensională poate fi reprezentată ca

În mod similar, proprietatea Markov (3.1.1), (3.1.2) poate fi scrisă și pentru densitățile de probabilitate

Astfel, pentru un proces Markov, funcția de distribuție sau densitatea de probabilitate a oricărei dimensiuni n poate fi găsit dacă densitatea sa de probabilitate unidimensională este cunoscută la t = t1și succesiunea densităților condiționate pentru momente t i >t 1 , i= .. Această caracteristică determină în esență comoditatea practică a aparatului proceselor aleatoare Markov.

Pentru procesele Markov, clasificarea generală dată în Secțiunea 1.1 este complet valabilă. În conformitate cu această clasificare, se disting de obicei patru tipuri principale de procese Markov:

- lanțuri Markov- procese în care, ca un interval de valori X,și domeniul definiției T- multimi discrete;

- secvențe Markov- procese al căror interval de valori X- continuu, iar domeniul definirii T-mult discret;

- procese Markov discrete- procese al căror interval de valori X- discret, și domeniul definiției T- set continuu;

- procese Markov cu valoare continuă- procese în care, ca un interval de valori X,și domeniul definiției T sunt seturi continue.

Sunt posibile și tipuri mai complexe de procese Markov, de exemplu, cele discrete-continue, atunci când un proces aleatoriu X(t) pentru unele valori ale argumentului t are salturi, iar în intervalele dintre ele se comportă ca unul continuu-valorizat. Astfel de procese se numesc mixte. O situație similară are loc pentru procesele vectoriale Markov - la care se pot referi componentele individuale ale unui astfel de proces tipuri diferite. Procese astfel tipuri complexe nu sunt luate în considerare în continuare.

Rețineți că în studiul proceselor Markov, este acceptat în mod tradițional să înțelegem argumentul t ca timp. Deoarece această ipoteză nu limitează generalitatea și contribuie la claritatea prezentării, o astfel de interpretare a sensului fizic al argumentului tși adoptat în acest capitol.

LANȚURI MARKOV

Lasă procesul aleatoriu X(t) poate lua finala (L< ) множество значений

(q l, l= } = C. Valoarea specifică q l; Î CU, acceptate de proces X(t) pe moment t, o defineste stat la valoare dată argument. Prin urmare,

în acest caz, procesul X(t) are un set finit de stări posibile.

Desigur, în timp, procesul X(t)își va schimba la întâmplare starea. Să presupunem că o astfel de schimbare nu este posibilă pentru niciunul t, și numai la niște momente discrete t 0 X(t)își schimbă brusc starea. Cu alte cuvinte, uneori t t avea loc tranziții X(t 0) ®X(t 1) ®..., și X(t)n C, i= 0,1,2,…

Cele două semne indicate determină succesiunea variabilelor aleatoare discrete X i - X (ti), i= 0.1, ... (o secvență aleatorie discretă în termenii secțiunii 1.1) al cărei interval este o mulțime finită discretă C \u003d (q l , l = ], A domeniul definiției - mulțime infinită discretă i, eu= 0,1, 2,...

Dacă pentru secvența aleatorie discretă definită în acest fel proprietatea principală (3.1.1) a proceselor Markov este adevărată, care în acest caz ia forma

atunci o astfel de secvență se numește un lanț simplu Markov.

Rețineți că expresia (3.2.1) implică direct

aceeași egalitate pentru probabilitățile condiționate de găsire

un simplu lanț Markov într-o stare

P (x 1 / x 0, x 1, ..., x i -1) \u003d Ρ (x i / x i -1), i= 1,2,....

Definiția introdusă admite unele generalizări. Să presupunem că valoarea х i О С procesul luat în considerare X(t) depinde nu de unul, ci de m(l£ m< i) valorile imediat precedente. Atunci este evident că

Procesul definit de relația (3.2.2) se numește lanț complex Markov de ordin m. Relația (3.2.1) rezultă din (3.2.2) ca caz special. La rândul său, lanțul complex al ordinului Markov T poate fi redus la un simplu lanț Markov pentru un vector m-dimensional. Pentru a arăta acest lucru, să presupunem că starea procesului în acest moment eu i este descris folosind un vector m-dimensional.

(3.2.3)

La pasul anterior, un vector similar poate fi scris ca

Comparația dintre (3.2.3) și (3.2.4) arată că componentele „medii” ale acestor vectori (cu excepția Xlîn (3.2.3) și X l - mîn (3.2.4)) coincid. De aici rezultă că probabilitatea condiționată de a lovi procesul X(t) a afirma `X i la momentul t 1 dacă a fost în starea `X i -1 la timp ti -1, poate fi scris sub forma

În (3.2.5) simbolul denotă a j-a componentă a vectorului ` x i ;α (μ, ν) este simbolul Kronecker: α(μ, ν) = 1 pentru ν = μ și α(μ, ν) = ϋ pentru μ ¹ν. Posibilitatea acestor generalizări ne permite să ne limităm în ceea ce urmează la luarea în considerare doar a lanțurilor Markov simple.

Ca sistem de variabile aleatoare discrete, un lanț Markov simplu X i , i = 0, 1, 2, ... ,i, ... pentru orice i fix poate fi descris exhaustiv de probabilitatea comună i-dimensională

ρ {θ 0 L , θ ίκ ,..., θίm,) = P( X 0 =θ L ,X 1 =θ k ,…,X j =θ m}, (3.2.6)

unde indicii l, k,..., t ia toate valorile de la 1 la L independent unul de altul. Expresia (3.2.6) definește o matrice cu L rânduri și i+1 coloană, ale căror elemente sunt probabilitățile de coexistență a sistemului de variabile aleatoare Χ 0 ,Χ 1 ,...,Χ ίîntr-o anumită stare. Această matrice, prin analogie cu seria de distribuție a unei variabile aleatoare discrete scalare, poate fi numită matricea de distribuție a unui sistem de variabile aleatoare discrete

Χ 0 ,Χ 1 ,...,Χ ί .

Pe baza teoremei înmulțirii probabilității, probabilitatea (3.2.6) poate fi reprezentată ca

Dar conform proprietății principale (3.2.1) a lanțului Markov

P (Xl= m/X 0 = l ,X 1 = k ,…,X i -1 = r )=P(X i = m /X i -1 = r )

Repetarea unui raționament similar pentru probabilitatea inclusă în (3.2.8) r ) vă permite să aduceți această expresie la formă

De aici ajungem în sfârșit

(3.2.9)

Astfel, se realizează o descriere probabilistică completă a unui lanț Markov simplu prin stabilirea probabilităților stării inițiale a lanțului în acest moment. t 0 ,Ρ{Θ 0 l,) = P(X 0 = Θl}, l=și probabilități condiționate

Ρ(X l= Θ k / X i-1 = Θ m ), i = 1 , 2, . .. k, m =

Reţineţi că, deoarece stările posibile Θ l О`C lanţuri X(t) sunt fixe și cunoscute, pentru a descrie starea acestuia în orice moment, este suficient să se indice numărul l această stare. Acest lucru ne permite să introducem probabilitățile necondiționate de a găsi lanțul în l-a stare la momentul t i (la i--lea pas) notație simplificată

Pentru aceste probabilități, în mod evident, sunt valabile proprietățile de non-negativitate și normalizare la unitate

P l(i)>0,l = , i = 0, 1,2,...; (3.2.11)

Când se utilizează notația matriceală, setul de probabilități necondiționate este scris ca o matrice de rând

(3.2.12)

După cum rezultă din cele de mai sus, un rol fundamental în teoria lanțurilor Markov (și procesele Markov în general) îl joacă probabilitățile condiționate de forma În conformitate cu semnificația fizică, ele sunt de obicei numite probabilități de tranzițieși etichetat ca

Expresia (3.2.13) determină probabilitatea ca circuitul să intre în stare l, la momentul t în trepte ν - μ, cu condiția ca la momentul t μ circuitul să fie în starea A . Este ușor de observat că probabilitățile de tranziție au și proprietățile de non-negativitate și normalizare, deoarece în orice pas lanțul va fi întotdeauna într-unul dintre L stări posibile

(3.2.14)

Un set ordonat de probabilități de tranziție pentru orice pereche poate fi reprezentat ca o matrice pătrată

(3.2.15)

După cum rezultă din expresia (3.2.14), toate elementele acestei matrice sunt nenegative și suma elementelor fiecărui rând este egală cu unu. O matrice pătrată cu aceste proprietăți se numește stocastică.

Astfel, o descriere probabilistică a unui lanț Markov poate fi dată de o matrice rând (3.2.12) și o matrice stocastică (3.2.15).

Folosind notația introdusă, rezolvăm problema principală a teoriei lanțurilor Markov - determinăm probabilitatea necondiționată Ρ l(ί) faptul că în i -μ pași procesul va ajunge într-o anumită stare l, l= . Este evident că în momentul t m procesul poate fi în oricare din L stări posibile cu probabilitate Pk (m), k= . Probabilitatea unei tranziții de la k-a V l-a stare este dată de probabilitatea de tranziție p kl (m,i). Prin urmare, pe baza teoremei probabilității totale, obținem

; (3.2.16)

sau sub formă de matrice

P( i)=P(m)P(m, i); (3.2.17)

Se consideră în relația (3.2.16) probabilitatea de tranziție π kl (m, i). Evident, trecerea lanțului de la stat k pe moment tmîntr-o stare l pe moment t iîn mai multe etape pot fi realizate în diverse moduri (prin diferite stări intermediare). Să introducem în considerare un moment intermediar de timp t m , t m Β în acest moment procesul poate fi în oricare dintre L stări posibile și probabilitatea ca acesta să intre în a doua stare în acest moment tm cu condiția ca la momentul respectiv tm a fost capabil k, este egal cu π kr (μ,m). La rândul său, de la stat rîntr-o stare l procesul se deplasează cu probabilitatea π rl(m ,i). Prin urmare, folosind teorema probabilității totale, obținem Ecuația lui Markov pentru probabilitățile de tranziție

a cărui formă matriceală are forma

P(m, t) = P(μ, m) P (m,I); 0 £ mil < m < I; (3.2.19)

Ecuațiile (3.2.18), (3.2.19) determină proprietatea probabilităților de tranziție caracteristică lanțurilor Markov, deși validitatea (3.2.18) nu este încă suficientă pentru ca lanțul corespunzător să fie Markov.

Descriind formula (3.2.19) succesiv, obținem

P(μ, i) = П (μ, eu- 1) P (i- 1, ί) = P (μ, μ + 1) ... P (ί - 1, i), (3.2.20)

unde p(ν, μ), μ -n= 1- un pas probabilitatea de tranziție. Presupunând acum în expresia (3.2.17) μ =0, obținem

(3.2.21)

de unde rezultă că o descriere probabilistică completă a unui lanț Markov simplu se realizează prin specificarea probabilităților stării inițiale și a secvenței matricelor de probabilități ale tranzițiilor într-un singur pas.

Evident, proprietățile lanțului Markov sunt în mare măsură determinate de proprietățile probabilităților de tranziție. Din acest punct de vedere, în special, dintre lanțurile simple Markov, se distinge omogen, pentru care probabilităţile de tranziţie depind doar de diferenţa argumentelor

p kl(m, i)=p kl(i-m), i>m>0; (3.2.22)

și nu depind de numărul pasului. Toate celelalte tipuri de lanțuri simple Markov care nu îndeplinesc condiția (3.2.22) aparțin clasei neomogenă.

Deoarece pentru un lanț omogen probabilitatea de tranziție este determinată doar de diferența argumentelor și nu depinde de numărul pasului, este evident că pentru perechile arbitrare (μ,m), ( j,i) îndeplinirea condiţiilor T- µ = 1, t- j = 1, m¹i, corect

p kl(m-m)=p kl(i-j)=p kl(1) =p kl;

De aici rezultă că pentru a descrie un lanț Markov omogen, este suficient să precizăm, împreună cu probabilitățile stării inițiale, nu o succesiune, ci o matrice stocastică de probabilități de tranziție într-o etapă.

(3.2.23)

Mai mult, este evident că

(3.4.7)

întrucât primul factor sub integrală nu depinde de variabila de integrare, iar integrala celui de-al doilea este egală cu unu. Scăderea ecuației (3.4.7) din (3.4.6) dă

Să presupunem că densitatea probabilității de tranziție a procesului luat în considerare poate fi extinsă într-o serie Taylor. Atunci expresia dintre paranteze drepte sub integrala din ecuația (3.4.8) poate fi reprezentată ca

Înlocuind expresia (3.4.9) în (3.4.8), împărțind ambele părți ale expresiei rezultate la ∆ tși trecând la limită ca Δt → 0, obținem

Ecuația (3.4.10) definește o clasă largă de procese Markov continue și este ușor de observat că mulțimea de coeficienți А ν (x 0 ,t 0) determină proprietățile fizice ale fiecăruia dintre ei. Deci raportul A 1 (x 0 , t 0) poate fi interpretat ca valoarea medie a localului (la punctul X(t 0)) rata de modificare a procesului, coeficient A 2 (x 0 , t 0)- ca rata locală de modificare a variației incrementului său etc. Cu toate acestea, procesele Markov de o astfel de formă generală sunt relativ rar luate în considerare în aplicații. De cea mai mare importanță practică este subsetul de procese Markov care satisface condiția

A v (x 0, t 0)10; n=1,2, Av (x0, t0)=0, n³3;(3.4.12)

La studierea proceselor Markov, sa stabilit inițial că ecuația (3.4.10) în condiția (3.4.12) este îndeplinită de legile mișcării (difuziei) particulelor browniene, drept urmare procesele Markov corespunzătoare au fost numite difuziune. Pe baza acesteia, coeficientul A 1 (x 0, t 0) \u003d a (x 0, t 0) numit coeficientul de deriva, o A 2 (x 0, t 0) \u003d b (x 0, t 0) - coeficientul de difuzie.În cadrul (3.4.12), ecuația (3.4.10) capătă forma finală

Aceasta este o ecuație în care se află variabilele x 0şi se numeşte t 0 prima (inversa) ecuație Kolmogorov.

A doua ecuație poate fi obținută într-un mod similar

Această ecuație, în onoarea oamenilor de știință care au studiat-o pentru prima dată, se numește Ecuația Fokker,- scândură- Kolmogorov sau ecuația directă a lui Kolmogorov(deoarece conține derivata față de timpul final t>t 0).

Prin urmare; se arată că densitățile de probabilitate de tranziție ale proceselor Markov de difuzie satisfac ecuațiile (3.4.13), (3.4.14), care sunt instrumentul principal pentru studiul lor. La aceasta- proprietăți un anumit proces sunt determinate de „coeficienți” a(x,tt)Și b(x,t) care, conform ecuației (3.4.11), sunt egale cu

Din expresiile (3.4.15), (3.4.16) rezultă că acești „coeficienți” au semnificația așteptărilor matematice condiționate care determină natura modificărilor în implementările proceselor pe un interval de timp infinitezimal Δt. Permite schimbări foarte rapide ale procesului X(t), dar în direcții opuse, drept urmare incrementul mediu al procesului într-un timp mic Δt este finit și are ordinul .