Потокът от събитиянаречена последователност от хомогенни събития, които се появяват едно след друго в произволни моменти. Примери: поток на повикване в телефонна централа; поток от компютърни повреди; потока от заявки за сетълменти в компютърния център и др.

Потокът от събития е визуално изобразен чрез поредица от точки с абсцис Q1, Q2, ..., Q n , ...(фиг. 6.15) с интервали между тях: T 1 \u003d Q 2 - Q 1, T 2 \u003d Q 3 -Q 2, ..., T p \u003d Q n +1 - Q n. Със своето вероятностно описание потокът от събития може да бъде представен като последователност от случайни променливи:

Q1; Q 2 \u003d Q 1 + T 1; Q 3 \u003d Q 1 + T 1 + T 2; и т.н.

Фигурата под формата на поредица от точки показва не самия поток от събития (той е случаен), а само едно от неговите специфични реализации.

Потокът от събития се нарича стационарен,ако неговите вероятностни характеристики не зависят от избора на произход, или по-конкретно, ако вероятността за постигане на един или друг брой събития във всеки интервал от време зависи само от дължината на този интервал и не зависи от това къде точно на ос 0-тнамира се.

Фигура 6.15 - Реализация на потока от събития

Потокът от събития се нарича обикновен,ако вероятността две или повече събития да попаднат на елементарен интервал от време е незначителна в сравнение с вероятността за постигане на едно събитие.

Фигура 6.16 - Потокът от събития като случаен процес

Обикновеният поток от събития може да се тълкува като случаен процес X(t) -броят на събитията, появили се преди момента t (фиг. 6.16). случаен процес X(t)скача с една единица в точки Q ,Q 2 ,...,Q n.

Потокът от събития се нарича поток без последействие,ако броят на събитията, попадащи на всеки интервал от време, не зависи от това колко събития са паднали на всеки друг интервал, който не се пресича с него. На практика липсата на последващо действие в потока означава, че събитията, които формират потока, се появяват в определени моменти от време независимо едно от друго.

Потокът от събития се нарича най-простиятако е стационарен, обикновен и няма последействие. Времеви интервал Tмежду две съседни събития на най-простия поток има експоненциално разпределение

(при t>0); (6.21)

Където / M [T]- реципрочната стойност на средната стойност на интервала T.

Извиква се обикновен поток от събития без последица Поасон.Най-простият поток е частен случай на стационарен поток на Поасон. интензивностПотокът от събития се нарича среден брой събития за единица време. За стационарен поток; за нестационарен поток обикновено зависи от времето: .

Марковски стохастични процеси. Случайният процес се нарича марковскиако има следното свойство: за всеки момент от време t 0 вероятността за всяко състояние на системата в бъдеще(при t>t0) зависи от моментното й състояние.(при t=t0) и не зависи от това как системата е стигнала до това състояние.

В тази глава ще разгледаме само марковски процеси с дискретни състояния S 1, S 2 ,...,S n. Такива процеси са удобно илюстрирани с помощта на графиката на състоянието (фиг. 5.4), където правоъгълниците (или кръговете) показват състоянията S1, S2, … на системата S, а стрелките показват възможни преходи от състояние в състояние (графиката отбелязва само директни преходи, не и преходи през други състояния).

Фигура 5.4 - Графика на състоянията на случаен процес

Понякога графиката на състоянието маркира не само възможни преходи от състояние в състояние, но и възможни забавяния в предишното състояние; това е представено със стрелка ("примка"), насочена от дадено състояние към него, но можете да го направите и без него. Броят на системните състояния може да бъде краен или безкраен (но изброим).

Стохастичен процес на Марков с дискретни състояния и дискретно времеобикновено наричана верига на Марков.За такъв процес, моментите t1, t2... когато системата Сможе да промени състоянието си, е удобно да го разглеждаме като последователни стъпки на процеса, а не времето като аргумент, от който процесът зависи T,и номера на стъпката: 12, . . .,k;….Случайният процес в този случай се характеризира с последователност от състояния

Ако S(0)- начално състояние на системата (преди първата стъпка); S(1)- състоянието на системата веднага след първата стъпка; ...; S(k)е състоянието на системата непосредствено след k-тата стъпка....

Събитие Si , (i=1,2,...)е случайно събитие, така че последователността от състояния (5.6) може да се разглежда като последователност от случайни събития. Първоначално състояние S(0)могат да бъдат или предварително определени, или произволни. Твърди се, че събитията от последователността (5.6) образуват верига на Марков.

Помислете за процес с нвъзможни състояния S 1, S 2 , ..., S n. Ако се обозначава с X(t)номер на състоянието, в което се намира системата S в момента T,тогава процесът се описва от целочислена случайна функция X(t)>0, чиито възможни стойности са 1, 2,...,n. Тази функция прескача от едно цяло число към друго в определени моменти. t1, t2,... (фиг. 5.5) и е непрекъснат отляво, което е маркирано с точки на фиг. 5.5.

Фигура 5.5 - Графика на случаен процес

Разгледайте едномерния закон на разпределение на случайната функция X(t). Означаваме с вероятността, че след к-та стъпка [и до ( k+1)th] системата S ще бъде в състояние S i (i=1,2,...,n). Вероятности p i (k)Наречен вероятности за състояниеМарковски вериги. Очевидно за всяка к

. (5.7)

Вероятностно разпределение на състоянията в началото на процеса

p 1 (0), p 2 (0),…, p i (0),…, p n (0)(5.8)

Наречен първоначално разпределение на вероятноститеМаркова верига. По-специално, ако първоначалното състояние S(0)на системата S се знае точно, например S(0)=S i, тогава първоначалната вероятност Пи(0) = 1, а всички останали са равни на нула.

Вероятност за преходНа к-та стъпка извън държавата Siв състояние S jе условната вероятност системата к-та стъпка ще бъде в държавата S jпри условие, че непосредствено преди (след к - 1стъпки) тя беше в състояние Si.Вероятностите за преход понякога се наричат ​​също "вероятности за преход".

Марковата верига се нарича хомогенен,ако вероятностите за преход не зависят от номера на стъпката, а зависят само от това кое състояние е направен преходът от и към:

Вероятности за преход на хомогенна верига на Марков P ijобразуват квадратна таблица (матрица) с размер н* н:

(5.10)

. (5.11)

Матрица с това свойство се нарича стохастичен.Вероятност P ijне е нищо повече от вероятността системата, която е стигнала до дадена стъпка в състоянието S jи ще остане на следващата стъпка.

Ако за хомогенна верига на Марков са дадени първоначалното разпределение на вероятностите (5.8) и матрицата на вероятностите за преход (5.10), тогава вероятностите на състоянията на системата може да се определи по рекурсивната формула

(5.12)

За нехомогенна верига на Марков вероятностите за преход в матрица (5.10) и формула (5.12) зависят от номера на стъпката к.

За хомогенна верига на Марков, ако всички състояния са съществени и броят на състоянията е краен, има ограничение определена от системата от уравнения и Сумата от вероятностите за преход във всеки ред на матрицата е равна на единица.

При действителните изчисления по формула (5.12) е необходимо да се вземат предвид не всички състояния S j, но само тези, за които вероятностите за преход са ненулеви, т.е. тези, от които на графиката на състоянието водят стрелки към състоянието Si.

Марковски случаен процес с дискретни състояния и непрекъснато времепонякога наричана "непрекъсната верига на Марков". За такъв процес, вероятността за преход от държавата Si V S jза всеки момент от времето е нула. Вместо вероятността за преход p ijобмисли плътност на вероятността за преходкоето се определя като граница на съотношението на вероятността за преход от състоянието Siв състояние S jза кратък период от време в непосредствена близост до момента T,до дължината на този интервал, когато клони към нула. Плътността на вероятността за преход може да бъде или постоянна (), или зависима от времето. В първия случай се нарича марковски случаен процес с дискретни състояния и непрекъснато време хомогенен.Типичен пример за такъв процес е случайният процес X(t),което е броят на появите до момента Tсъбития в най-простия поток (фиг. 5.2).

Когато се разглеждат случайни процеси с дискретни състояния и непрекъснато време, е удобно да се представят преходите на системата S от състояние в състояние като възникващи под влияние на определени потоци от събития. В този случай плътностите на вероятността на прехода придобиват значението на интензитетите на съответните потоци събития (веднага щом настъпи първото събитие в потока с интензитет , системата от състоянието Siскача в sj). Ако всички тези потоци са поасонови, то протичащият в системата S процес ще бъде марковски.

Когато се разглеждат марковски случайни процеси с дискретни състояния и непрекъснато време, е удобно да се използва графика на състоянието, на която срещу всяка стрелка, водеща от състоянието Si, В S jе посочена интензивността на потока от събития, който премества системата по тази стрелка (фиг. 5.6). Такава графика на състоянието се нарича маркиран.

Вероятността системата S, която е в състояние Si, за елементарен период от време () ще премине в състояние S j(елемент на вероятността за преход от Si V S j), има възможност през това време дтще има поне едно събитие на нишката, превеждаща системата Сот S i към S j.До безкрайно малки по-високи порядъци тази вероятност е равна на .

Поток на вероятността за преходизвън държавата Si V sjсе нарича количество (тук интензитетът може да зависи или да не зависи от времето).

Да разгледаме случая, когато системата S има краен брой състояния S1, S2,..., S p.За да се опише случаен процес, протичащ в тази система, се използват вероятностите на състоянията

(5.13)

Където p i (t) -вероятността системата Св момента Tе в състояние Si:

. (5.14)

Очевидно за всяка T

За да се намерят вероятностите (5.13), е необходимо да се реши системата от диференциални уравнения (уравнения на Колмогоров), имаща формата

(i=1,2,…,n),

или пропускане на аргумента Tпроменливи p i ,

(i=1,2,…,n). (5.16)

Спомнете си, че интензитетите на потока ij могат да зависят от времето .

Удобно е да се съставят уравнения (5.16), като се използва обозначената графика на състоянието на системата и следното мнемонично правило: производната на вероятността за всяко състояние е равна на сумата от всички вероятностни потоци, които преминават от други състояния към това, минус сумата от всички вероятностни потоци, които преминават от това състояние към други.Например за системата S , чиято означена графика на състоянието е дадена на фиг. 10.6, системата от уравнения на Колмогоров има формата

(5.17)

Тъй като за всяка Tусловие (5.15) е изпълнено, всяка от вероятностите (5.13) може да бъде изразена чрез останалите и по този начин да се намали броят на уравненията с едно.

Да се ​​реши системата от диференциални уравнения (5.16) за вероятностите на състоянията p 1 (t) p 2 (t), …, p n (t), трябва да зададете първоначалното разпределение на вероятностите

p 1 (0), p 2 (0), …, p i (0), …, p n (0), ( 5.18)

чиято сума е равна на едно.

Ако по-специално в началния момент T= 0 състоянието на системата S е известно точно, напр. S(0) =S i, И p i (0)= 1, тогава останалите вероятности от израза (5.18) са равни на нула.

В много случаи, когато процесът в системата продължава достатъчно дълго, възниква въпросът за ограничаващото поведение на вероятностите p i(t) при . Ако всички потоци от събития, които отвеждат системата от състояние в състояние, са най-прости (т.е. стационарен Поасон с постоянен интензитет), в някои случаи има финал (или ограничение) вероятности за състояние

, (5.19)

независимо от състоянието, в което е била системата S в началния момент. Това означава, че с течение на времето в системата S, ограничаване на стационарния режим,по време на което преминава от състояние в състояние, но вероятностите на състоянията вече не се променят. В този ограничителен режим всяка крайна вероятност може да бъде интерпретирана като средно относително времеоставане на системата в това състояние.

Нарича се система, в която има крайни вероятности ергодичен.Ако системата S има краен брой състояния S 1 , S 2 , . . . , S n, след това за съществуването на крайни вероятности достатъчно,да се от всяко състояние на системата(в определен брой стъпки) отидете при всяка друга.Ако броят на щат S 1 , S 2 , . . . , S n, е безкраен, тогава това условие престава да бъде достатъчно и съществуването на крайните вероятности зависи не само от графиката на състоянието, но и от интензитетите .

Крайните вероятности за състояние (ако съществуват) могат да бъдат получени чрез решаване линейни системи алгебрични уравнения, те се получават от диференциалните уравнения на Колмогоров, ако поставим техните леви части (производни) на нула. Въпреки това е по-удобно да напишете тези уравнения директно от графиката на състоянието, като използвате мнемоничното правило: за всяко състояние общият изходящ вероятностен поток е равен на общия входящ.Например, за система S, чиято означена графика на състоянието е дадена на стр е. 5.7, уравненията за вероятностите на крайното състояние са

(5.20)

Така се оказва (за системата S с pдържави) система нхомогенни линейни алгебрични уравнения с ннеизвестен стр. 1, стр. 2, ..., r p.Неизвестни могат да бъдат намерени от тази система стр. 1, стр. 2, . . . , r p sдо произволен фактор. За намиране на точни стойности стр. 1,..., r p,добавете към уравненията условие за нормализиране p 1 + p 2 + …+ p p=1, използвайки който можете да изразите всяка от вероятностите пипрез други (и съответно отхвърляне на едно от уравненията).

Въпроси за преглед

1 Какво се нарича случайна функция, случаен процес, част от случаен процес, неговата реализация?

2 Как се различават случайните процеси по своята структура и естеството на протичането им във времето?

3 Какви закони на разпределение на случайна функция се използват за описание на случайна функция?

4 Каква е функцията на очакване на случайна функция, какво е нейното геометрично значение?

5 Каква е дисперсионната функция на произволна функция, какво е нейното геометрично значение?

6 Каква е корелационната функция на случаен процес и какво характеризира?

7 Какви са свойствата на корелационната функция на случаен процес?

8 Защо беше въведена концепцията за нормализирана корелационна функция?

9 Обяснете как, използвайки експериментални данни, да получите оценки на функциите на характеристиките на случаен процес?

10 Каква е разликата между кръстосана корелационна функция и автокорелационна функция?

11 Какъв случаен процес се нарича стационарен процес в тесен и в широк смисъл?

12 Какво е свойството ергодичност на стационарен случаен процес?

13 Какво се разбира под спектрално разлагане на стационарен случаен процес и защо е необходимо?

14 Каква е връзката между корелационната функция и спектралната плътност на стационарна произволна функция?

15 Какво се нарича най-простият поток от събития?

16 Какъв случаен процес се нарича верига на Марков? Какъв е методът за изчисляване на неговите състояния?

17 Какво е марковски стохастичен процес с дискретни състояния и непрекъснато време?

M(U)=10, D(U)=0.2.

6.5 Намерете нормализираната кръстосана корелационна функция на произволни функции X(t)=t*UИ Y(t)=(t+1)U, Където Uе случайна променлива, а дисперсията D(U)=10.

МАРКОВ ПРОЦЕС

Процес без последица, - произволен процес,чиято еволюция след дадена стойност на времевия параметър t не зависи от еволюцията, която предхожда T,при условие, че стойността на процеса в това е фиксирана (накратко: "бъдещето" и "миналото" на процеса не зависят едно от друго, когато "настоящето" е известно).

Свойството, което определя М. п., се нарича. марковски; за първи път е формулиран от А. А. Марков. Въпреки това, още в работата на L. Bachelier може да се види опит за тълкуване на брауновото като M. p., опит, който получи обосновка след изследванията на N. Wiener (N. Wiener, 1923). Основи обща теорияМ. бримки с непрекъснато време бяха определени от А. Н. Колмогоров.

Марков имот. Съществуват различни дефиниции на M. n. Една от най-често срещаните е следната. Нека вероятностно пространстводаден случаен процес със стойности от измеримо пространство, където T -подмножество на реалната ос Нека N t(съответно N t).е s-алгебра в генерирани от X(s). Където С други думи, N t(съответно N t) е набор от събития, свързани с развитието на процеса до момента t (започвайки от t) . Процес X(t). Процес на Марков, ако (почти сигурно) свойството на Марков е валидно за всички:

или, което е същото, ако има

М.р., за което Т се съдържа в множеството от естествени числа, нар. Маркова верига(последният член обаче най-често се свързва със случая на най-много изброимо E) . Ако T е интервал в и En е повече от изброимо, M. p. Маркова верига с непрекъснато време. Примери за МТ с непрекъснато време се предоставят от процеси на дифузия и процеси с независими нараствания, включително процеси на Поасон и Винер.

По-нататък за категоричност ще разгледаме само случая Формули (1) и (2) дават ясна интерпретация на принципа на независимост на "минало" и "бъдеще" с известното "настояще", но дефиницията на M. p. въз основа на тях се оказа недостатъчно гъвкава в онези многобройни ситуации, когато трябва да се вземе предвид не едно, а набор от условия от тип (1) или (2), съответстващи на различни, макар и съгласувани по определен начин мерки.Съображения от този вид доведоха до приемането на следната дефиниция (вижте , ).

Нека дадено:

а) където s-алгебрата съдържа всички едноточкови множества в E;

b) измерими, снабдени със семейство от s-алгебри, така че ако

V) (" ") x t =xT(w) , определяне за всяко измеримо картографиране

d) за всяка и вероятностна мярка на s-алгебрата, така че функцията измерими по отношение на ако и

Набор от имена (непрекратяващ) процес на Марков, даден в if -почти сигурно

каквито и да са Тук е пространството на елементарните събития, фазовото пространство ли е или пространството на състоянията, Р( s, x, t, V)- преходна функцияили вероятността за преход на процеса X(t) . Ако е надарен с топология, a е колекцията от комплекти Borel Д,тогава е обичайно да се казва, че М. п д.Обикновено дефиницията на M. p. включва изискването дори тогава да се тълкува като вероятност, при условие че x s =x.

Възниква въпросът дали има преходна функция на Марков P( s, x;t, V), дадено в измеримо пространство, може да се разглежда като преходна функция на някои M. p. Отговорът е положителен, ако например E е разделимо локално компактно пространство и е колекция от Борелови множества в д.Освен това, нека Е -пълен показател пространство и нека

за всяко място
a е допълнението на e-окръжността на точката Х.Тогава съответният M. p. може да се счита за непрекъснат отдясно и с граници отляво (т.е. неговите траектории могат да бъдат избрани като такива). Съществуването на непрекъснат М. п. се осигурява от условието за (виж , ). В теорията на M. p. основно внимание се обръща на процеси, които са хомогенни (по време). Съответното определение предполага дадена система обекти a) - d) с тази разлика, че за параметрите s и u, които се появяват в описанието му, вече е разрешена само стойност 0. Нотацията също е опростена:

След това се постулира хомогенността на пространството W, т.е. изисква се за всяко имаше такова (w) за Поради това, на s-алгебрата Н,най-малката s-алгебра в W, съдържаща всяко събитие от формата оператори за изместване на времето q T, които запазват операциите на обединение, пресичане и изваждане на множества и за които

Набор от имена (незавършващ) хомогенен процес на Марков, даден в ако - почти сигурно

за преходната функция на процеса X(t). P( t, x, V), освен това, ако няма специални резерви, те допълнително изискват това и че в (4) винаги F tможе да се замени с s-алгебра, равна на пресечната точка на завършванията F tнад всички възможни мерки Често, при фиксиране на вероятностна мярка m („начална“) и разглеждане на случайна функция на Марков където е мярката на дадена от равенството

М. р. прогресивно измерима, ако за всяко t>0 функцията индуцира измерима при къде е s-алгебра

Борел подмножества в . Непрекъснатите вдясно M. p. са прогресивно измерими. Има начин да се сведе нехомогенен случай до хомогенен (виж), а по-нататък ще се занимаваме с хомогенни M. p.

Строго.Нека в измеримо пространство е дадено M. p.

Име функция Марков момент,Ако за всички В този случай те се отнасят до семейството F t if at (най-често F t се интерпретира като набор от събития, свързани с еволюцията на X(t). до момента t). Да вярвам

Прогресивно измерима M. n. Xnaz. строго Марков процес (s.m.p.), ако за всеки Марков момент m и всички и съотношение

(строго свойство на Марков) се изпълнява -почти сигурно върху множеството W t . При проверка (5) е достатъчно да се вземат предвид само набори от формата where в този случай S. m. s. е, например, всяко дясно непрекъснато Feller M. s. пространство д.М. р. Фелер Марков процес ако функцията

е непрекъснато, когато f е непрекъснато и ограничено.

В класа с м. т. се разграничават определени подкласове. Нека Марков П( t, x, V), дефинирани в метрично локално компактно пространство Д,стохастично непрекъснато:

за всяка околност U на всяка точка Тогава, ако операторите приемат в себе си непрекъснати и изчезващи в безкрайност функции, тогава функциите Р( t, x, V).отговаря на стандарта L. p. х,т.е. непрекъснато вдясно с. т.т., за което

И - почти сигурно на снимачната площадка a са PMarkov моменти, които не намаляват с нарастване.

Прекратяване на процеса на Марков.Често физически. Целесъобразно е системите да се описват с помощта на нетерминиращ МТ, но само на времеви интервал с произволна дължина. В допълнение, дори прости трансформации на M. p. могат да доведат до процес с траектории, дадени на произволен интервал (вж. Функционаленот процес на Марков). Водени от тези съображения, концепцията за прекратяващ M. p.

Нека е хомогенен M. p. във фазовото пространство с преходна функция и нека има точка и функция така, че с и иначе (ако няма специални резерви, помислете за ). Нова траектория x t(w) се дава само за ) посредством равенството а F tопределени като в комплекта

Задайте къде Наречен прекратяващ процес на Марков (c.m.p.), получен от чрез прекратяване (или убиване) във време z. Стойността на z се нарича. точка на прекъсване или цял живот, o. м. п. Фазовото пространство на новия процес е мястото, където е следата на s-алгебрата в д.Преходна функция o. m.p. е ограничението за комплекта Процес X(t). строго Марков процес или стандартен Марков процес, ако се притежава съответното свойство. т.т.с момента на счупване т.т. се определя по подобен начин. М.

Марков процеси и .М. р. от типа на брауновото движение са тясно свързани с параболичните диференциални уравнения. Тип. Преход p(s, x, t, y) на процеса на дифузия удовлетворява, при определени допълнителни предположения, обратните и директните диференциални уравнения на Колмогоров:

Функция p( s, x, t, yе функцията на Грийн на уравнения (6) - (7) и първите известни методи за конструиране на процеси на дифузия се основават на теореми за съществуване на тази функция за диференциални уравнения (6) - (7). За хомогенен по време процес L( s, x)= Л(x).на гладки функции съвпада с характеристиката. оператор на M. p. (вж Полугрупа на преходни оператори).

Математически очакванията на различни функционали от дифузионни процеси служат като решения на съответните гранични проблеми за диференциалното уравнение (1). Нека - математически. очакване по мярка Тогава функцията удовлетворява за с уравнение (6) и условието

По същия начин функцията

удовлетворява кога с уравнение

и условие и 2 ( Т, х) = 0.

Нека t е моментът на първото достигане на границата dDобласти траектория на процеса Тогава, при определени условия, функцията

удовлетворява уравнението

и приема стойностите cp на множеството

Решение на 1-ва гранична задача за обща линейна парабола. Уравнения от 2-ри ред

при доста общи предположения може да се запише като

В случай, когато L и функции c, fне зависят от с,представяне, подобно на (9), също е възможно за решаване на линейна елиптика. уравнения. По-точно функцията

при определени предположения има проблеми

В случай, когато операторът L се изражда (del b( s, x) = 0 ).или dDнедостатъчно "добри", граничните стойности може да не бъдат приети от функции (9), (10) в отделни точки или в цели набори. Концепцията за правилна гранична точка за оператор Лима вероятностна интерпретация. В правилните точки на границата граничните стойности се достигат чрез функции (9), (10). Решението на задачите (8), (11) дава възможност да се изследват свойствата на съответните дифузионни процеси и функционали от тях.

Има методи за конструиране на M. p., които не разчитат на конструирането на решения на уравнения (6), (7), например. метод стохастични диференциални уравнения,абсолютно непрекъсната промяна на мярката и т.н. Това обстоятелство, заедно с формули (9), (10), ни позволява да конструираме и изследваме свойствата на граничните задачи за уравнение (8) по вероятностен начин, както и свойствата на решението на съответната елиптика. уравнения.

Тъй като решението на стохастичното диференциално уравнение е нечувствително към дегенерацията на матрицата b( s, x), Чевероятностни методи бяха използвани за конструиране на решения за изродени елиптични и параболични диференциални уравнения. Разширяване на принципа на осредняване на Н. М. Крилов и Н. Н. Боголюбов до стохастично диференциални уравненияпозволява използването на (9) за получаване на съответните резултати за елиптични и параболични диференциални уравнения. Някои трудни задачи за изучаване на свойствата на решения на уравнения от този тип с малък параметър при най-високата производна се оказаха възможни за решаване с помощта на вероятностни съображения. Решението на втората гранична задача за уравнение (6) също има вероятностен смисъл. Формулирането на проблеми с гранични стойности за неограничена област е тясно свързано с повторението на съответния процес на дифузия.

В случай на хомогенен по време процес (L не зависи от s), положителното решение на уравнението, с точност до мултипликативна константа, съвпада, при определени предположения, със стационарната плътност на разпределение на M.p. уравнения. Р. 3. Хасмински.

Лит.: Марков А. А., "Изв. физ.-мат. об. Казан. университет", 1906, т. 15, № 4, с. 135-56; B a с h e l i e r L., "Ann. scient. Ecole norm, super.", 1900, v. 17, стр. 21-86; Колмогоров А. Н., "Math. Ann.", 1931, Bd 104, S. 415-458; Руски прев.-"Напредък в математическите науки", 1938, c. 5, стр. 5-41; Chzhu n Kai-lai, Хомогенни вериги на Марков, прев. от англ., М., 1964; R e 1 1 e r W., "Ann. Math.", 1954, v. 60, p. 417-36; Dynkin E. B., Yushkevitch A. A., "Теория на вероятностите и нейните приложения", 1956 г., том 1, c. 1, стр. 149-55; X и n t J.-A., Марковски процеси и потенциали, прев. от англ., М., 1962; Dellasher и K., Капацитети и случайни процеси, прев. от френски, Москва, 1975 г.; D y n k и n E. V., Основи на теорията на марковските процеси, М., 1959; собствен, Марковски процеси, М., 1963; I. I. G и Khman, A. V. S ko r oh o d, Теория на случайните процеси, том 2, М., 1973; Freidlin M.I., в книгата: Резултати от науката. Теорията на вероятностите е важен специален вид случайни процеси. Пример за марковски процес е разпадането на радиоактивно вещество, при което вероятността за разпадане на даден атом за кратък период от време не зависи от хода на процеса в предходния период. ... ... Голям енциклопедичен речник

Процесът на Марков е случаен процес, чиято еволюция след дадена стойност на времевия параметър не зависи от еволюцията, която го е предшествала, при условие че стойността на процеса в този момент е фиксирана ("бъдещето" на процеса не е . .. ... Уикипедия

Марков процес- 36. Марков процес Забележки: 1. Условната плътност на вероятността се нарича плътност на вероятността на прехода от състояние xn 1 в момент tn 1 към състояние xp в момент tn. Чрез него плътностите на вероятността на произволен ... ... Речник-справочник на термините на нормативната и техническата документация

Марков процес- Марково procesas statusas T sritis automatika atitikmenys: англ. Марков процес вок. марковпроцесс, м рус. Марков процес, m; Марков процес, м пранц. processus markovien, m … Automatikos terminų žodynas

Марков процес- Марково vyksmas statusas T sritis fizika atitikmenys: англ. Марков процес; Марковски процес вок. Markow Prozess, m; Markowscher Prozess, м рус. Марков процес, m; Марков процес, м пранц. processus de Markoff, m; processus marcovien, m;… … Fizikos terminų žodynas

Важен специален вид случайни процеси. Пример за процеса на Марков е разпадането на радиоактивно вещество, при което вероятността за разпадане на даден атом за кратък период от време не зависи от хода на процеса в предходния период. ... ... енциклопедичен речник

Важен специален тип стохастични процеси (виж стохастичен процес), имащ голямо значениев приложенията на теорията на вероятностите в различни клонове на природните науки и технологиите. Пример за M. p. е разпадането на радиоактивно вещество. ... ... Велика съветска енциклопедия

Изключително откритие в областта на математиката, направено през 1906 г. от руския учен А.А. Марков.

Лекция 9

Марковски процеси
Лекция 9
Марковски процеси



1

Марковски процеси

Марковски процеси
Случайният процес в системата се нарича
Марковски ако няма последствия. Тези.
ако разгледаме текущото състояние на процеса (t 0) - като
настояще, набор от възможни състояния ( (s),s t) - as
минало, набор от възможни състояния ( (u),u t) - като
бъдеще, тогава за процес на Марков с фиксирана
настоящето, бъдещето не зависи от миналото, а се определя
само присъства и не зависи от това кога и как системата
дойде до това състояние.
ХНУРЕ, катедра. PM, преподавател Кириченко Л.О.
„Теория на вероятностите, математическа
статистика и случайни процеси"
2

Марковски процеси

Марковски процеси
Случайните процеси на Марков са кръстени на изключителния руски математик А. А. Марков, който пръв започва да изучава вероятностната връзка на случайни променливи
и създаде теория, която може да се нарече „динамика
вероятности." В бъдеще основите на тази теория бяха
началната основа на общата теория на случайните процеси, както и на такива важни приложни науки като теорията на дифузионните процеси, теорията на надеждността, теорията на масовото обслужване и др.
ХНУРЕ, катедра. PM, преподавател Кириченко Л.О.
„Теория на вероятностите, математическа
статистика и случайни процеси"
3

Марков Андрей Андреевич Марков Андрей Андреевич Марков Андрей Андреевич

Марковски процеси
Марков Андрей Андреевич
1856-1922
Руски математик.
Написа около 70 статии
теории
числа,
теории
апроксимации на функции, теории
вероятности. Значително разширен обхватът на закона
големи числа и центр
гранична теорема. Е
основател на теорията за случайните процеси.
ХНУРЕ, катедра. PM, преподавател Кириченко Л.О.
„Теория на вероятностите, математическа
статистика и случайни процеси"
4

Марковски процеси

Марковски процеси
На практика чистите марковски процеси обикновено са
не се срещат. Но има процеси, за които влиянието на "праисторията" може да се пренебрегне и при изучаването
такива процеси могат да се прилагат модели на Марков. IN
Понастоящем теорията на марковските процеси и нейните приложения се използват широко в различни области.
ХНУРЕ, катедра. PM, преподавател Кириченко Л.О.
„Теория на вероятностите, математическа
статистика и случайни процеси"
5

Марковски процеси

Марковски процеси
Биология: процеси на раждане и смърт - популации, мутации,
епидемии.
Физика:
радиоактивен
разлага се,
теория
броячи
елементарни частици, процеси на дифузия.
Химия:
теория
следи
V
ядрен
фотографски емулсии,
вероятностни модели на химичната кинетика.
Изображения.jpg
Астрономия: теория на флуктуациите
яркостта на млечния път.
Теория на опашките: телефонни централи,
сервизи, билетни каси, информационни гишета,
машинни и други технологични системи, системи за управление
гъвкави производствени системи, обработка на информация чрез сървъри.
ХНУРЕ, катедра. PM, преподавател Кириченко Л.О.
„Теория на вероятностите, математическа
статистика и случайни процеси"
6

Марковски процеси

Марковски процеси
Нека в настоящия момент t0 системата е включена
определено състояние S0. Ние знаем характеристиките
състояние на системата в настоящето и всичко, което е било в t< t0
(история на процеса). Можем ли да предвидим бъдещето
тези. какво се случва, когато t > t0?
Не точно, но някои вероятностни характеристики
процес в бъдеще може да бъде намерен. Например вероятността, че
че след известно време
система S ще бъде в състояние
S1 или оставане в състояние S0 и т.н.
ХНУРЕ, катедра. PM, преподавател Кириченко Л.О.
„Теория на вероятностите, математическа
статистика и случайни процеси"
7

Марковски процеси. Пример.

Марковски процеси
Марковски процеси. Пример.
System S - група самолети, участващи във въздушен бой. Нека x е числото
"червени" самолети, y е броят на "сините" самолети. Към момента t0, броят на оцелелите (не свалени) самолети
съответно – x0, y0.
Ние се интересуваме от вероятността, че в даден момент
t 0 численото превъзходство ще бъде на страната на "червените". Тази вероятност зависи от това в какво състояние е била системата.
в момент t0, а не кога и в каква последователност са били убити свалените до момент t0 самолети.
ХНУРЕ, катедра. PM, преподавател Кириченко Л.О.
„Теория на вероятностите, математическа
статистика и случайни процеси"
8

Дискретни вериги на Марков

Марковски процеси
Дискретни вериги на Марков
Марков процес с крайно или изброимо число
състояния и моменти от време се нарича дискретна
Маркова верига. Преходите от състояние в състояние са възможни само при цели времена.
ХНУРЕ, катедра. PM, преподавател Кириченко Л.О.
„Теория на вероятностите, математическа
статистика и случайни процеси"
9

10. Дискретни вериги на Марков. Пример

Марковски процеси

Да предположим
Какво
реч
отива
О
последователни хвърляния на монети
игра "хвърляне"; монетата се хвърля в
условни моменти от време t =0, 1, ... и нататък
всяка стъпка, която играчът може да спечели ±1 s
същото
вероятност
1/2,
така
По този начин в момента t общата му печалба е случайна променлива ξ(t) с възможни стойности j = 0, ±1, ... .
При условие, че ξ(t) = k, на следващата стъпка изплащането ще бъде
вече е равно на ξ(t+1) = k ± 1, приемайки стойностите j = k ± 1 със същата вероятност 1/2. Можем да кажем, че тук с подходяща вероятност има преход от състояние ξ(t) = k към състояние ξ(t + 1) = k ± 1.
ХНУРЕ, катедра. PM, преподавател Кириченко Л.О.
„Теория на вероятностите, математическа
статистика и случайни процеси"
10

11. Дискретни вериги на Марков

Марковски процеси
Дискретни вериги на Марков
Обобщавайки този пример, може да си представим система с
изброим брой възможни състояния, които във времето
дискретно време t = 0, 1, ... произволно преминава от състояние в състояние.
Нека ξ(t) е неговата позиция в момент t в резултат на верига от случайни преходи
ξ(0) -> ξ(1) -> ... -> ξ(t) -> ξ(t+1) ->...-> ... .
ХНУРЕ, катедра. PM, преподавател Кириченко Л.О.
„Теория на вероятностите, математическа
статистика и случайни процеси"
11

12. Дискретни вериги на Марков

Марковски процеси
Дискретни вериги на Марков
При анализиране на случайни процеси с дискретни състояния е удобно да се използва геометрична схема - графика
държави. Върховете на графа са състоянията на системата. Брой дъги
– възможни преходи от състояние в състояние.
Играта "хвърляне".
ХНУРЕ, катедра. PM, преподавател Кириченко Л.О.
„Теория на вероятностите, математическа
статистика и случайни процеси"
12

13. Дискретни вериги на Марков

Марковски процеси
Дискретни вериги на Марков
Означете всички възможни състояния с цели числа i = 0, ±1, ...
Да приемем, че при известно състояние ξ(t) =i, на следващата стъпка системата преминава в състояние ξ(t+1) = j с условна вероятност
P( (t 1) j (t) i)
независимо от нейното поведение в миналото, по-точно, независимо от
от веригата на преходите до момента t:
P( (t 1) j (t) i; (t 1) it 1;...; (0) i0 )
P( (t 1) j (t) i)
Този имот се нарича марковски.
ХНУРЕ, катедра. PM, преподавател Кириченко Л.О.
„Теория на вероятностите, математическа
статистика и случайни процеси"
13

14. Дискретни вериги на Марков

Марковски процеси
Дискретни вериги на Марков
Номер
pij P( (t 1) j (t) i)
наречена вероятност
преминаване на системата от състояние i в състояние j в една стъпка
момент от време t1.
Ако вероятността за преход не зависи от t, тогава веригата
Марков се нарича хомогенен.
ХНУРЕ, катедра. PM, преподавател Кириченко Л.О.
„Теория на вероятностите, математическа
статистика и случайни процеси"
14

15. Дискретни вериги на Марков

Марковски процеси
Дискретни вериги на Марков
Матрица P , чиито елементи са вероятности
преход pij , се нарича матрица на прехода:
p11 ... p1n
P p 21 ... p 2n
стр
n1 ... pnn
Той е стохастичен, т.е.
pij 1;
аз
ХНУРЕ, катедра. PM, преподавател Кириченко Л.О.
„Теория на вероятностите, математическа
статистика и случайни процеси"
p ij 0 .
15

16. Дискретни вериги на Марков. Пример

Марковски процеси
Дискретни вериги на Марков. Пример
Преходната матрица за играта "хвърляне"
...
k2
k2
0
к 1
1/ 2
к
0
к 1
к
к 1
k2
0
1/ 2
0
0
1/ 2
0
1/ 2
0
1/ 2
0
0
0
ХНУРЕ, катедра. PM, преподавател Кириченко Л.О.
„Теория на вероятностите, математическа
статистика и случайни процеси"
...
k 1 k 2
0
0
0
1/ 2
0
1/ 2
...
0
0
1/ 2
0
16

17. Дискретни вериги на Марков. Пример

Марковски процеси
Дискретни вериги на Марков. Пример
Градинарят оценява в резултат на химичен анализ на почвата
нейното състояние с едно от трите числа - добро (1), задоволително (2) или лошо (3). В резултат на наблюдения през годините градинарят забелязал
че продуктивността на почвата в течение
година зависи само от състоянието му в
предходната година. Следователно вероятностите
преход на почвата от едно състояние към
друг може да бъде представен със следното
Верига на Марков с матрица P1:
0.20 0.50 0.30
0.00 0.50 0.50
0.00 0.00 1.00
ХНУРЕ, катедра. PM, преподавател Кириченко Л.О.
„Теория на вероятностите, математическа
статистика и случайни процеси"
17

18. Дискретни вериги на Марков. Пример

Марковски процеси
Дискретни вериги на Марков. Пример
Въпреки това, в резултат на агротехнически мерки, градинарят може да промени вероятностите за преход в матрицата P1.
Тогава матрицата P1 ще бъде заменена
към матрица P2:
0.30 0.60 0.10
0.10 0.60 0.30
0.05 0.40 0.55
ХНУРЕ, катедра. PM, преподавател Кириченко Л.О.
„Теория на вероятностите, математическа
статистика и случайни процеси"
18

19. Дискретни вериги на Марков

Марковски процеси
Дискретни вериги на Марков
Помислете как се променят състоянията на процеса във времето. Ще разгледаме процеса в последователни моменти от време, започвайки от момент 0. Нека зададем началното разпределение на вероятностите p(0) ( p1 (0),..., pm (0)), където m е номерът на процеса състояния, pi (0) е вероятността за намиране
процес в състояние i в началния момент. Вероятността pi (n) се нарича безусловна вероятност на състоянието
аз във време n 1.
Компонентите на вектора p(n) показват кои от възможните състояния на веригата в момент n са най-много
вероятно.
м
ХНУРЕ, катедра. PM, преподавател Кириченко Л.О.
„Теория на вероятностите, математическа
статистика и случайни процеси"
pk (n) 1
к 1
19

20. Дискретни вериги на Марков

Марковски процеси
Дискретни вериги на Марков
Познаването на последователността ( p (n)) за n 1,... ви позволява да получите представа за поведението на системата във времето.
В 3-държавна система
p11 p12 p13
P стр.21
стр
31
стр.22
стр.32
стр.23
стр.33
p2 (1) p1 (0) p12 p2 (0) p22 p3 (0) p32
p2 (n 1) p1 (n) p12 p2 (n) p22 p3 (n) p32
Общо взето:
p j (1) pk (0) pkj
p j (n 1) pk (n) pkj
к
ХНУРЕ, катедра. PM, преподавател Кириченко Л.О.
„Теория на вероятностите, математическа
статистика и случайни процеси"
к
p(n 1) p(n) P
20

21. Дискретни вериги на Марков. Пример

Марковски процеси
Дискретни вериги на Марков. Пример
Матрица
0.20 0.50 0.30
0.00 0.50 0.50
0.00 0.00 1.00
стъпка
(p(n))
н
0
1, 0, 0
н
1
0.2 , 0.5 , 0.3
н
2
0.04 , 0.35 , 0.61
н
3
0.008 , 0.195 , 0.797
н
4
0.0016 , 0.1015 , 0.8969
ХНУРЕ, катедра. PM, преподавател Кириченко Л.О.
„Теория на вероятностите, математическа
статистика и случайни процеси"
21

22. Дискретни вериги на Марков

Марковски процеси
Дискретни вериги на Марков
н
Преходна матрица в n стъпки P(n) P .
0.20 0.50 0.30
0.00 0.50 0.50
0.00 0.00 1.00
p(2) p(0) P
2
p(2)
P(2) P2
1, 0, 0
0.0016
0.
0.
0.0016
0.
0.
0.1015
0.0625
0.
0.1015
0.0625
0.
0.8969
0.9375
1.
0.8969
0.9375
1.
0.04 , 0.35 , 0.61
ХНУРЕ, катедра. PM, преподавател Кириченко Л.О.
„Теория на вероятностите, математическа
статистика и случайни процеси"
22

23. Дискретни вериги на Марков

Марковски процеси
Дискретни вериги на Марков
Как се държат веригите на Марков за n?
За хомогенна верига на Марков, при определени условия, е валидно следното свойство: p (n) за n.
Вероятности 0 не зависят от първоначалното разпределение
p(0) , но се определят само от матрицата P . В този случай се нарича стационарно разпределение, а самата верига се нарича ергодична. Свойството ергодичност означава, че с нарастване на n
вероятността от състояния практически престава да се променя и системата преминава в стабилен режим на работа.
аз
ХНУРЕ, катедра. PM, преподавател Кириченко Л.О.
„Теория на вероятностите, математическа
статистика и случайни процеси"
23

24. Дискретни вериги на Марков. Пример

Марковски процеси
Дискретни вериги на Марков. Пример
0.20 0.50 0.30
0.00 0.50 0.50
0.00 0.00 1.00
0 0 1
P() 0 0 1
0 0 1
ХНУРЕ, катедра. PM, преподавател Кириченко Л.О.
„Теория на вероятностите, математическа
статистика и случайни процеси"
p()(0,0,1)
24

25. Дискретни вериги на Марков. Пример

Марковски процеси
Дискретни вериги на Марков. Пример
0.30 0.60 0.10
0.10 0.60 0.30
0.05 0.40 0.55
0.1017 0.5254 0.3729
P() 0,1017 0,5254 0,3729
0.1017 0.5254 0.3729
p()(0,1017,0,5254,0,3729)
ХНУРЕ, катедра. PM, преподавател Кириченко Л.О.
„Теория на вероятностите, математическа
статистика и случайни процеси"
25

26. Марковски процеси с непрекъснато време

Марковски процеси

Процесът се нарича процес с непрекъснато време, ако
моментите на възможни преходи от състояние в състояние не са предварително фиксирани, а са несигурни, случайни и могат да се случат
по всяко време.
Пример. Технологичната система S се състои от две устройства,
всеки от които в произволен момент може да излезе от
сграда, след което незабавно започва ремонт на възела, като също продължава неизвестно, произволно време.
Възможни са следните състояния на системата:
S0 - и двете устройства работят;
S1 - първото устройство е в ремонт, второто работи правилно;
S2 - второто устройство е в ремонт, първото работи правилно;
S3 - и двете устройства са в ремонт.
ХНУРЕ, катедра. PM, преподавател Кириченко Л.О.
„Теория на вероятностите, математическа
статистика и случайни процеси"
26

27. Марковски процеси с непрекъснато време

Марковски процеси
Марковски процеси с непрекъснато време
Възникват преходи на системата S от състояние в състояние
почти мигновено, в произволни моменти на неуспех
всяко устройство или
край на ремонта.
Вероятността за едновременно
повреда на двете устройства
може да се пренебрегне.
ХНУРЕ, катедра. PM, преподавател Кириченко Л.О.
„Теория на вероятностите, математическа
статистика и случайни процеси"
27

28. Потоци на събития

Марковски процеси
Потоци от събития
Поток от събития е поредица от хомогенни събития, следващи едно след друго в някои произволни точки във времето.
е средният брой събития
Интензивността на потока от събития
за единица време.
ХНУРЕ, катедра. PM, преподавател Кириченко Л.О.
„Теория на вероятностите, математическа
статистика и случайни процеси"
28

29. Потоци на събития

Марковски процеси
Потоци от събития
Поток от събития се нарича стационарен, ако неговите вероятностни характеристики не зависят от времето.
По-специално, интензивността
стационарният поток е постоянен. Потокът от събития неизбежно има концентрации или разреждане, но те не са закономерни, а средният брой събития за единица време е постоянен и не зависи от времето.
ХНУРЕ, катедра. PM, преподавател Кириченко Л.О.
„Теория на вероятностите, математическа
статистика и случайни процеси"
29

30. Потоци на събития

Марковски процеси
Потоци от събития
Поток от събития се нарича поток без последствия, ако за
всеки два неприпокриващи се времеви сегмента и броят на събитията, попадащи в единия от тях, не зависи от това колко събития са паднали в другия. С други думи, това означава, че събитията, които формират потока, се появяват в определени моменти.
време независимо едно от друго и всяко причинено от свои причини.
Поток от събития се нарича обикновен, ако вероятността за поява на две или повече събития в елементарен интервал t е пренебрежимо малка в сравнение с вероятността за поява на едно
събития, т.е. събитията в него се появяват едно по едно, а не в групи от по няколко наведнъж
ХНУРЕ, катедра. PM, преподавател Кириченко Л.О.
„Теория на вероятностите, математическа
статистика и случайни процеси"
30

31. Потоци на събития

Марковски процеси
Потоци от събития
Поток от събития се нарича най-прост (или стационарен Поасон), ако има три свойства едновременно: 1) неподвижен е, 2) обикновен е, 3) няма последствия.
Най-простият поток има най-простото математическо описание. Той играе сред потоците същия специален
роля като закон нормална дистрибуциясред другите
закони за разпределение. А именно, когато има достатъчно голям брой независими, стационарни и обикновени
потоци (сравними един с друг по интензивност), се получава поток, близък до най-простия.
ХНУРЕ, катедра. PM, преподавател Кириченко Л.О.
„Теория на вероятностите, математическа
статистика и случайни процеси"
31

32. Потоци от събития

Марковски процеси
Потоци от събития
За най-прост поток с интензивност
интервал
времето T между съседни събития е експоненциално
разпределение с плътност
p(x) e x, x 0.
За случайна величина T, което има експоненциално разпределение, математическото очакване е реципрочната стойност на параметъра.
ХНУРЕ, катедра. PM, преподавател Кириченко Л.О.
„Теория на вероятностите, математическа
статистика и случайни процеси"
32

33. Марковски процеси с непрекъснато време

Марковски процеси
Марковски процеси с непрекъснато време
Разглеждайки процеси с дискретни състояния и непрекъснато време, можем да приемем, че всички преходи на системата S от състояние в състояние се извършват под действието на
най-простите потоци от събития (потоци от повиквания, потоци при отказ, потоци за възстановяване и т.н.).
Ако всички потоци от събития, които прехвърлят системата S от състояние в състояние, са най-прости, тогава процесът, протичащ в
система, ще бъде марковска.
ХНУРЕ, катедра. PM, преподавател Кириченко Л.О.
„Теория на вероятностите, математическа
статистика и случайни процеси"
33

34. Марковски процеси с непрекъснато време

Марковски процеси
Марковски процеси с непрекъснато време
Нека системата в държавата се влияе от
най-простият поток от събития. Веднага щом се появи първото събитие от този поток, системата „скача“ от състоянието
в състояние.
- интензивността на потока от събития, транслиращи системата
извън държавата
ХНУРЕ, катедра. PM, преподавател Кириченко Л.О.
„Теория на вероятностите, математическа
статистика и случайни процеси"
V
.
34

35. Марковски процеси с непрекъснато време

Марковски процеси
Марковски процеси с непрекъснато време
Нека разглежданата система S има
възможни състояния
. Вероятността p ij (t) е вероятността за преход от състояние i към състояние j за време t.
Вероятност за i -то състояние
е вероятността, че
че в момент t системата ще бъде в състояние
. Очевидно е, че за всеки момент сумата
от всички вероятности за състояние е равно на едно:
ХНУРЕ, катедра. PM, преподавател Кириченко Л.О.
„Теория на вероятностите, математическа
статистика и случайни процеси"
35

36. Марковски процеси с непрекъснато време

Марковски процеси
Марковски процеси с непрекъснато време
Да се ​​намерят всички вероятности на състоянието
как
функции на времето се съставят и решават диференциални уравнения на Колмогоров - специален вид уравнения, в които неизвестните функции са вероятностите на състоянията.
За вероятностите за преход:
p ij (t) p ik (t) kj
к
За безусловни вероятности:
p j (t) p k (t) kj
к
ХНУРЕ, катедра. PM, преподавател Кириченко Л.О.
„Теория на вероятностите, математическа
статистика и случайни процеси"
36

37. Колмогоров Андрей Николаевич

Марковски процеси
Колмогоров Андрей Николаевич
1903-1987
великоруски
математик.
ХНУРЕ, катедра. PM, преподавател Кириченко Л.О.
„Теория на вероятностите, математическа
статистика и случайни процеси"
37

38. Марковски процеси с непрекъснато време

Марковски процеси
Марковски процеси с непрекъснато време
- процент на неуспех;
- интензивността на възстановителния поток.
Нека системата е в държавата
S0. Той се прехвърля в състояние S1 от потока
повреда на първото устройство. Интензивността му е
Където
- Средно време на безотказна работа на устройството.
От състояние S1 до S0 системата се прехвърля от потока от възстановявания
първо устройство. Интензивността му е
Където
- средно време за ремонт на първата машина.
По подобен начин се изчисляват интензитетите на потоците от събития, които пренасят системата по всички дъги на графиката.
ХНУРЕ, катедра. PM, преподавател Кириченко Л.О.
„Теория на вероятностите, математическа
статистика и случайни процеси"
38

39. Системи за масово обслужване

Марковски процеси

Примери за системи за масово обслужване (QS): телефонни централи, сервизи,
билет
каси,
справка
бюрото,
металорежещи машини и други технологични системи,
системи
управление
гъвкав
производствени системи,
обработка на информация от сървъри и др.
ХНУРЕ, катедра. PM, преподавател Кириченко Л.О.
„Теория на вероятностите, математическа
статистика и случайни процеси"
39

40. Системи за масово обслужване

Марковски процеси
Системи за масово обслужване
QS се състои от определен брой порции
единици, които се наричат ​​обслужващи канали (това са
машини, роботи, комуникационни линии, касиери и др.). Всеки CMO
е проектиран да обслужва потока от приложения (изисквания), пристигащи в произволни моменти.
Обслужването на заявката продължава произволно време, след което каналът се освобождава и е готов да приеме следващата.
приложения.
ХНУРЕ, катедра. PM, преподавател Кириченко Л.О.
„Теория на вероятностите, математическа
статистика и случайни процеси"
40

41. Системи за масово обслужване

Марковски процеси
Системи за масово обслужване
Процесът на работа на QS е случаен процес с дискретност
състояния и непрекъснато време. Състоянието на QS се променя рязко в моментите на възникване на някои събития
(пристигане на ново приложение, край на услугата, момент,
когато приложението, което е уморено да чака, напусне опашката).
ХНУРЕ, катедра. PM, преподавател Кириченко Л.О.
„Теория на вероятностите, математическа
статистика и случайни процеси"
41

42. Системи за масово обслужване

Марковски процеси
Системи за масово обслужване
Класификация на системите за масово обслужване
1. QS с откази;
2. CMO с опашка.
В QS с откази рекламация, която пристига в момента, когато всички канали са заети, получава отказ, напуска QS и вече не е
обслужен.
При QS с опашка рекламация, която пристига в момента, когато всички канали са заети, не излиза, а влиза в опашката и чака възможността да бъде обслужена.
QS с опашки се подразделят на различни видовев зависимост
как е организирана опашката - ограничена или неограничена. Ограниченията могат да се прилагат както за дължината на опашката, така и за времето
очаквания, "служебна дисциплина".
ХНУРЕ, катедра. PM, преподавател Кириченко Л.О.
„Теория на вероятностите, математическа
статистика и случайни процеси"
42

43. Системи за масово обслужване

Марковски процеси
Системи за масово обслужване
Предмет на теорията на масовото обслужване е конструкцията
математически модели, свързващи дадени условия
QS работа (брой канали, тяхната производителност, правила
работа, естеството на потока от приложения) с характеристиките, които ни интересуват - показатели за ефективността на QS. Тези индикатори описват способността на QS да се справи с потока
приложения. Те могат да бъдат: среден брой приложения, обслужени от QS за единица време; среден брой заети канали; среден брой заявления в опашката; средно време за чакане за обслужване и др.
ХНУРЕ, катедра. PM, преподавател Кириченко Л.О.
„Теория на вероятностите, математическа
статистика и случайни процеси"
43

44.

БЛАГОДАРЯ ТИ
ЗА ВНИМАНИЕ!!!
44

45. Постройте графика на прехода

Марковски процеси
Изградете графика на прехода
0.30
0.70
0.0
0.10
0.60
0.30
0.50
0.50
0.0
ХНУРЕ, катедра. PM, преподавател Кириченко Л.О.
„Теория на вероятностите, математическа
статистика и случайни процеси"

Системата за масово обслужване се характеризира със случаен процес. Изследването на случаен процес, протичащ в системата, неговият математически израз е предмет на теорията на масовото обслужване.

Математическият анализ на работата на система за масово обслужване е значително улеснен, ако произволният процес на тази операция е марковски. Процес в система се нарича марковски, ако по всяко време вероятността за всяко състояние на системата в бъдеще зависи само от състоянието на системата в този моменти не зависи от това как системата е стигнала до това състояние. При изследване икономически системиНай-широко приложение намират марковските случайни процеси с дискретни и непрекъснати състояния.

Случайният процес се нарича процес с дискретни състояния, ако всички възможни нейни състояния могат да бъдат изброени предварително, а самият процес се състои в това, че от време на време системата скача от едно състояние в друго.

Случайният процес се нарича непрекъснат процес на състояние ако се характеризира с плавен, постепенен преход от състояние към състояние.

Можем също да разграничим марковските процеси с отделен И непрекъснато време. В първия случай преходите на системата от едно състояние в друго са възможни само в строго определени, предварително фиксирани времена. Във втория случай преходът на системата от състояние в състояние е възможен във всеки, предварително неизвестен, случаен момент. Ако вероятността за преход не зависи от времето, тогава се извиква процесът на Марков хомогенен.

При изучаването на системите за масово обслужване от голямо значение са случайните марковски процеси с дискретни състояния и непрекъснато време.

Изследването на процесите на Марков се свежда до изследване на матриците на вероятностите за преход (). Всеки елемент от такава матрица (поток от събития) представлява вероятността за преминаване от дадено състояние (на което съответства ред) към следващото състояние (на което съответства колона). Тази матрица осигурява всички възможни преходи на даден набор от състояния. Следователно процесите, които могат да бъдат описани и моделирани с помощта на матрици на вероятността на прехода, трябва да имат зависимост на вероятността за определено състояние от непосредствено предходното състояние. Така че подреждане Маркова верига. В този случай веригата на Марков от първи ред е процес, за който всяко конкретно състояние зависи само от предишното си състояние. Верига на Марков от втори и по-висок ред е процес, при който текущото състояние зависи от две или повече предишни.

По-долу са дадени два примера за матрици на вероятността за преход.

Матриците на вероятността за преход могат да бъдат представени чрез графики на състоянието на преход, както е показано на фигурата.

Пример

Компанията произвежда продукт, който насища пазара. Ако предприятието реализира печалба (P) от продажбата на продукт през текущия месец, тогава с вероятност 0,7 то ще реализира печалба през следващия месец, а с вероятност 0,3 - загуба. Ако през текущия месец компанията получи загуба (Y), тогава с вероятност от 0,4 през следващия месец тя ще реализира печалба и с вероятност от 0,6 - загуба (вероятностните оценки са получени в резултат на проучване на експерти). Изчислете вероятностната оценка на печалбата от продажбата на стоки след два месеца работа на предприятието.

В матрична форма тази информация ще бъде изразена по следния начин (съответстваща на матричен пример 1):

Първа итерация – изграждане на матрица от двустепенни преходи.

Ако компанията реализира печалба този месец, тогава вероятността тя да реализира печалба следващия месец е

Ако една компания реализира печалба този месец, тогава вероятността тя да реализира загуба следващия месец е

Ако една компания направи загуба този месец, тогава вероятността тя да реализира печалба следващия месец е

Ако компанията претърпи загуба през текущия месец, тогава вероятността през следващия месец тя отново да претърпи загуба е равна на

В резултат на изчисленията получаваме матрица от двустепенни преходи:

Резултатът се постига чрез умножаване на матрицата m по матрица със същите вероятности:

За да изпълните тези процедури в средата на Excel, трябва да изпълните следните стъпки:

• 1) образуват матрица;
• 2) извикване на функцията MULTIPLE;
• 3) посочете първия масив - матрица;
• 4) посочете втория масив (същата матрица или друга);
• 5) Добре;
• 6) маркирайте зоната на новата матрица;
• 7) F2;
• 8) Ctrl+Shift+Enter;
• 9) вземете нова матрица.

Втора итерация – изграждане на матрица от тристъпални преходи. По същия начин се изчисляват вероятностите за реализиране на печалба или загуба на следващата стъпка и се изчислява матрицата на тристъпковите преходи, която има следната форма:

По този начин, през следващите два месеца от работата на предприятието, вероятността за печалба от пускането на продукта е по-висока в сравнение с вероятността за загуба. Все пак трябва да се отбележи, че вероятността за реализиране на печалба пада, така че компанията трябва да разработи нов продукт, който да замени произведения продукт.

случаен процес х(T), tОTНаречен марковскиАко някой t l< t2< ... < t n ,принадлежащи към региона T,условна функция на разпределение на случайна величина X(tn)по отношение на X(t 1), . . ., X(t n-1)съвпада с условната функция на разпределение X(tn)относително X(t n-1)в смисъл, че за всяко x n нX равенството

Разглеждане на дефиниция (3.1.1) с последователно нарастване нни позволява да установим, че за марковските случайни процеси n-мерната функция на разпределение може да бъде представена като

По подобен начин, свойството на Марков (3.1.1), (3.1.2) може също да бъде записано за плътности на вероятностите

По този начин, за процес на Марков, функцията на разпределение или плътността на вероятността на всяко измерение нможе да се намери, ако неговата едномерна плътност на вероятността е известна при t = t1и последователността от условни плътности за моментите t i >t 1, т.е= , Тази особеност по същество определя практическото удобство на апарата на марковските случайни процеси.

За процесите на Марков общата класификация, дадена в раздел 1.1, е напълно валидна. В съответствие с тази класификация обикновено се разграничават четири основни типа марковски процеси:

- Марковски вериги- процеси, при които като набор от стойности х,и областта на дефиницията T- дискретни комплекти;

- Марковски последователности- процеси, чийто диапазон от стойности х- непрекъснато и областта на дефиницията T-дискретен комплект;

- дискретни марковски процеси- процеси, чийто диапазон от стойности х- дискретни, и областта на дефиницията T- непрекъснат набор;

- непрекъснати марковски процеси- процеси, при които като набор от стойности х,и областта на дефиницията Tса непрекъснати множества.

Възможни са и по-сложни типове марковски процеси, например дискретно-непрекъснати, когато случаен процес X(t)за някои стойности на аргумента t той има скокове, а в интервалите между тях се държи като непрекъснат. Такива процеси се наричат ​​смесени. Подобна ситуация има и за векторните процеси на Марков - отделните компоненти на такъв процес могат да се отнасят за различни видове. Процеси такива сложни типовене се разглеждат по-нататък.

Обърнете внимание, че при изучаването на процесите на Марков традиционно се приема аргументът t да се разбира като време. Тъй като това предположение не ограничава обобщеността и допринася за яснотата на представянето, такова тълкуване на физическия смисъл на аргумента Tи приети в тази глава.

ВЕРИГИ МАРКОВ

Нека произволният процес X(t)може да вземе окончателно (Л< ) множество значений

(в л, л= } = C. Специфична стойност q л; Î С,приети от процеса X(t)в момента T,го определя състояниепри дадена стойностаргумент. По този начин,

в този случай процесът X(t)има краен набор от възможни състояния.

Естествено, с течение на времето процесът X(t)произволно ще промени състоянието си. Да приемем, че такава промяна не е възможна за никого t, исамо в някои дискретни времена t 0 X(t)рязко променя състоянието си. С други думи, на моменти t tзаеми място преходи X(t 0) ®X(t 1) ®..., и X(t)н C, т.е= 0,1,2,…

Двата посочени знака определят последователността на дискретните случайни величини X i - X (t i), т.е= 0.1, ... (дискретна случайна последователност по отношение на раздел 1.1), чийто обхват е дискретно ограничено множество C \u003d (q l, l = ], Аобласт на дефиниция - дискретно безкрайно множество t i , i= 0,1, 2,...

Ако за така дефинираната дискретна случайна последователност е вярно основното свойство (3.1.1) на марковските процеси, което в този случай приема формата

тогава такава последователност се нарича проста верига на Марков.

Забележете, че изразът (3.2.1) пряко предполага

същото равенство за условните вероятности за намиране

проста верига на Марков в някакво състояние

P (x 1 / x 0, x 1, ..., x i -1) \u003d Ρ (x i / x i -1), i= 1,2,....

Въведеното определение допуска известно обобщение. Да приемем, че стойността х i О Сразглеждания процес X(t)зависи не от един, а от m(l£м< аз) стойности, непосредствено предхождащи го. Тогава е очевидно, че

Процесът, определен от релацията (3.2.2), се нарича сложна маркова верига от ред m.Съотношението (3.2.1) следва от (3.2.2) като частен случай. От своя страна сложната верига на Марков ред Tможе да се сведе до проста верига на Марков за m-мерен вектор. За да покажем това, нека приемем, че състоянието на процеса в момента аз азсе описва с помощта на m-измерен вектор.

(3.2.3)

В предишната стъпка подобен вектор може да бъде записан като

Сравнението на (3.2.3) и (3.2.4) показва, че "средните" компоненти на тези вектори (с изключение на X lв (3.2.3) и X l - mв (3.2.4)) съвпадат. От това следва, че условната вероятност за удряне на процеса X(t)за състояние `X i в момент t 1, ако е бил в състояние `X i -1 в момент t i -1,може да се запише във формата

В (3.2.5) символът обозначава j-тия компонент на вектора ` x i ;α (μ, ν) е символът на Кронекер: α(μ, ν) = 1 за ν = μ и α(μ, ν) = ϋ за μ ¹ν. Възможността за тези обобщения ни позволява да се ограничим в това, което следва, до разглеждането само на прости вериги на Марков.

Като система от дискретни случайни променливи, проста верига на Марков X i , i = 0, 1, 2, ... ,i, ... за всяко фиксирано i може да бъде изчерпателно описана от i-мерната съвместна вероятност

ρ {θ 0 L , θ ίκ ,..., θίm,) = P( X 0 =θ L ,X 1 =θ k ,…,X j =θ m}, (3.2.6)

където индекси л, k,..., tвземете всички стойности от 1 до Лнезависимо една от друга. Изразът (3.2.6) дефинира матрица с Лредове и i+1 колона, чиито елементи са вероятностите за съвместно съществуване на системата от случайни променливи Χ 0 , Χ 1 ,..., Χ ίв някакво конкретно състояние. Тази матрица, по аналогия със серията на разпределение на скаларна дискретна случайна променлива, може да се нарече матрица на разпределение на система от дискретни случайни променливи

Χ 0 , Χ 1 ,..., Χ ί .

Въз основа на теоремата за умножение на вероятностите, вероятността (3.2.6) може да бъде представена като

Но според основното свойство (3.2.1) на веригата на Марков

П (Xl= m/X 0 = l, X 1 = k,…, X i -1 = r )=P(X i = m /X i -1 = r )

Повторение на подобно разсъждение за вероятността, включена в (3.2.8) r ) ви позволява да пренесете този израз във формата

От тук най-накрая получаваме

(3.2.9)

По този начин пълното вероятностно описание на проста верига на Марков се постига чрез задаване на вероятностите за първоначалното състояние на веригата в момента t 0 ,Ρ{Θ 0 л,) = P(X 0 = Θl}, l=и условни вероятности

Ρ(X л= Θ k / X i-1 = Θ m ), i = 1, 2, . .. k, m =

Обърнете внимание, че тъй като възможните състояния Θ l О`Cвериги х(t) са фиксирани и известни, за да се опише състоянието му по всяко време, е достатъчно да се посочи числото лтова състояние. Това ни позволява да въведем безусловните вероятности за намиране на веригата в л-то състояние в момента t i (при аз-та стъпка) опростена нотация

За тези вероятности очевидно са валидни свойствата неотрицателност и нормализиране към единица

П л(аз)>0,л = , аз = 0, 1,2,...; (3.2.11)

Когато се използва матрична нотация, наборът от безусловни вероятности се записва като матрица на ред

(3.2.12)

Както следва от горното, фундаментална роля в теорията на веригите на Марков (и марковските процеси като цяло) играят условните вероятности на формата В съответствие с физическия смисъл те обикновено се наричат вероятности за преходи означен като

Израз (3.2.13) определя вероятността веригата да влезе в състоянието л, в момент t на ν - μ стъпки, при условие че в момент t μ веригата е била в състояние A . Лесно е да се види, че вероятностите за преход също имат свойствата на неотрицателност и нормализация, тъй като на всяка стъпка веригата винаги ще бъде в една от Лвъзможни състояния

(3.2.14)

Подреден набор от вероятности за преход за всяка двойка може да бъде представен като квадратна матрица

(3.2.15)

Както следва от израза (3.2.14), всички елементи на тази матрица са неотрицателни и сумата от елементите на всеки ред е равна на единица. Квадратна матрица с тези свойства се нарича стохастичен.

По този начин, вероятностно описание на верига на Марков може да бъде дадено чрез матрица на ред (3.2.12) и стохастична матрица (3.2.15).

Използвайки въведената нотация, решаваме основния проблем на теорията на веригите на Марков - определяме безусловната вероятност Ρ л(ί) фактът, че в i -μ стъпки процесът ще стигне до определено състояние л, л= . Очевидно е, че в момента t m процесът може да бъде във всяко едно от L възможни състояния с вероятност P k (m), k= . Вероятността за преход от к-то V л-то състояние се дава от вероятността за преход p kl (m,i). Следователно, въз основа на теоремата за пълната вероятност, получаваме

; (3.2.16)

или в матрична форма

P( аз)=P(m)P(m, аз); (3.2.17)

Разгледайте във връзка (3.2.16) вероятността за преход π kl (m, аз). Очевидно преходът на веригата от държавата кв момента тмв състояние лв момента t iв няколко стъпки може да се извърши по различни начини (чрез различни междинни състояния). Нека да разгледаме един междинен момент от време t m, t m В този момент процесът може да бъде във всеки от Лвъзможни състояния и вероятността да попадне в r-то състояние в момента тмпри условие, че към момента тмтой беше в състояние к,е равно на π kr (μ,m). На свой ред от държавата rв състояние лпроцесът се движи с вероятност π rl(м ,i). Следователно, използвайки теоремата за пълната вероятност, получаваме Уравнение на Марковза вероятностите за преход

чиято матрична форма има формата

P(m, t) = P(μ, m) P (m,I) ; 0 милиона паунда < m < I; (3.2.19)

Уравнения (3.2.18), (3.2.19) определят свойството на вероятностите за преход, характерно за веригите на Марков, въпреки че валидността на (3.2.18) все още не е достатъчна, за да бъде съответната верига на Марков.

Описвайки последователно формула (3.2.19), получаваме

P(μ, аз) = П (μ, аз- 1) П (т.е- 1, ί) = P (μ, μ + 1) ... P (ί - 1, аз), (3.2.20)

където p(ν, μ), μ -n= 1- една стъпкавероятност за преход. Приемайки сега в израза (3.2.17) μ =0, получаваме

(3.2.21)

откъдето следва, че пълното вероятностно описание на проста верига на Марков се постига чрез уточняване на вероятностите на началното състояние и последователността от вероятностни матрици на едностъпкови преходи.

Очевидно свойствата на веригата на Марков до голяма степен се определят от свойствата на вероятностите за преход. От тази гледна точка, по-специално, сред прости вериги на Марков се разграничава хомогенен,за които вероятностите за преход зависят само от разликата на аргументите

стр кл(м, аз)=стр кл(i-m), i>m>0; (3.2.22)

и не зависят от номера на стъпката. Всички други видове прости вериги на Марков, които не отговарят на условие (3.2.22), принадлежат към класа нееднороден.

Тъй като за хомогенна верига вероятността за преход се определя само от разликата на аргументите и не зависи от номера на стъпката, очевидно е, че за произволни двойки (μ,m), ( й,аз), отговарящи на условията T- µ = 1, t- j = 1, m¹i,справедлив

стр кл(m-m)=p кл(i-j)=p кл(1) =стр кл;

Оттук следва, че за да се опише хомогенна верига на Марков, е достатъчно да се уточни, заедно с вероятностите на първоначалното състояние, не последователност, а една стохастична матрица на вероятностите за едностъпков преход

(3.2.23)

Освен това е очевидно, че

(3.4.7)

тъй като първият фактор под интеграла не зависи от интегралната променлива, а интегралът на втория е равен на единица. Изваждането на уравнение (3.4.7) от (3.4.6) дава

Нека приемем, че плътността на вероятността за преход на разглеждания процес може да бъде разширена в серия на Тейлър. Тогава изразът в квадратни скоби под интеграла в уравнение (3.4.8) може да бъде представен като

Заместване на израз (3.4.9) в (3.4.8), разделяне на двете части на получения израз на ∆ Tи преминавайки към границата при Δt → 0, получаваме

Уравнение (3.4.10) дефинира широк клас непрекъснати марковски процеси и е лесно да се види, че наборът от коефициенти А ν (x 0 ,t 0) определя физическите свойства на всеки от тях. Така че съотношението A 1 (x 0 , t 0)може да се тълкува като средната стойност на локалното (в точката х(t 0)) скоростта на изменение на процеса, коеф A 2 (x 0 , t 0)- като локална скорост на промяна на дисперсията на нейното увеличение и т.н. Марковските процеси от такава обща форма обаче сравнително рядко се разглеждат в приложенията. От най-голямо практическо значение е подмножеството от марковски процеси, което удовлетворява условието

A ν (x 0 , t 0)¹0; n=1.2, A ν (x 0 , t 0)=0, n³3;(3.4.12)

При изучаването на процесите на Марков първоначално беше установено, че уравнението (3.4.10) при условие (3.4.12) се удовлетворява от законите на движение (дифузия) на брауновите частици, в резултат на което съответните процеси на Марков бяха наречени дифузия.Въз основа на това коеф A 1 (x 0, t 0) \u003d a (x 0, t 0)Наречен коефициент на дрейф, o A 2 (x 0, t 0) \u003d b (x 0, t 0) - коефициент на дифузия.В рамките на (3.4.12) уравнението (3.4.10) придобива окончателния вид

Това е уравнение, в което променливите са х 0и t 0 се нарича първото (обратно) уравнение на Колмогоров.

Второто уравнение може да се получи по подобен начин

Това уравнение, в чест на учените, които първи са го изследвали, се нарича уравнение на Фокер,- дъска- Колмогоровили директно уравнение на Колмогоров(защото съдържа производната по отношение на крайното време t>t 0).

По този начин; показано е, че плътностите на вероятностите на прехода на дифузионните марковски процеси удовлетворяват уравнения (3.4.13), (3.4.14), които са основният инструмент за тяхното изследване. При това- свойстваконкретен процес се определя от "коефициенти" a(x,tt)И b(x,t)които съгласно уравнение (3.4.11) са равни на

От изразите (3.4.15), (3.4.16) следва, че тези "коефициенти" имат значението на условни математически очаквания, които определят характера на промените в изпълнението на процеса за безкрайно малък интервал от време Δt. Позволява много бързи промени в процеса X(t) ,но в противоположни посоки, в резултат на което средният прираст на процеса за малко време Δt е краен и е от порядъка на .