Η ροή των γεγονότωνκαλούμε μια ακολουθία ομοιογενών γεγονότων που εμφανίζονται το ένα μετά το άλλο σε τυχαίους χρόνους. Παραδείγματα: ροή κλήσεων σε τηλεφωνικό κέντρο. ροή αστοχιών υπολογιστή. ροή αιτημάτων για υπολογισμούς σε κέντρο υπολογιστών κ.λπ.

Η ροή των γεγονότων απεικονίζεται καθαρά με μια σειρά κουκκίδων με τετμημένα Q 1, Q 2, ..., Qn, ...(Εικ. 6.15) με διαστήματα μεταξύ τους: T 1 = Q 2 - Q 1, T 2 = Q 3 -Q 2, ..., T n = Q n +1 - Q n. Όταν περιγράφεται πιθανολογικά, η ροή των γεγονότων μπορεί να αναπαρασταθεί ως μια ακολουθία τυχαίων μεταβλητών:

Q 1 ; Q 2 = Q 1 + T 1 ; Q 3 = Q 1 + T 1 + T 2; και τα λοιπά.

Το σχήμα με τη μορφή μιας σειράς κουκκίδων δεν απεικονίζει την ίδια τη ροή των γεγονότων (είναι τυχαία), αλλά μόνο μια συγκεκριμένη εφαρμογή της.

Η ροή των γεγονότων ονομάζεται ακίνητος,εάν τα πιθανοτικά χαρακτηριστικά του δεν εξαρτώνται από την επιλογή της προέλευσης ή, πιο συγκεκριμένα, εάν η πιθανότητα ενός συγκεκριμένου αριθμού γεγονότων να συμβεί σε οποιοδήποτε χρονικό διάστημα εξαρτάται μόνο από το μήκος αυτού του διαστήματος και δεν εξαρτάται από το πού ακριβώς στον άξονα 0-tβρίσκεται.

Εικόνα 6.15 – Υλοποίηση της ροής των γεγονότων

Η ροή των γεγονότων ονομάζεται συνήθης,εάν η πιθανότητα δύο ή περισσότερων γεγονότων να συμβούν σε ένα στοιχειώδες χρονικό διάστημα είναι αμελητέα σε σύγκριση με την πιθανότητα να συμβεί ένα γεγονός.

Εικόνα 6.16 – Ροή γεγονότων ως τυχαία διαδικασία

Μια συνηθισμένη ροή γεγονότων μπορεί να ερμηνευθεί ως μια τυχαία διαδικασία X(t) -ο αριθμός των γεγονότων που εμφανίστηκαν πριν από τη στιγμή t (Εικ. 6.16). Τυχαία διαδικασία X(t)αυξάνεται απότομα κατά μία μονάδα σε σημεία Q ,Q 2 ,...,Q n.

Η ροή των γεγονότων ονομάζεται ροή χωρίς αποτέλεσμα,εάν ο αριθμός των γεγονότων που εμπίπτουν σε οποιοδήποτε χρονικό διάστημα δεν εξαρτάται από το πόσα συμβάντα εμπίπτουν σε οποιοδήποτε άλλο διάστημα που δεν τέμνεται με αυτό. Η εικονική απουσία επιπτώσεων σε μια ροή σημαίνει ότι τα γεγονότα που σχηματίζουν τη ροή εμφανίζονται σε ορισμένα χρονικά σημεία ανεξάρτητα το ένα από το άλλο.

Η ροή των γεγονότων ονομάζεται το πιο απλό,αν είναι ακίνητο, συνηθισμένο και δεν έχει καμία επίπτωση. Χρονικό διάστημα Τμεταξύ δύο γειτονικών γεγονότων της απλούστερης ροής έχει εκθετική κατανομή

(στο t>0); (6.21)

Οπου / M [T]-το αντίστροφο της μέσης τιμής του διαστήματος Τ.

Μια συνηθισμένη ροή γεγονότων χωρίς αποτέλεσμα ονομάζεται Poissonian.Η απλούστερη ροή είναι μια ειδική περίπτωση ακίνητης ροής Poisson. ΕντασηΗ ροή των γεγονότων είναι ο μέσος αριθμός γεγονότων ανά μονάδα χρόνου. Για σταθερή ροή. για μια ασταθή ροή εξαρτάται γενικά από το χρόνο: .

Markov τυχαίες διαδικασίες. Η τυχαία διαδικασία ονομάζεται Μαρκοβιανός, εάν έχει την ακόλουθη ιδιότητα: για οποιαδήποτε στιγμή του χρόνου t 0 την πιθανότητα οποιασδήποτε κατάστασης του συστήματος στο μέλλον(στο t >t 0) εξαρτάται μόνο από την κατάστασή της στο παρόν(στο t =t 0) και δεν εξαρτάται από το πώς το σύστημα έφτασε σε αυτήν την κατάσταση.

Σε αυτό το κεφάλαιο θα εξετάσουμε μόνο τις διαδικασίες Markov με διακριτές καταστάσεις S 1, S 2, ..., S n. Είναι βολικό να απεικονίζονται τέτοιες διαδικασίες χρησιμοποιώντας ένα γράφημα καταστάσεων (Εικ. 5.4), όπου οι καταστάσεις υποδεικνύονται με ορθογώνια (ή κύκλους) S 1, S 2, ... σύστημα S και τα βέλη υποδεικνύουν πιθανές μεταβάσεις από κατάσταση σε κατάσταση (μόνο οι άμεσες μεταβάσεις σημειώνονται στο γράφημα και όχι οι μεταβάσεις μέσω άλλων καταστάσεων).

Σχήμα 5.4 – Γράφημα κατάστασης μιας τυχαίας διαδικασίας

Μερικές φορές το γράφημα κατάστασης επισημαίνει όχι μόνο πιθανές μεταβάσεις από κατάσταση σε κατάσταση, αλλά και πιθανές καθυστερήσεις στην προηγούμενη κατάσταση. αυτό απεικονίζεται από ένα βέλος («βρόχος») που κατευθύνεται από μια δεδομένη κατάσταση σε αυτό, αλλά μπορείτε να το κάνετε χωρίς αυτό. Ο αριθμός των καταστάσεων ενός συστήματος μπορεί να είναι είτε πεπερασμένος είτε άπειρος (αλλά μετρήσιμος).

Markov τυχαία διαδικασία με διακριτές καταστάσεις και διακριτό χρόνοσυνήθως ονομάζεται αλυσίδα Markov.Για μια τέτοια διαδικασία, στιγμές t 1, t 2...όταν το σύστημα μικρόμπορεί να αλλάξει την κατάστασή του, είναι βολικό να το θεωρήσουμε ως διαδοχικά βήματα της διαδικασίας και δεν είναι ώρα που θεωρείται ως επιχείρημα από το οποίο εξαρτάται η διαδικασία t,και τον αριθμό βήματος: 12, . . ., κ;….Η τυχαία διαδικασία σε αυτή την περίπτωση χαρακτηρίζεται από μια ακολουθία καταστάσεων

Αν S(0)- αρχική κατάσταση του συστήματος (πριν από το πρώτο βήμα). S(1)- κατάσταση του συστήματος αμέσως μετά το πρώτο βήμα. ...; S(k)- κατάσταση του συστήματος αμέσως μετά το kth βήμα....

Εκδήλωση S i , (i= 1,2,...)είναι ένα τυχαίο γεγονός, επομένως η ακολουθία καταστάσεων (5.6) μπορεί να θεωρηθεί ως ακολουθία τυχαίων γεγονότων. Αρχική κατάσταση S(0)μπορεί να είναι είτε προκαθορισμένο είτε τυχαίο. Τα γεγονότα της ακολουθίας (5.6) λέγεται ότι σχηματίζουν μια αλυσίδα Markov.

Εξετάστε τη διαδικασία με nπιθανές συνθήκες S 1, S 2, ..., S n. Αν συμβολίσουμε με X(t)αριθμός της κατάστασης στην οποία βρίσκεται το σύστημα S αυτή τη στιγμή t,τότε η διαδικασία περιγράφεται από μια ακέραια τυχαία συνάρτηση Χ(t)>0, οι πιθανές τιμές των οποίων είναι ίσες με 1, 2,..., n. Αυτή η συνάρτηση μεταβαίνει από μια ακέραια τιμή σε μια άλλη σε καθορισμένους χρόνους t 1, t2,... (Εικ. 5.5) και είναι συνεχής στα αριστερά, που σημειώνεται με τελείες στο Σχ. 5.5.

Εικόνα 5.5 – Γράφημα μιας τυχαίας διαδικασίας

Ας εξετάσουμε τον μονοδιάστατο νόμο κατανομής της τυχαίας συνάρτησης X(t). Ας υποδηλώσουμε με την πιθανότητα ότι μετά κτο βήμα [και μέχρι ( k+1)-ου] το σύστημα S θα είναι σε θέση S i (i=1,2,...,n). Πιθανότητες p i (k)λέγονται πιθανότητες κατάστασηςΑλυσίδες Markov. Προφανώς για κανέναν κ

. (5.7)

Κατανομή πιθανοτήτων των καταστάσεων στην αρχή της διαδικασίας

p 1 (0) ,p 2 (0),…,p i (0),…,p n (0)(5.8)

που ονομάζεται αρχική κατανομή πιθανοτήτωνΑλυσίδα Markov. Ειδικότερα, εάν η αρχική κατάσταση S(0)Το σύστημα S είναι γνωστό ακριβώς, για παράδειγμα S(0)=S i, τότε η αρχική πιθανότητα Πι(0) = 1, και όλα τα άλλα είναι ίσα με μηδέν.

Πιθανότητα μετάβασηςεπί κ-ο βήμα από το κράτος S iσε μια πολιτεία S jονομάζεται η υπό όρους πιθανότητα που το σύστημα μετά κτο βήμα θα είναι σε θέση S jυπό την προϋπόθεση ότι αμέσως πριν (μετά κ - 1βήματα) ήταν σε κατάσταση Σι.Οι πιθανότητες μετάβασης μερικές φορές ονομάζονται επίσης "πιθανότητες μετάβασης".

Η αλυσίδα Markov ονομάζεται ομοιογενής,εάν οι πιθανότητες μετάβασης δεν εξαρτώνται από τον αριθμό του βήματος, αλλά εξαρτώνται μόνο από την κατάσταση και από την οποία γίνεται η μετάβαση:

Πιθανότητες μετάβασης μιας ομοιογενούς αλυσίδας Markov Р ijσχηματίζουν έναν τετράγωνο πίνακα (μήτρα) μεγέθους n* n:

(5.10)

. (5.11)

Ένας πίνακας με αυτήν την ιδιότητα ονομάζεται στοχαστική.Πιθανότητα Р ijδεν είναι τίποτα άλλο από την πιθανότητα ότι το σύστημα, έχοντας φτάσει σε ένα δεδομένο βήμα στην κατάσταση S j, και θα παραμείνει σε αυτό στο επόμενο βήμα.

Αν για μια ομοιογενή αλυσίδα Markov δίνεται η αρχική κατανομή πιθανοτήτων (5.8) και ο πίνακας πιθανοτήτων μετάβασης (5.10), τότε οι πιθανότητες του συστήματος δηλώνουν μπορεί να προσδιοριστεί από τον τύπο της υποτροπής

(5.12)

Για μια ανομοιογενή αλυσίδα Markov, οι πιθανότητες μετάβασης στον πίνακα (5.10) και στον τύπο (5.12) εξαρτώνται από τον αριθμό βήματος κ.

Για μια ομοιογενή αλυσίδα Markov, εάν όλες οι καταστάσεις είναι βασικές και ο αριθμός των καταστάσεων είναι πεπερασμένος, υπάρχει ένα όριο καθορίζεται από το σύστημα των εξισώσεων και Το άθροισμα των πιθανοτήτων μετάβασης σε οποιαδήποτε σειρά του πίνακα είναι ίσο με ένα.

Κατά την εκτέλεση πραγματικών υπολογισμών χρησιμοποιώντας τον τύπο (5.12), είναι απαραίτητο να ληφθούν υπόψη όχι όλες οι καταστάσεις S j, αλλά μόνο εκείνα για τα οποία οι πιθανότητες μετάβασης είναι διαφορετικές από το μηδέν, δηλ. αυτά από τα οποία τα βέλη οδηγούν στην κατάσταση στο γράφημα κατάστασης Σι.

Markov τυχαία διαδικασία με διακριτές καταστάσεις και συνεχή χρόνομερικές φορές ονομάζεται "συνεχής αλυσίδα Markov". Για μια τέτοια διαδικασία, η πιθανότητα μετάβασης από το κράτος S i V S jγια οποιαδήποτε χρονική στιγμή ισούται με μηδέν. Αντί για πιθανότητα μετάβασης p ijεξετάζουν πυκνότητα πιθανότητας μετάβασηςπου ορίζεται ως το όριο του λόγου της πιθανότητας μετάβασης από την κατάσταση S iσε μια πολιτεία S jγια ένα μικρό χρονικό διάστημα δίπλα στη στιγμή t,στο μήκος αυτού του διαστήματος όταν τείνει στο μηδέν. Η πυκνότητα πιθανότητας μετάβασης μπορεί να είναι είτε σταθερή () είτε εξαρτώμενη από το χρόνο. Στην πρώτη περίπτωση καλείται μια τυχαία διεργασία Markov με διακριτές καταστάσεις και συνεχή χρόνο ομοιογενής.Ένα χαρακτηριστικό παράδειγμα μιας τέτοιας διαδικασίας είναι μια τυχαία διαδικασία X(t),που αντιπροσωπεύει τον αριθμό των εμφανισθέντων μέχρι στιγμής tγεγονότα στην απλούστερη ροή (Εικ. 5.2).

Όταν εξετάζουμε τυχαίες διεργασίες με διακριτές καταστάσεις και συνεχή χρόνο, είναι βολικό να αναπαραστήσουμε τις μεταβάσεις του συστήματος S από κατάσταση σε κατάσταση ως συμβαίνουν υπό την επίδραση ορισμένων ρευμάτων γεγονότων. Σε αυτήν την περίπτωση, οι πυκνότητες πιθανότητας μετάβασης λαμβάνουν την έννοια των εντάσεων των αντίστοιχων ροών γεγονότων (μόλις το πρώτο γεγονός στη ροή συμβεί με ένταση , το σύστημα μεταβαίνει από κατάσταση σε S iπηδά μέσα Sj). Εάν όλες αυτές οι ροές είναι Poisson, τότε η διαδικασία που εμφανίζεται στο σύστημα S θα είναι Μαρκοβιανή.

Όταν εξετάζουμε τυχαίες διεργασίες Markov με διακριτές καταστάσεις και συνεχή χρόνο, είναι βολικό να χρησιμοποιήσετε ένα γράφημα κατάστασης στο οποίο απέναντι από κάθε βέλος που οδηγεί από την κατάσταση S i, V S jΥποδεικνύεται η ένταση της ροής των γεγονότων που κινεί το σύστημα κατά μήκος αυτού του βέλους (Εικ. 5.6). Ένα τέτοιο γράφημα κατάστασης ονομάζεται μαρκαρισμένος.

Η πιθανότητα ένα σύστημα S σε κατάσταση S i, σε μια στοιχειώδη χρονική περίοδο () θα πάει στην κατάσταση S j(στοιχείο πιθανότητας μετάβασης από S i V S j), υπάρχει πιθανότητα σε αυτό το διάστημα dtθα εμφανιστεί τουλάχιστον ένα συμβάν του νήματος που μεταφέρει το σύστημα μικρόαπό S i έως S j .Μέχρι απειροελάχιστες υψηλότερες τάξεις, αυτή η πιθανότητα είναι ίση με .

Ροή πιθανότητας μετάβασηςαπό το κράτος Σι V Sjονομάζεται ποσότητα (εδώ η ένταση μπορεί να είναι και χρονικά εξαρτώμενη και ανεξάρτητη από το χρόνο).

Ας εξετάσουμε την περίπτωση όταν το σύστημα S έχει πεπερασμένο αριθμό καταστάσεων S 1, S 2,..., S p.Για να περιγραφεί η τυχαία διαδικασία που συμβαίνει σε αυτό το σύστημα, χρησιμοποιούνται πιθανότητες κατάστασης

(5.13)

Οπου p i (t) -την πιθανότητα ότι το σύστημα μικρόστη στιγμή tβρίσκεται σε κατάσταση S i:

. (5.14)

Προφανώς για κανέναν t

Για να βρεθούν οι πιθανότητες (5.13), είναι απαραίτητο να λυθεί ένα σύστημα διαφορικών εξισώσεων (εξισώσεις Kolmogorov) που έχει τη μορφή

(i=1,2,…,n),

ή, παραλείποντας το επιχείρημα tσε μεταβλητές εγώ,

(i=1,2,…,n). (5.16)

Θυμηθείτε ότι οι εντάσεις των ροών ij μπορεί να εξαρτώνται από το χρόνο .

Είναι βολικό να συντάσσονται οι εξισώσεις (5.16) χρησιμοποιώντας ένα επισημασμένο γράφημα καταστάσεων συστήματος και τον ακόλουθο μνημονικό κανόνα: το παράγωγο της πιθανότητας κάθε κατάστασης είναι ίσο με το άθροισμα όλων των ροών πιθανότητας που μεταφέρονται από άλλες καταστάσεις σε αυτήν, μείον το άθροισμα όλων των ροών πιθανότητας που μεταφέρονται από αυτήν την κατάσταση σε άλλες.Για παράδειγμα, για το σύστημα S , το επισημασμένο γράφημα κατάστασης του οποίου δίνεται στο Σχ. 10.6, το σύστημα εξισώσεων του Kolmogorov έχει τη μορφή

(5.17)

Αφού για κανέναν tΗ συνθήκη (5.15) ικανοποιείται, οποιαδήποτε από τις πιθανότητες (5.13) μπορεί να εκφραστεί ως προς τις άλλες και έτσι να μειωθεί ο αριθμός των εξισώσεων κατά μία.

Να λύσουμε το σύστημα των διαφορικών εξισώσεων (5.16) για τις πιθανότητες κατάστασης p 1 (t) p 2 (t), …, p n (t), πρέπει να ορίσετε την αρχική κατανομή πιθανότητας

p 1 (0),p 2 (0), …,p i (0), …,p n (0), ( 5.18)

το άθροισμα των οποίων είναι ίσο με ένα.

Εάν, ειδικότερα, την αρχική στιγμή t= 0 η κατάσταση του συστήματος S είναι ακριβώς γνωστή, για παράδειγμα, S(0) =Si, Και p i (0)= 1, τότε οι υπόλοιπες πιθανότητες έκφρασης (5.18) είναι ίσες με μηδέν.

Σε πολλές περιπτώσεις, όταν η διαδικασία που συμβαίνει στο σύστημα διαρκεί αρκετά, τίθεται το ερώτημα σχετικά με την περιοριστική συμπεριφορά των πιθανοτήτων πι(t) στο . Εάν όλες οι ροές γεγονότων που μεταφέρουν το σύστημα από κατάσταση σε κατάσταση είναι οι απλούστερες (δηλαδή στάσιμο Poisson με σταθερές εντάσεις), σε ορισμένες περιπτώσεις υπάρχουν τελικός (ή όριο) πιθανότητες κατάστασης

, (5.19)

ανεξάρτητα από την κατάσταση στην οποία βρισκόταν το σύστημα S την αρχική στιγμή. Αυτό σημαίνει ότι με την πάροδο του χρόνου το σύστημα S εγκαθίσταται περιορισμός στατικής λειτουργίας,κατά την οποία μετακινείται από κατάσταση σε κατάσταση, αλλά οι πιθανότητες των καταστάσεων δεν αλλάζουν πλέον. Σε αυτόν τον ακραίο τρόπο, κάθε τελική πιθανότητα μπορεί να ερμηνευτεί ως ο μέσος σχετικός χρόνοςτο σύστημα παραμένει σε αυτή την κατάσταση.

Ένα σύστημα στο οποίο υπάρχουν τελικές πιθανότητες ονομάζεται εργοδοτικός.Αν το σύστημα S έχει πεπερασμένο αριθμό καταστάσεων S 1 , S 2 , . . . , Sn, τότε για την ύπαρξη τελικών πιθανοτήτων αρκετά,προς την από οποιαδήποτε κατάσταση του συστήματος ήταν δυνατό(για συγκεκριμένο αριθμό βημάτων) πηγαίνετε σε οποιοδήποτε άλλο.Εάν ο αριθμός των κρατών S 1 , S 2 , . . . , Sn, είναι άπειρο, τότε αυτή η συνθήκη παύει να είναι επαρκής, και η ύπαρξη των τελικών πιθανοτήτων εξαρτάται όχι μόνο από το γράφημα καταστάσεων, αλλά και από τις εντάσεις.

Οι πιθανότητες τελικής κατάστασης (αν υπάρχουν) μπορούν να ληφθούν με επίλυση γραμμικά συστήματα αλγεβρικές εξισώσεις, προκύπτουν από τις διαφορικές εξισώσεις του Kolmogorov αν βάλουμε τις αριστερές πλευρές τους (παράγωγα) ίσες με μηδέν. Ωστόσο, είναι πιο βολικό να συνθέσετε αυτές τις εξισώσεις απευθείας από το γράφημα καταστάσεων, χρησιμοποιώντας τον μνημονικό κανόνα: για κάθε κατάσταση, η συνολική εξερχόμενη ροή πιθανότητας είναι ίση με τη συνολική εισερχόμενη.Για παράδειγμα, για ένα σύστημα S, το γράφημα κατάστασης με ετικέτα του οποίου δίνεται στη σελ είναι. 5.7, οι εξισώσεις για τις πιθανότητες τελικής κατάστασης έχουν τη μορφή

(5.20)

Έτσι, αποδεικνύεται (για το σύστημα S με σελπολιτείες) σύστημα nομοιογενείς γραμμικές αλγεβρικές εξισώσεις με nάγνωστος σελ 1, σελ 2, ..., r p.Άγνωστα μπορούν να βρεθούν από αυτό το σύστημα σελ 1, σελ 2, . . . , r p sακριβείς σε έναν αυθαίρετο παράγοντα. Για να βρείτε τις ακριβείς τιμές σελ 1,..., r p,προστίθεται στις εξισώσεις συνθήκη κανονικοποίησης p 1 + p 2 + …+ σελ σελ=1, χρησιμοποιώντας το οποίο μπορείτε να εκφράσετε οποιαδήποτε από τις πιθανότητες πιμέσω άλλων (και κατά συνέπεια απορρίψτε μια από τις εξισώσεις).

Επιθεώρηση των ερωτήσεων

1 Τι ονομάζεται τυχαία συνάρτηση, τυχαία διαδικασία, διατομή τυχαίας διαδικασίας, υλοποίηση της;

2 Πώς διαφέρουν οι τυχαίες διεργασίες ως προς τη δομή τους και τη φύση της εξέλιξής τους με την πάροδο του χρόνου;

3 Ποιοι νόμοι κατανομής μιας τυχαίας συνάρτησης χρησιμοποιούνται για να περιγράψουν μια τυχαία συνάρτηση;

4 Ποια είναι η μαθηματική συνάρτηση προσδοκίας μιας τυχαίας συνάρτησης, ποια είναι η γεωμετρική της σημασία;

5 Ποια είναι η συνάρτηση διασποράς μιας τυχαίας συνάρτησης, ποια είναι η γεωμετρική της σημασία;

6 Ποια είναι η συνάρτηση συσχέτισης μιας τυχαίας διαδικασίας και τι χαρακτηρίζει;

7 Ποιες είναι οι ιδιότητες της συνάρτησης συσχέτισης μιας τυχαίας διαδικασίας;

8 Γιατί εισήχθη η έννοια της κανονικοποιημένης συνάρτησης συσχέτισης;

9 Εξηγήστε πώς να αποκτήσετε εκτιμήσεις των συναρτήσεων των χαρακτηριστικών μιας τυχαίας διαδικασίας χρησιμοποιώντας πειραματικά δεδομένα;

10 Ποια είναι η διαφορά μεταξύ μιας συνάρτησης διασταυρούμενης συσχέτισης και μιας συνάρτησης αυτοσυσχέτισης;

11 Ποια τυχαία διαδικασία ταξινομείται ως στατικές διεργασίες με τη στενή και με την ευρεία έννοια;

12 Ποια είναι η ιδιότητα της εργοδικότητας μιας στατικής τυχαίας διεργασίας;

13 Τι σημαίνει φασματική αποσύνθεση μιας στατικής τυχαίας διαδικασίας και γιατί είναι απαραίτητη;

14 Ποια είναι η σχέση μεταξύ της συνάρτησης συσχέτισης και της φασματικής πυκνότητας μιας στατικής τυχαίας συνάρτησης;

15 Ποια ονομάζεται η απλούστερη ροή γεγονότων;

16 Ποια τυχαία διαδικασία ονομάζεται αλυσίδα Markov; Ποια είναι η μεθοδολογία υπολογισμού των καταστάσεων του;

17 Τι είναι μια τυχαία διαδικασία Markov με διακριτές καταστάσεις και συνεχή χρόνο;

M(U)=10, D(U)=0,2.

6.5 Βρείτε την κανονικοποιημένη συνάρτηση διασυσχέτισης των τυχαίων συναρτήσεων X(t)=t*UΚαι Υ(t)=(t+1)U, Οπου Uείναι μια τυχαία μεταβλητή, και η διακύμανση D(U)=10.

ΔΙΑΔΙΚΑΣΙΑ ΜΑΡΚΟΦ

Διαδικασία χωρίς αποτέλεσμα - τυχαία διαδικασία,η εξέλιξη της οποίας μετά από οποιαδήποτε δεδομένη τιμή της παραμέτρου χρόνου t δεν εξαρτάται από την εξέλιξη που προηγήθηκε t,υπό τον όρο ότι η αξία της διαδικασίας σε αυτό είναι σταθερή (εν συντομία: το «μέλλον» και το «παρελθόν» της διαδικασίας δεν εξαρτώνται το ένα από το άλλο με ένα γνωστό «παρόν»).

Η ιδιότητα που ορίζει ένα μαγνητικό πεδίο συνήθως ονομάζεται Markovian; διατυπώθηκε για πρώτη φορά από τον A. A. Markov. Ωστόσο, ήδη στο έργο του L. Bachelier μπορεί κανείς να διακρίνει μια προσπάθεια ερμηνείας του Brownian ως μαγνητικό πεδίο, μια προσπάθεια που δικαιώθηκε μετά την έρευνα του N. Wiener (N. Wiener, 1923). Βασικά γενική θεωρίαΒουλευτές με συνεχή χρόνο ιδρύθηκαν από τον A. N. Kolmogorov.

ιδιοκτησία Markov. Υπάρχουν ορισμοί του Μ. που διαφέρουν σημαντικά μεταξύ τους Ένας από τους πιο συνηθισμένους είναι ο παρακάτω. Άσε χώρο πιθανοτήτωνδίνεται μια τυχαία διαδικασία με τιμές από μετρήσιμο χώρο όπου T -υποσύνολο του πραγματικού άξονα Έστω Nt(αντίστοιχα Nt).υπάρχει s-άλγεβρα μέσα που δημιουργούνται από τις ποσότητες X(s).at Οπου Με άλλα λόγια, Nt(αντίστοιχα Nt) είναι ένα σύνολο γεγονότων που σχετίζονται με την εξέλιξη της διαδικασίας μέχρι τη στιγμή t (ξεκινώντας από το t) . Η διαδικασία X(t). καλείται Διαδικασία Markov εάν (σχεδόν σίγουρα) η ιδιότητα Markov ισχύει για όλους:

ή, τι είναι το ίδιο, εάν υπάρχει

M. p., για το οποίο το T περιέχεται στο σύνολο των φυσικών αριθμών, καλούμενο. Αλυσίδα Markov(ωστόσο, ο τελευταίος όρος συνδέεται συχνότερα με την περίπτωση το πολύ μετρήσιμου Ε) . Αν είναι ένα διάστημα σε περισσότερα από μετρήσιμα, καλείται M.. συνεχής χρόνος αλυσίδα Markov. Παραδείγματα μαγνητικών διεργασιών συνεχούς χρόνου παρέχονται από διεργασίες διάχυσης και διεργασίες με ανεξάρτητες αυξήσεις, συμπεριλαμβανομένων των διεργασιών Poisson και Wiener.

Στη συνέχεια, για βεβαιότητα, θα μιλήσουμε μόνο για την υπόθεση Οι τύποι (1) και (2) παρέχουν μια σαφή ερμηνεία της αρχής της ανεξαρτησίας του «παρελθόντος» και του «μέλλοντος» δεδομένου του γνωστού «παρόντος», αλλά ο ορισμός του Μ. που βασίζεται σε αυτούς αποδείχθηκε ανεπαρκώς ευέλικτος σε αυτές οι πολυάριθμες καταστάσεις κατά τις οποίες είναι απαραίτητο να ληφθεί υπόψη όχι μία, αλλά ένα σύνολο προϋποθέσεων του τύπου (1) ή (2), που αντιστοιχούν σε διαφορετικά, αν και συμφωνημένα με ορισμένο τρόπο, μέτρα. τον ακόλουθο ορισμό (βλ.,).

Να δοθούν τα εξής:

α) όπου η s-άλγεβρα περιέχει όλα τα σύνολα ενός σημείου στο E.

β) μετρήσιμο εξοπλισμένο με οικογένεια s-άλγεβρων τέτοια ώστε αν

V) ("") x t =xt(w) , ορίζοντας για οποιαδήποτε μετρήσιμη χαρτογράφηση

δ) για κάθε ένα και ένα μέτρο πιθανότητας στην s-άλγεβρα έτσι ώστε η συνάρτηση μετρήσιμο σε σχέση με το αν και

Σύνολο ονομάτων (μη τερματιζόμενη) διαδικασία Markov που ορίζεται στο αν -σχεδόν σίγουρα

οτιδήποτε μπορεί να είναι Εδώ - ο χώρος των στοιχειωδών γεγονότων, - χώρος φάσης ή χώρος κατάστασης, P( s, x, t, V)- λειτουργία μετάβασηςή η πιθανότητα μετάβασης της διαδικασίας X(t) . Εάν το E είναι προικισμένο με τοπολογία και είναι μια συλλογή από Borel ΜΙ,τότε συνηθίζεται να λέγεται ότι δίνεται η Μ. π. ΜΙ.Συνήθως, ο ορισμός του M. p. περιλαμβάνει την απαίτηση να ερμηνεύεται και στη συνέχεια ως πιθανότητα, υπό τον όρο ότι x s =x.

Τίθεται το ερώτημα: κάθε συνάρτηση μετάβασης Markov είναι P( s, x;t, V), που δίνεται σε έναν μετρήσιμο χώρο μπορεί να θεωρηθεί ως συνάρτηση μετάβασης ενός συγκεκριμένου χώρου Μ. Η απάντηση είναι θετική εάν, για παράδειγμα, το E είναι ένας χωριζόμενος τοπικά συμπαγής χώρος και είναι μια συλλογή συνόλων Borel σε ΜΙ.Επιπλέον, ας E -πλήρης μέτρηση χώρο και ας

για οποιονδήποτε όπου
α είναι το συμπλήρωμα της ηλεκτρονικής γειτονιάς ενός σημείου Χ.Τότε το αντίστοιχο μαγνητικό πεδίο μπορεί να θεωρηθεί συνεχές στα δεξιά και να έχει όρια στα αριστερά (δηλαδή οι τροχιές του να επιλέγονται ως τέτοιες). Η ύπαρξη συνεχούς μαγνητικού πεδίου διασφαλίζεται από τη συνθήκη στο (βλ., ). Στη θεωρία των μηχανικών διεργασιών, η κύρια προσοχή δίνεται σε διαδικασίες που είναι ομοιογενείς (χρονικά). Ο αντίστοιχος ορισμός προϋποθέτει ένα δεδομένο σύστημα αντικείμεναα) - δ) με τη διαφορά ότι για τις παραμέτρους s και u που εμφανίζονται στην περιγραφή του, επιτρέπεται πλέον μόνο η τιμή 0. Η σημείωση είναι επίσης απλοποιημένη:

Περαιτέρω, η ομοιογένεια του χώρου W υποτίθεται, δηλ. απαιτείται ότι για οποιαδήποτε υπήρχε κάτι τέτοιο (w) για Λόγω αυτού, στην s-άλγεβρα Ν,η μικρότερη s-άλγεβρα στο W που περιέχει οποιοδήποτε γεγονός της μορφής Οι τελεστές χρονικής μετατόπισης q καθορίζονται t, που διατηρούν τις πράξεις ένωσης, τομής και αφαίρεσης συνόλων και για τις οποίες

Σύνολο ονομάτων (μη τερματιζόμενη) ομοιογενής διαδικασία Markov που ορίζεται στο αν -σχεδόν σίγουρα

για τη συνάρτηση Μετάβασης της διαδικασίας X(t). θεωρείται P( t, x, V), και, εκτός εάν υπάρχουν ειδικές κρατήσεις, απαιτούν επιπλέον ότι Είναι χρήσιμο να έχετε κατά νου ότι κατά τον έλεγχο (4) αρκεί να λαμβάνετε υπόψη μόνο σύνολα εντύπων όπου και ότι στο (4) πάντα Ftμπορεί να αντικατασταθεί από s-άλγεβρα ίση με την τομή των συμπληρωμάτων Ftγια όλα τα πιθανά μέτρα Συχνά, ένα μέτρο πιθανότητας m ("αρχικό") είναι σταθερό και μια τυχαία συνάρτηση Markov θεωρείται όπου είναι το μέτρο που δίνεται από την ισότητα

Ο Μ. π. κάλεσε. προοδευτικά μετρήσιμο αν για κάθε t>0 η συνάρτηση επάγει ένα μετρήσιμο στο πού είναι η s-άλγεβρα

Υποσύνολα Borel σε . Οι δεξιοί συνεχόμενοι βουλευτές είναι προοδευτικά μετρήσιμοι. Υπάρχει τρόπος να αναχθεί μια ετερογενής περίπτωση σε ομοιογενή (βλ.), και σε όσα ακολουθούν θα μιλήσουμε για ομοιογενείς βουλευτές.

Αυστηρά.Έστω ένα μετρήσιμο διάστημα που δίνεται από ένα m.

Η συνάρτηση καλείται στιγμή Markov,Αν για όλα Σε αυτή την περίπτωση, ανήκουν στην οικογένεια F t εάν στο (τις περισσότερες φορές το F t ερμηνεύεται ως ένα σύνολο γεγονότων που σχετίζονται με την εξέλιξη του X(t) μέχρι τη στιγμή t). Για πιστέψτε

Προοδευτικά μετρήσιμο Μ. σ. Xnaz. αυστηρά Markov διαδικασία (σ.μ.π.), αν για οποιαδήποτε στιγμή Markov m και όλα και αναλογία

(αυστηρά Markov ιδιοκτησία) ισχύει σχεδόν σίγουρα στο σύνολο W t . Κατά τον έλεγχο (5), αρκεί να λάβετε υπόψη μόνο τα σύνολα της φόρμας όπου Σε αυτήν την περίπτωση, ένας χώρος S. m. είναι, για παράδειγμα, κάθε δεξιός συνεχής χώρος Feller M. σε ένα τοπολογικό. χώρος ΜΙ.Ο Μ. π. κάλεσε. Feller Markov διαδικασία εάν η συνάρτηση

είναι συνεχής όποτε η f είναι συνεχής και οριοθετημένη.

Στην τάξη με. μ.π. διακρίνονται ορισμένες υποκατηγορίες. Αφήστε το Markovian P( t, x, V), ορίζεται σε έναν μετρικό τοπικά συμπαγή χώρο ΜΙ,στοχαστικά συνεχής:

για οποιαδήποτε γειτονιά U κάθε σημείου. Τότε αν οι τελεστές πάρουν μέσα τους συναρτήσεις που είναι συνεχείς και εξαφανίζονται στο άπειρο, τότε οι συναρτήσεις P( t, x, V) πληροί το πρότυπο M. p. Χ,δηλ. συνεχής στα δεξιά με. μ.π., για την οποία

Και - σχεδόν πιθανώς σε πολλούς α είναι στιγμές Pmarkov που δεν μειώνονται με την ανάπτυξη.

Τερματισμός της διαδικασίας Markov.Συχνά σωματική Συνιστάται να περιγράφονται συστήματα που χρησιμοποιούν μη τερματικό μαγνητικό πεδίο, αλλά μόνο σε χρονικό διάστημα τυχαίου μήκους. Επιπλέον, ακόμη και απλοί μετασχηματισμοί μαγνητικών διεργασιών μπορούν να οδηγήσουν σε μια διαδικασία με τροχιές που καθορίζονται σε ένα τυχαίο διάστημα (βλ. Λειτουργικόςαπό μια διαδικασία Markov). Με γνώμονα αυτές τις σκέψεις, εισάγεται η έννοια του σπασμένου βουλευτή.

Έστω ένα ομοιογενές M.P στο χώρο φάσης που έχει συνάρτηση μετάβασης και ας υπάρχει ένα σημείο και μια συνάρτηση έτσι ώστε εάν και διαφορετικά (αν δεν υπάρχουν ειδικές ρήτρες, εξετάστε το ). Νέα τροχιά xt(w) καθορίζεται μόνο για ) μέσω της ισότητας ένα Ftορίζεται όπως στο σετ

Ορίστε πού που ονομάζεται με μια διαδικασία τερματισμού Markov (o.m.p.), που λαμβάνεται από αυτήν με τερματισμό (ή θανάτωση) τη στιγμή z. Καλείται η τιμή z η στιγμή του διαλείμματος, ή η ώρα της ζωής, o. m.p. Ο χώρος φάσης της νέας διαδικασίας είναι όπου υπάρχει ένα ίχνος της s-άλγεβρας μέσα ΜΙ.Συνάρτηση μετάβασης o. Το m.p. είναι ένας περιορισμός σε ένα σύνολο Η διαδικασία X(t). καλείται μια αυστηρά Markov διαδικασία ή μια τυπική διαδικασία Markov, εάν έχει την αντίστοιχη ιδιότητα.Ένας MP που δεν τερματίζει μπορεί να θεωρηθεί ως ο. σ. με τη στιγμή της θραύσης Ετερογενής ο. προσδιορίζεται με παρόμοιο τρόπο η σ.τ. Μ.

Markov διεργασίες και .Τα MP του τύπου της κίνησης Brown συνδέονται στενά με παραβολικές διαφορικές εξισώσεις. τύπος. Μετάβαση p(s, x, t, y) της διαδικασίας διάχυσης ικανοποιεί, κάτω από ορισμένες πρόσθετες υποθέσεις, τις αντίστροφες και ευθείες διαφορικές εξισώσεις του Kolmogorov:

Συνάρτηση p( s, x, t, y).είναι η συνάρτηση του Green των εξισώσεων (6) - (7), και οι πρώτες γνωστές μέθοδοι για την κατασκευή διαδικασιών διάχυσης βασίστηκαν σε θεωρήματα σχετικά με την ύπαρξη αυτής της συνάρτησης για τις διαφορικές εξισώσεις (6) - (7). Για μια χρονικά ομοιόμορφη διαδικασία L( s, x)= Λ(χ).στις ομαλές συναρτήσεις συμπίπτει με το χαρακτηριστικό. χειριστής M. p. (βλ Ημιομάδα χειριστή μετάβασης).

Μαθηματικά. Οι προσδοκίες διαφόρων συναρτήσεων από διεργασίες διάχυσης χρησιμεύουν ως λύσεις στα αντίστοιχα προβλήματα οριακής τιμής για τη διαφορική εξίσωση (1). Αφήστε - μαθηματικά. προσδοκία στο μέτρο Τότε η συνάρτηση ικανοποιεί στο μικρό η εξίσωση (6) και η συνθήκη

Ομοίως, η συνάρτηση

ικανοποιεί με μικρό εξίσωση

και κατάσταση και 2 ( Τ, χ) = 0.

Έστω tt η στιγμή της πρώτης προσέγγισης στο όριο dDπεριοχή τροχιά διαδικασίας Στη συνέχεια, υπό ορισμένες προϋποθέσεις, η συνάρτηση

ικανοποιεί την εξίσωση

και παίρνει τιμές cp στο σετ

Λύση του προβλήματος της 1ης οριακής τιμής για μια γενική γραμμική παραβολική. Εξισώσεις 2ης τάξης

κάτω από αρκετά γενικές παραδοχές μπορεί να γραφτεί στη μορφή

Στην περίπτωση που L και συναρτήσεις s, fδεν εξαρτώνται από μικρό,Μια αναπαράσταση παρόμοια με το (9) είναι επίσης δυνατή για την επίλυση μιας γραμμικής ελλειπτικής. εξισώσεις Πιο συγκεκριμένα, η λειτουργία

υπό ορισμένες υποθέσεις υπάρχουν προβλήματα

Στην περίπτωση που ο χειριστής L εκφυλιστεί (del b( s, x) = 0 ).ή dDδεν είναι αρκετά «καλή»· οι οριακές τιμές ενδέχεται να μην γίνονται δεκτές από τις συναρτήσεις (9), (10) σε μεμονωμένα σημεία ή σε ολόκληρα σύνολα. Η έννοια ενός κανονικού οριακού σημείου για έναν χειριστή μεγάλοέχει πιθανολογική ερμηνεία. Σε κανονικά σημεία του ορίου, οι οριακές τιμές επιτυγχάνονται από τις συναρτήσεις (9), (10). Η επίλυση προβλημάτων (8), (11) μας επιτρέπει να μελετήσουμε τις ιδιότητες των αντίστοιχων διεργασιών διάχυσης και τις λειτουργίες τους.

Υπάρχουν μέθοδοι για την κατασκευή MP που δεν βασίζονται στην κατασκευή λύσεων στις εξισώσεις (6), (7), για παράδειγμα. μέθοδος στοχαστικές διαφορικές εξισώσεις,απολύτως συνεχής αλλαγή του μέτρου κ.λπ. Αυτή η περίσταση, μαζί με τους τύπους (9), (10), μας επιτρέπει να κατασκευάσουμε και να μελετήσουμε πιθανολογικά τις ιδιότητες των προβλημάτων οριακής τιμής για την εξίσωση (8), καθώς και τις ιδιότητες της λύσης του το αντίστοιχο ελλειπτικό. εξισώσεις

Εφόσον η λύση μιας στοχαστικής διαφορικής εξίσωσης δεν είναι ευαίσθητη στον εκφυλισμό του πίνακα b( s, x), ΟτιΧρησιμοποιήθηκαν πιθανολογικές μέθοδοι για την κατασκευή λύσεων για εκφυλιστικές ελλειπτικές και παραβολικές διαφορικές εξισώσεις. Επέκταση της αρχής του μέσου όρου των N. M. Krylov και N. N. Bogolyubov σε στοχαστική διαφορικές εξισώσειςκατέστησε δυνατό, χρησιμοποιώντας το (9), να ληφθούν τα αντίστοιχα αποτελέσματα για ελλειπτικές και παραβολικές διαφορικές εξισώσεις. Αποδείχθηκε ότι ήταν δυνατό να λυθούν ορισμένα δύσκολα προβλήματα της μελέτης των ιδιοτήτων των λύσεων σε εξισώσεις αυτού του τύπου με μια μικρή παράμετρο στην υψηλότερη παράγωγο χρησιμοποιώντας πιθανοτικές εκτιμήσεις. Η λύση του προβλήματος της 2ης συνοριακής τιμής για την εξίσωση (6) έχει επίσης πιθανολογική σημασία. Η διατύπωση προβλημάτων οριακής τιμής για έναν απεριόριστο τομέα σχετίζεται στενά με την επανάληψη της αντίστοιχης διαδικασίας διάχυσης.

Στην περίπτωση μιας χρονικά ομοιογενούς διαδικασίας (το L δεν εξαρτάται από το s), η θετική λύση της εξίσωσης, μέχρι μια πολλαπλασιαστική σταθερά, συμπίπτει κάτω από ορισμένες παραδοχές με τη σταθερή πυκνότητα κατανομής του MP. να είναι χρήσιμο όταν εξετάζουμε προβλήματα οριακών τιμών για μη γραμμικούς παραβολικούς. εξισώσεις. R. 3. Khasminsky.

Αναμμένο.: Markov A. A., "Izvestia. Phys.-Mathematics Society of Kazan University", 1906, τ. 15, αρ. 4, σελ. 135-56; V a s h e l i e r L., "Ann. scient. Ecole norm, super.", 1900, v. 17, σελ. 21-86; Kolmogorov A.N., "Math. Ann.", 1931, Bd 104, S. 415-458; rus. Μετάφραση - "Uspekhi Matematicheskikh Nauk", 1938, αιώνας. 5, σελ. 5-41; Zhun Kai-lai, Homogeneous Markov chains, μτφρ. from English, Μ., 1964; R e 1 1 e r W., "Ann. Math.", 1954, v. 60, σελ. 417-36; Dynkin E.B., Yushkevich A.A., «Θεωρία πιθανοτήτων και οι εφαρμογές της», 1956, τ. 1, αιώνας. 1, σελ. 149-55; Xant J.-A., Markov διεργασίες και δυναμικά, μτφρ. from English, Μ., 1962; D e l l a s h e r i K., Capacities and random processes, trans. από French, Μ., 1975; Dynk and E.V., Foundations of the theory of Markov processes, M., 1959; αυτόν, Markov Processes, Μ., 1963; G and h man I. I., S k o r o x o d A. V., Theory of random processes, τ. 2, Μ., 1973; Freidlin M.I., στο βιβλίο: Results of Science. Η θεωρία πιθανοτήτων είναι ένας σημαντικός ειδικός τύπος τυχαίων διαδικασιών. Ένα παράδειγμα διαδικασίας Markov είναι η διάσπαση μιας ραδιενεργής ουσίας, όπου η πιθανότητα διάσπασης ενός δεδομένου ατόμου σε σύντομο χρονικό διάστημα δεν εξαρτάται από την πορεία της διαδικασίας στην προηγούμενη περίοδο. ... Μεγάλο Εγκυκλοπαιδικό Λεξικό

Μια διαδικασία Markov είναι μια τυχαία διαδικασία, η εξέλιξη της οποίας μετά από οποιαδήποτε δεδομένη τιμή της παραμέτρου χρόνου δεν εξαρτάται από την εξέλιξη που προηγήθηκε, με την προϋπόθεση ότι η τιμή της διαδικασίας αυτή τη στιγμή είναι σταθερή (το «μέλλον» της διαδικασίας δεν είναι ... ... Wikipedia

διαδικασία Markov- 36. Διαδικασία Markov Σημειώσεις: 1. Η υπό συνθήκη πυκνότητα πιθανότητας ονομάζεται πυκνότητα πιθανότητας της μετάβασης από την κατάσταση xn 1 τη στιγμή tn 1 στην κατάσταση xn τη στιγμή tn. Οι πυκνότητες πιθανότητας ενός αυθαίρετου... ... εκφράζονται μέσω αυτού. Λεξικό-βιβλίο αναφοράς όρων κανονιστικής και τεχνικής τεκμηρίωσης

διαδικασία Markov- Markovo processas statusas T sritis αυτόματηa atitikmenys: αγγλ. Markovprocess vok. Markovprozeß, m rus. Markov διαδικασία, m; Markov διαδικασία, m pranc. processus markovien, m … Automatikos Terminų žodynas

διαδικασία Markov- Markovo vyksmas statusas T sritis fizika atitikmenys: αγγλ. Διαδικασία Markov; Μαρκοβιανή διαδικασία vok. Markow Prozeß, m; Markowscher Prozeß, m rus. Markov διαδικασία, m; Markov διαδικασία, m pranc. processus de Markoff, m; processus marcovien, m;… … Fizikos terminų žodynas

Ένας σημαντικός ειδικός τύπος τυχαίων διαδικασιών. Ένα παράδειγμα διαδικασίας Markov είναι η διάσπαση μιας ραδιενεργής ουσίας, όπου η πιθανότητα διάσπασης ενός δεδομένου ατόμου σε σύντομο χρονικό διάστημα δεν εξαρτάται από την πορεία της διαδικασίας στην προηγούμενη περίοδο. ... εγκυκλοπαιδικό λεξικό

Ένας σημαντικός ειδικός τύπος τυχαίων διεργασιών (Βλ. τυχαία διαδικασία) που έχει μεγάλης σημασίαςσε εφαρμογές της θεωρίας πιθανοτήτων σε διάφορους κλάδους της φυσικής επιστήμης και της τεχνολογίας. Ένα παράδειγμα μαγνητικής διεργασίας είναι η διάσπαση μιας ραδιενεργής ουσίας.…… Μεγάλη Σοβιετική Εγκυκλοπαίδεια

Μια εξαιρετική ανακάλυψη στον τομέα των μαθηματικών που έγινε το 1906 από τον Ρώσο επιστήμονα A.A. Μάρκοφ.

Διάλεξη 9

διεργασίες Markov
Διάλεξη 9
διεργασίες Markov



1

διεργασίες Markov

διεργασίες Markov
Μια τυχαία διαδικασία που συμβαίνει σε ένα σύστημα ονομάζεται
Μαρκοβιανή αν δεν έχει συνέπειες. Εκείνοι.
αν λάβουμε υπόψη την τρέχουσα κατάσταση της διαδικασίας (t 0) - ως
παρόν, ένα σύνολο πιθανών καταστάσεων ( (s),s t) - ως
παρελθόν, ένα σύνολο πιθανών καταστάσεων ( (u),u t) - ως
μέλλον, στη συνέχεια για μια διαδικασία Markov για μια σταθερή
παρόν, το μέλλον δεν εξαρτάται από το παρελθόν, αλλά είναι καθορισμένο
μόνο στο παρόν και δεν εξαρτάται από το πότε και πώς το σύστημα
έφτασε σε αυτή την κατάσταση.
KHNURE, τμήμα PM, λέκτορας Kirichenko L.O.
«Θεωρία πιθανοτήτων, μαθηματική
στατιστικές και τυχαίες διαδικασίες"
2

διεργασίες Markov

διεργασίες Markov
Οι τυχαίες διεργασίες Markov πήραν το όνομά τους από τον εξαιρετικό Ρώσο μαθηματικό A.A. Markov, ο οποίος ξεκίνησε για πρώτη φορά τη μελέτη της πιθανολογικής σύνδεσης τυχαίων μεταβλητών
και δημιούργησε μια θεωρία που μπορεί να ονομαστεί «δυναμική
Πιθανότητες.» Στη συνέχεια, τα θεμέλια αυτής της θεωρίας ήταν
την αρχική βάση της γενικής θεωρίας των τυχαίων διεργασιών, καθώς και σημαντικών εφαρμοσμένων επιστημών όπως η θεωρία των διαδικασιών διάχυσης, η θεωρία αξιοπιστίας, η θεωρία ουρών κ.λπ.
KHNURE, τμήμα PM, λέκτορας Kirichenko L.O.
«Θεωρία πιθανοτήτων, μαθηματική
στατιστικές και τυχαίες διαδικασίες"
3

Markov Andrey Andreevich Markov Andrey Andreevich Markov Andrey Andreevich

διεργασίες Markov
Markov Andrey Andreevich
1856-1922
Ρώσος μαθηματικός.
Έγραψε περίπου 70 έργα
θεωρίες
αριθμούς,
θεωρίες
προσεγγίσεις συναρτήσεων, θεωρίες
πιθανότητες. Διευρύνθηκε σημαντικά το πεδίο εφαρμογής του νόμου
μεγάλα νούμερα και κεντρικά
οριακό θεώρημα. Είναι
ιδρυτής της θεωρίας των τυχαίων διεργασιών.
KHNURE, τμήμα PM, λέκτορας Kirichenko L.O.
«Θεωρία πιθανοτήτων, μαθηματική
στατιστικές και τυχαίες διαδικασίες"
4

διεργασίες Markov

διεργασίες Markov
Στην πράξη, οι διαδικασίες Markov στην καθαρή τους μορφή είναι συνήθως
δεν συναντιούνται. Αλλά υπάρχουν διαδικασίες για τις οποίες μπορεί να παραμεληθεί η επιρροή της «προϊστορίας» και κατά τη μελέτη
Για τέτοιες διαδικασίες, μπορούν να χρησιμοποιηθούν μοντέλα Markov. ΣΕ
Επί του παρόντος, η θεωρία των διαδικασιών Markov και οι εφαρμογές της χρησιμοποιούνται ευρέως σε διάφορους τομείς.
KHNURE, τμήμα PM, λέκτορας Kirichenko L.O.
«Θεωρία πιθανοτήτων, μαθηματική
στατιστικές και τυχαίες διαδικασίες"
5

διεργασίες Markov

διεργασίες Markov
Βιολογία: διαδικασίες γέννησης και θανάτου - πληθυσμοί, μεταλλάξεις,
επιδημίες.
Η φυσικη:
ραδιενεργός
φθορές,
θεωρία
μετρητές
στοιχειώδη σωματίδια, διεργασίες διάχυσης.
Χημεία:
θεωρία
ίχνη
V
πυρηνικός
φωτογαλακτώματα,
πιθανολογικά μοντέλα χημικής κινητικής.
Images.jpg
Αστρονομία: θεωρία διακυμάνσεων
φωτεινότητα του Γαλαξία.
Θεωρία ουράς: τηλεφωνικά κέντρα,
συνεργεία, εκδοτήρια εισιτηρίων, γραφεία πληροφοριών,
μηχανών και άλλων τεχνολογικών συστημάτων, συστημάτων ελέγχου
ευέλικτα συστήματα παραγωγής, επεξεργασία πληροφοριών από διακομιστές.
KHNURE, τμήμα PM, λέκτορας Kirichenko L.O.
«Θεωρία πιθανοτήτων, μαθηματική
στατιστικές και τυχαίες διαδικασίες"
6

διεργασίες Markov

διεργασίες Markov
Αφήστε το σύστημα να βρίσκεται στην τρέχουσα στιγμή t0
ορισμένη κατάσταση S0. Γνωρίζουμε τα χαρακτηριστικά
κατάσταση του συστήματος στο παρόν και όλα όσα συνέβησαν στο t< t0
(παρασκήνιο της διαδικασίας). Μπορούμε να προβλέψουμε το μέλλον,
εκείνοι. τι συμβαίνει στο t > t0;
Όχι ακριβώς, αλλά κάποια πιθανολογικά χαρακτηριστικά
διαδικασία μπορεί να βρεθεί στο μέλλον. Για παράδειγμα, η πιθανότητα ότι
ότι μετά από λίγο
το σύστημα S θα είναι σε κατάσταση
S1 ή θα παραμείνει στην κατάσταση S0, κ.λπ.
KHNURE, τμήμα PM, λέκτορας Kirichenko L.O.
«Θεωρία πιθανοτήτων, μαθηματική
στατιστικές και τυχαίες διαδικασίες"
7

διεργασίες Markov. Παράδειγμα.

διεργασίες Markov
διεργασίες Markov. Παράδειγμα.
Το System S είναι μια ομάδα αεροσκαφών που συμμετέχουν σε εναέριες μάχες. Έστω x η ποσότητα
«κόκκινα» επίπεδα, y – ο αριθμός των «μπλε» επιπέδων. Τη χρονική στιγμή t0, ο αριθμός των επιζώντων (δεν καταρρίφθηκαν) αεροσκάφη
αντίστοιχα – x0, y0.
Μας ενδιαφέρει η πιθανότητα ότι τη στιγμή του χρόνου
t 0 η αριθμητική υπεροχή θα είναι στην πλευρά των «κόκκινων». Αυτή η πιθανότητα εξαρτάται από την κατάσταση στην οποία βρισκόταν το σύστημα
τη στιγμή του χρόνου t0, και όχι για το πότε και με ποια σειρά τα αεροπλάνα καταρρίφθηκαν πριν από τη στιγμή του θανάτου t0.
KHNURE, τμήμα PM, λέκτορας Kirichenko L.O.
«Θεωρία πιθανοτήτων, μαθηματική
στατιστικές και τυχαίες διαδικασίες"
8

Διακριτές αλυσίδες Markov

διεργασίες Markov
Διακριτές αλυσίδες Markov
Διαδικασία Markov με πεπερασμένο ή μετρήσιμο αριθμό
καταστάσεις και στιγμές του χρόνου ονομάζεται διακριτές
Αλυσίδα Markov. Οι μεταβάσεις από κατάσταση σε κατάσταση είναι δυνατές μόνο σε ακέραιες χρονικές στιγμές.
KHNURE, τμήμα PM, λέκτορας Kirichenko L.O.
«Θεωρία πιθανοτήτων, μαθηματική
στατιστικές και τυχαίες διαδικασίες"
9

10. Διακριτικές αλυσίδες Markov. Παράδειγμα

διεργασίες Markov

Υποθέτω
Τι
ομιλία
ερχομός
Ο
διαδοχικές ρίψεις νομισμάτων
παιχνίδι της εκτίναξης? ένα νόμισμα ρίχνεται μέσα
υπό όρους χρονικές στιγμές t =0, 1, ... και στο
κάθε βήμα ο παίκτης μπορεί να κερδίσει ±1 δευτ
το ίδιο
πιθανότητα
1/2,
σαν αυτό
Έτσι, τη χρονική στιγμή t, το συνολικό κέρδος του είναι μια τυχαία μεταβλητή ξ(t) με πιθανές τιμές j = 0, ±1, ... .
Με την προϋπόθεση ότι ξ(t) = k, στο επόμενο βήμα η πληρωμή θα είναι
είναι ήδη ίσο με ξ(t+1) = k ± 1, λαμβάνοντας τις τιμές j = k ± 1 με την ίδια πιθανότητα 1/2. Μπορούμε να πούμε ότι εδώ, με την αντίστοιχη πιθανότητα, συμβαίνει μια μετάβαση από την κατάσταση ξ(t) = k στην κατάσταση ξ(t+1) = k ± 1.
KHNURE, τμήμα PM, λέκτορας Kirichenko L.O.
«Θεωρία πιθανοτήτων, μαθηματική
στατιστικές και τυχαίες διαδικασίες"
10

11. Διακριτικές αλυσίδες Markov

διεργασίες Markov
Διακριτές αλυσίδες Markov
Γενικεύοντας αυτό το παράδειγμα, μπορούμε να φανταστούμε ένα σύστημα με
μετρήσιμος αριθμός πιθανών καταστάσεων, οι οποίες με την πάροδο του χρόνου
ο διακριτός χρόνος t = 0, 1, ... μετακινείται τυχαία από κατάσταση σε κατάσταση.
Έστω ξ(t) η θέση του τη στιγμή t ως αποτέλεσμα μιας αλυσίδας τυχαίων μεταβάσεων
ξ(0) -> ξ(1) -> ... -> ξ(t) -> ξ(t+1) ->...-> ... .
KHNURE, τμήμα PM, λέκτορας Kirichenko L.O.
«Θεωρία πιθανοτήτων, μαθηματική
στατιστικές και τυχαίες διαδικασίες"
11

12. Διακριτικές αλυσίδες Markov

διεργασίες Markov
Διακριτές αλυσίδες Markov
Κατά την ανάλυση τυχαίων διεργασιών με διακριτές καταστάσεις, είναι βολικό να χρησιμοποιήσετε ένα γεωμετρικό σχήμα - ένα γράφημα
πολιτείες. Οι κορυφές του γραφήματος είναι οι καταστάσεις του συστήματος. Τόξα του γραφήματος
– πιθανές μεταβάσεις από κατάσταση σε κατάσταση.
Ένα παιχνίδι εκτίναξης.
KHNURE, τμήμα PM, λέκτορας Kirichenko L.O.
«Θεωρία πιθανοτήτων, μαθηματική
στατιστικές και τυχαίες διαδικασίες"
12

13. Διακριτές αλυσίδες Markov

διεργασίες Markov
Διακριτές αλυσίδες Markov
Ας υποδηλώσουμε όλες τις πιθανές καταστάσεις με ακέραιους αριθμούς i = 0, ±1, ...
Ας υποθέσουμε ότι για μια γνωστή κατάσταση ξ(t) =i, στο επόμενο βήμα το σύστημα πηγαίνει στην κατάσταση ξ(t+1) = j με πιθανότητα υπό όρους
P( (t 1) j (t) i)
ανεξάρτητα από τη συμπεριφορά της στο παρελθόν, ή μάλλον, ανεξάρτητα
από την αλυσίδα των μεταβάσεων στη στιγμή t:
P( (t 1) j (t) i; (t 1) it 1;...; (0) i0 )
P( (t 1) j (t) i)
Αυτή η ιδιοκτησία ονομάζεται Markovian.
KHNURE, τμήμα PM, λέκτορας Kirichenko L.O.
«Θεωρία πιθανοτήτων, μαθηματική
στατιστικές και τυχαίες διαδικασίες"
13

14. Διακριτικές αλυσίδες Markov

διεργασίες Markov
Διακριτές αλυσίδες Markov
Αριθμός
pij P( (t 1) j (t) i)
που ονομάζεται πιθανότητα
μετάβαση του συστήματος από την κατάσταση i στην κατάσταση j με ένα βήμα μέσα
χρόνος t 1.
Εάν η πιθανότητα μετάβασης δεν εξαρτάται από το t, τότε το κύκλωμα
Ο Markov ονομάζεται ομοιογενής.
KHNURE, τμήμα PM, λέκτορας Kirichenko L.O.
«Θεωρία πιθανοτήτων, μαθηματική
στατιστικές και τυχαίες διαδικασίες"
14

15. Διακριτικές αλυσίδες Markov

διεργασίες Markov
Διακριτές αλυσίδες Markov
Πίνακας P, του οποίου τα στοιχεία είναι οι πιθανότητες
η μετάβαση pij ονομάζεται πίνακας μετάβασης:
p11...p1n
P p 21 ... p 2n
Π
n1...pnn
Είναι στοχαστική, δηλ.
pij 1 ;
Εγώ
KHNURE, τμήμα PM, λέκτορας Kirichenko L.O.
«Θεωρία πιθανοτήτων, μαθηματική
στατιστικές και τυχαίες διαδικασίες"
p ij 0 .
15

16. Διακριτικές αλυσίδες Markov. Παράδειγμα

διεργασίες Markov
Διακριτές αλυσίδες Markov. Παράδειγμα
Μήτρα μετάβασης για το παιχνίδι εκτίναξης
...
κ 2
κ 2
0
κ 1
1/ 2
κ
0
κ 1
κ
κ 1
κ 2
0
1/ 2
0
0
1/ 2
0
1/ 2
0
1/ 2
0
0
0
KHNURE, τμήμα PM, λέκτορας Kirichenko L.O.
«Θεωρία πιθανοτήτων, μαθηματική
στατιστικές και τυχαίες διαδικασίες"
...
k 1 k 2
0
0
0
1/ 2
0
1/ 2
...
0
0
1/ 2
0
16

17. Διακριτικές αλυσίδες Markov. Παράδειγμα

διεργασίες Markov
Διακριτές αλυσίδες Markov. Παράδειγμα
Ως αποτέλεσμα μιας χημικής ανάλυσης του εδάφους, ο κηπουρός αξιολογεί
Η κατάστασή του είναι ένας από τους τρεις αριθμούς - καλός (1), ικανοποιητικός (2) ή κακός (3). Ως αποτέλεσμα των παρατηρήσεων πολλών ετών, ο κηπουρός παρατήρησε
ότι η παραγωγικότητα του εδάφους στο ρεύμα
έτος εξαρτάται μόνο από την κατάστασή του σε
προηγούμενο έτος. Επομένως οι πιθανότητες
μετάβαση του εδάφους από μια κατάσταση σε
ένα άλλο μπορεί να αναπαρασταθεί ως εξής
Αλυσίδα Markov με μήτρα P1:
0.20 0.50 0.30
0.00 0.50 0.50
0.00 0.00 1.00
KHNURE, τμήμα PM, λέκτορας Kirichenko L.O.
«Θεωρία πιθανοτήτων, μαθηματική
στατιστικές και τυχαίες διαδικασίες"
17

18. Διακριτικές αλυσίδες Markov. Παράδειγμα

διεργασίες Markov
Διακριτές αλυσίδες Markov. Παράδειγμα
Ωστόσο, ως αποτέλεσμα των γεωργικών πρακτικών, ο κηπουρός μπορεί να αλλάξει τις πιθανότητες μετάβασης στον πίνακα P1.
Στη συνέχεια, ο πίνακας P1 θα αντικατασταθεί
στον πίνακα P2:
0.30 0.60 0.10
0.10 0.60 0.30
0.05 0.40 0.55
KHNURE, τμήμα PM, λέκτορας Kirichenko L.O.
«Θεωρία πιθανοτήτων, μαθηματική
στατιστικές και τυχαίες διαδικασίες"
18

19. Διακριτικές αλυσίδες Markov

διεργασίες Markov
Διακριτές αλυσίδες Markov
Ας εξετάσουμε πώς αλλάζουν οι καταστάσεις διαδικασίας με την πάροδο του χρόνου. Θα εξετάσουμε τη διαδικασία σε διαδοχικές χρονικές στιγμές, ξεκινώντας από τη στιγμή 0. Ας ορίσουμε την αρχική κατανομή πιθανότητας p(0) ( p1 (0),..., pm (0)), όπου m είναι ο αριθμός των καταστάσεων της διαδικασίας, το pi (0) είναι η πιθανότητα εύρεσης
διαδικασία στην κατάσταση i την αρχική χρονική στιγμή. Η πιθανότητα pi(n) ονομάζεται άνευ όρων πιθανότητα της κατάστασης
εγώ τη στιγμή ν 1.
Οι συνιστώσες του διανύσματος p (n) δείχνουν ποιες από τις πιθανές καταστάσεις του κυκλώματος τη στιγμή n είναι οι περισσότερες
πιθανός.
Μ
KHNURE, τμήμα PM, λέκτορας Kirichenko L.O.
«Θεωρία πιθανοτήτων, μαθηματική
στατιστικές και τυχαίες διαδικασίες"
pk(n) 1
κ 1
19

20. Διακριτικές αλυσίδες Markov

διεργασίες Markov
Διακριτές αλυσίδες Markov
Γνωρίζοντας την ακολουθία ( p (n)) για το n 1,... σας επιτρέπει να πάρετε μια ιδέα για τη συμπεριφορά του συστήματος με την πάροδο του χρόνου.
Σε σύστημα 3 κρατών
p11 p12 p13
P p21
Π
31
σελ22
σελ32
σελ23
σελ33
p2 (1) p1 (0) p12 p2 (0) p22 p3 (0) p32
p2 (n 1) p1 (n) p12 p2 (n) p22 p3 (n) p32
Γενικά:
p j (1) pk (0) pkj
p j (n 1) pk (n) pkj
κ
KHNURE, τμήμα PM, λέκτορας Kirichenko L.O.
«Θεωρία πιθανοτήτων, μαθηματική
στατιστικές και τυχαίες διαδικασίες"
κ
p(n 1) p(n) P
20

21. Διακριτικές αλυσίδες Markov. Παράδειγμα

διεργασίες Markov
Διακριτές αλυσίδες Markov. Παράδειγμα
Μήτρα
0.20 0.50 0.30
0.00 0.50 0.50
0.00 0.00 1.00
Βήμα
(p(n))
n
0
1, 0, 0
n
1
0.2 , 0.5 , 0.3
n
2
0.04 , 0.35 , 0.61
n
3
0.008 , 0.195 , 0.797
n
4
0.0016 , 0.1015 , 0.8969
KHNURE, τμήμα PM, λέκτορας Kirichenko L.O.
«Θεωρία πιθανοτήτων, μαθηματική
στατιστικές και τυχαίες διαδικασίες"
21

22. Διακριτικές αλυσίδες Markov

διεργασίες Markov
Διακριτές αλυσίδες Markov
n
Πίνακας μετάβασης για n βήματα P(n) P .
0.20 0.50 0.30
0.00 0.50 0.50
0.00 0.00 1.00
p(2) p(0) P
2
p(2)
Ρ(2) Ρ2
1, 0, 0
0.0016
0.
0.
0.0016
0.
0.
0.1015
0.0625
0.
0.1015
0.0625
0.
0.8969
0.9375
1.
0.8969
0.9375
1.
0.04 , 0.35 , 0.61
KHNURE, τμήμα PM, λέκτορας Kirichenko L.O.
«Θεωρία πιθανοτήτων, μαθηματική
στατιστικές και τυχαίες διαδικασίες"
22

23. Διακριτικές αλυσίδες Markov

διεργασίες Markov
Διακριτές αλυσίδες Markov
Πώς συμπεριφέρονται οι αλυσίδες Markov για το n;
Για μια ομοιογενή αλυσίδα Markov, υπό ορισμένες συνθήκες, ισχύει η ακόλουθη ιδιότητα: p (n) για n.
Οι πιθανότητες 0 δεν εξαρτώνται από την αρχική κατανομή
p(0) , και προσδιορίζονται μόνο από τον πίνακα P . Σε αυτή την περίπτωση, ονομάζεται σταθερή κατανομή και η ίδια η αλυσίδα ονομάζεται εργοδοτική. Η ιδιότητα εργοδοτικότητας σημαίνει ότι όσο το n αυξάνεται
η πιθανότητα των καταστάσεων πρακτικά παύει να αλλάζει και το σύστημα περνά σε σταθερό τρόπο λειτουργίας.
Εγώ
KHNURE, τμήμα PM, λέκτορας Kirichenko L.O.
«Θεωρία πιθανοτήτων, μαθηματική
στατιστικές και τυχαίες διαδικασίες"
23

24. Διακριτικές αλυσίδες Markov. Παράδειγμα

διεργασίες Markov
Διακριτές αλυσίδες Markov. Παράδειγμα
0.20 0.50 0.30
0.00 0.50 0.50
0.00 0.00 1.00
0 0 1
P() 0 0 1
0 0 1
KHNURE, τμήμα PM, λέκτορας Kirichenko L.O.
«Θεωρία πιθανοτήτων, μαθηματική
στατιστικές και τυχαίες διαδικασίες"
p()(0,0,1)
24

25. Διακριτικές αλυσίδες Markov. Παράδειγμα

διεργασίες Markov
Διακριτές αλυσίδες Markov. Παράδειγμα
0.30 0.60 0.10
0.10 0.60 0.30
0.05 0.40 0.55
0.1017 0.5254 0.3729
P() 0,1017 0,5254 0,3729
0.1017 0.5254 0.3729
p() (0,1017,0,5254,0,3729)
KHNURE, τμήμα PM, λέκτορας Kirichenko L.O.
«Θεωρία πιθανοτήτων, μαθηματική
στατιστικές και τυχαίες διαδικασίες"
25

26. Ο Μάρκοφ επεξεργάζεται με συνεχή χρόνο

διεργασίες Markov

Μια διαδικασία ονομάζεται διαδικασία συνεχούς χρόνου αν
οι στιγμές των πιθανών μεταβάσεων από κατάσταση σε κατάσταση δεν είναι καθορισμένες εκ των προτέρων, αλλά είναι αβέβαιες, τυχαίες και μπορούν να συμβούν
οποτεδήποτε.
Παράδειγμα. Το τεχνολογικό σύστημα S αποτελείται από δύο συσκευές,
καθένα από τα οποία σε μια τυχαία χρονική στιγμή μπορεί να βγει
κτίριο, μετά το οποίο ξεκινά αμέσως η επισκευή της μονάδας, συνεχίζοντας επίσης για άγνωστο, τυχαίο χρόνο.
Είναι δυνατές οι ακόλουθες καταστάσεις συστήματος:
S0 - και οι δύο συσκευές λειτουργούν.
S1 - η πρώτη συσκευή επισκευάζεται, η δεύτερη λειτουργεί σωστά.
S2 - η δεύτερη συσκευή επισκευάζεται, η πρώτη λειτουργεί σωστά.
S3 - και οι δύο συσκευές επισκευάζονται.
KHNURE, τμήμα PM, λέκτορας Kirichenko L.O.
«Θεωρία πιθανοτήτων, μαθηματική
στατιστικές και τυχαίες διαδικασίες"
26

27. Ο Μάρκοφ επεξεργάζεται με συνεχή χρόνο

διεργασίες Markov
Διαδικασίες Markov συνεχούς χρόνου
Γίνονται μεταβάσεις του συστήματος S από κατάσταση σε κατάσταση
σχεδόν αμέσως, σε τυχαίες στιγμές αποτυχίας
μια ή την άλλη συσκευή ή
ολοκλήρωση των επισκευών.
Η πιθανότητα ταυτόχρονης
αποτυχία και των δύο συσκευών
μπορεί να παραμεληθεί.
KHNURE, τμήμα PM, λέκτορας Kirichenko L.O.
«Θεωρία πιθανοτήτων, μαθηματική
στατιστικές και τυχαίες διαδικασίες"
27

28. Ροές εκδηλώσεων

διεργασίες Markov
Ροές συμβάντων
Μια ροή γεγονότων είναι μια ακολουθία ομοιογενών γεγονότων που ακολουθούν το ένα μετά το άλλο σε ορισμένες τυχαίες χρονικές στιγμές.
είναι ο μέσος αριθμός γεγονότων
Ένταση ροής συμβάντος
ανά μονάδα χρόνου.
KHNURE, τμήμα PM, λέκτορας Kirichenko L.O.
«Θεωρία πιθανοτήτων, μαθηματική
στατιστικές και τυχαίες διαδικασίες"
28

29. Ροές εκδηλώσεων

διεργασίες Markov
Ροές συμβάντων
Μια ροή γεγονότων ονομάζεται ακίνητη εάν τα πιθανολογικά χαρακτηριστικά της δεν εξαρτώνται από το χρόνο.
Ειδικότερα, η ένταση
η σταθερή ροή είναι σταθερή. Η ροή των γεγονότων έχει αναπόφευκτα συμπυκνώσεις ή σπάνιες, αλλά δεν είναι κανονικής φύσης και ο μέσος αριθμός γεγονότων ανά μονάδα χρόνου είναι σταθερός και δεν εξαρτάται από το χρόνο.
KHNURE, τμήμα PM, λέκτορας Kirichenko L.O.
«Θεωρία πιθανοτήτων, μαθηματική
στατιστικές και τυχαίες διαδικασίες"
29

30. Ροές εκδηλώσεων

διεργασίες Markov
Ροές συμβάντων
Μια ροή γεγονότων ονομάζεται ροή χωρίς συνέπειες
οποιεσδήποτε δύο μη επικαλυπτόμενες χρονικές περίοδοι και ο αριθμός των γεγονότων που εμπίπτουν στη μία από αυτές δεν εξαρτάται από τον αριθμό των συμβάντων στην άλλη. Με άλλα λόγια, αυτό σημαίνει ότι τα γεγονότα που σχηματίζουν τη ροή εμφανίζονται σε συγκεκριμένες στιγμές
χρόνο ανεξάρτητα ο ένας από τον άλλο και ο καθένας προκαλείται από τους δικούς του λόγους.
Μια ροή γεγονότων ονομάζεται συνηθισμένη εάν η πιθανότητα εμφάνισης δύο ή περισσότερων γεγονότων σε ένα στοιχειώδες τμήμα t είναι αμελητέα σε σύγκριση με την πιθανότητα εμφάνισης ενός
γεγονότα, δηλ. Τα γεγονότα εμφανίζονται σε αυτό ένα προς ένα, και όχι σε ομάδες πολλών ταυτόχρονα
KHNURE, τμήμα PM, λέκτορας Kirichenko L.O.
«Θεωρία πιθανοτήτων, μαθηματική
στατιστικές και τυχαίες διαδικασίες"
30

31. Ροές εκδηλώσεων

διεργασίες Markov
Ροές συμβάντων
Μια ροή γεγονότων ονομάζεται η απλούστερη (ή ακίνητη Poisson) εάν έχει τρεις ιδιότητες ταυτόχρονα: 1) ακίνητη, 2) συνηθισμένη, 3) δεν έχει συνέπειες.
Η απλούστερη ροή έχει την απλούστερη μαθηματική περιγραφή. Παίζει ανάμεσα στα ρέματα το ίδιο σπέσιαλ
ρόλο, όπως ο νόμος κανονική κατανομήμεταξύ των άλλων
νόμους διανομής. Δηλαδή, όταν υπερτίθεται ένας αρκετά μεγάλος αριθμός ανεξάρτητων, ακίνητων και συνηθισμένων
ροές (συγκρίσιμες μεταξύ τους σε ένταση), το αποτέλεσμα είναι μια ροή κοντά στην απλούστερη.
KHNURE, τμήμα PM, λέκτορας Kirichenko L.O.
«Θεωρία πιθανοτήτων, μαθηματική
στατιστικές και τυχαίες διαδικασίες"
31

32. Ροές εκδηλώσεων

διεργασίες Markov
Ροές συμβάντων
Για την πιο απλή ροή με ένταση
διάστημα
Ο χρόνος T μεταξύ γειτονικών γεγονότων έχει εκθετικό
κατανομή με πυκνότητα
p(x) e x, x 0 .
Για τυχαία μεταβλητή T, που έχει εκθετική κατανομή, η μαθηματική προσδοκία είναι το αντίστροφο της παραμέτρου.
KHNURE, τμήμα PM, λέκτορας Kirichenko L.O.
«Θεωρία πιθανοτήτων, μαθηματική
στατιστικές και τυχαίες διαδικασίες"
32

33. Ο Μάρκοφ επεξεργάζεται με συνεχή χρόνο

διεργασίες Markov
Διαδικασίες Markov συνεχούς χρόνου
Λαμβάνοντας υπόψη διαδικασίες με διακριτές καταστάσεις και συνεχή χρόνο, μπορούμε να υποθέσουμε ότι όλες οι μεταβάσεις του συστήματος S από κατάσταση σε κατάσταση πραγματοποιούνται υπό την επίδραση
απλές ροές γεγονότων (ροές κλήσεων, ροές αποτυχίας, ροές ανάκτησης κ.λπ.).
Εάν όλες οι ροές γεγονότων που μεταφέρουν το σύστημα S από κατάσταση σε κατάσταση είναι απλούστερες, τότε η διαδικασία εμφανίζεται μέσα
το σύστημα θα είναι Μαρκοβιανό.
KHNURE, τμήμα PM, λέκτορας Kirichenko L.O.
«Θεωρία πιθανοτήτων, μαθηματική
στατιστικές και τυχαίες διαδικασίες"
33

34. Ο Μάρκοφ επεξεργάζεται με συνεχή χρόνο

διεργασίες Markov
Διαδικασίες Markov συνεχούς χρόνου
Αφήστε το σύστημα στο κράτος να ενεργείται από
η απλούστερη ροή των γεγονότων. Μόλις εμφανιστεί το πρώτο γεγονός αυτής της ροής, το σύστημα «πηδά» από την κατάσταση
σε κατάσταση.
- την ένταση της ροής των γεγονότων που μεταφέρουν το σύστημα
από το κράτος
KHNURE, τμήμα PM, λέκτορας Kirichenko L.O.
«Θεωρία πιθανοτήτων, μαθηματική
στατιστικές και τυχαίες διαδικασίες"
V
.
34

35. Ο Μάρκοφ επεξεργάζεται με συνεχή χρόνο

διεργασίες Markov
Διαδικασίες Markov συνεχούς χρόνου
Έστω το σύστημα S που εξετάζουμε
πιθανά κράτη
. Πιθανότητα p ij (t) είναι η πιθανότητα μετάβασης από την κατάσταση i στην κατάσταση j σε χρόνο t.
Πιθανότητα της i -ης κατάστασης
είναι η πιθανότητα ότι
ότι τη στιγμή t το σύστημα θα είναι σε κατάσταση
. Προφανώς, ανά πάσα στιγμή το ποσό
από όλες τις πιθανότητες κατάστασης ισούται με μία:
KHNURE, τμήμα PM, λέκτορας Kirichenko L.O.
«Θεωρία πιθανοτήτων, μαθηματική
στατιστικές και τυχαίες διαδικασίες"
35

36. Ο Μάρκοφ επεξεργάζεται με συνεχή χρόνο

διεργασίες Markov
Διαδικασίες Markov συνεχούς χρόνου
Για να βρείτε όλες τις πιθανότητες κατάστασης
Πως
συναρτήσεις του χρόνου, συντάσσονται και λύνονται διαφορικές εξισώσεις Kolmogorov - ένας ειδικός τύπος εξίσωσης στην οποία οι άγνωστες συναρτήσεις είναι οι πιθανότητες των καταστάσεων.
Για πιθανότητες μετάβασης:
p ij (t) p ik (t) kj
κ
Για άνευ όρων πιθανότητες:
p j (t) p k (t) kj
κ
KHNURE, τμήμα PM, λέκτορας Kirichenko L.O.
«Θεωρία πιθανοτήτων, μαθηματική
στατιστικές και τυχαίες διαδικασίες"
36

37. Κολμογκόροφ Αντρέι Νικολάεβιτς

διεργασίες Markov
Κολμογκόροφ Αντρέι Νικολάεβιτς
1903-1987
Μεγάλη Ρωσική
μαθηματικός.
KHNURE, τμήμα PM, λέκτορας Kirichenko L.O.
«Θεωρία πιθανοτήτων, μαθηματική
στατιστικές και τυχαίες διαδικασίες"
37

38. Ο Μάρκοφ επεξεργάζεται με συνεχή χρόνο

διεργασίες Markov
Διαδικασίες Markov συνεχούς χρόνου
- ένταση ροής αστοχίας.
- ένταση ροής ανάκτησης.
Ας είναι το σύστημα στο κράτος
S0. Μεταφέρεται στην κατάσταση S1 από τη ροή
αστοχίες της πρώτης συσκευής. Η έντασή του είναι
Οπου
- μέσος χρόνος λειτουργίας της συσκευής.
Το σύστημα μεταφέρεται από την κατάσταση S1 στο S0 με τη ροή των αποκαταστάσεων
πρώτη συσκευή. Η έντασή του είναι
Οπου
- μέσος χρόνος επισκευής του πρώτου μηχανήματος.
Οι εντάσεις των ροών γεγονότων που μεταφέρουν το σύστημα κατά μήκος όλων των τόξων του γραφήματος υπολογίζονται με παρόμοιο τρόπο.
KHNURE, τμήμα PM, λέκτορας Kirichenko L.O.
«Θεωρία πιθανοτήτων, μαθηματική
στατιστικές και τυχαίες διαδικασίες"
38

39. Συστήματα ουράς

διεργασίες Markov

Παραδείγματα συστημάτων υπηρεσιών ουράς (QS): τηλεφωνικά κέντρα, συνεργεία επισκευής,
εισιτήριο
ταμειακές μηχανές,
αναφορά
το γραφείο,
εργαλειομηχανές και άλλα τεχνολογικά συστήματα,
συστήματα
διαχείριση
εύκαμπτος
συστήματα παραγωγής,
επεξεργασία πληροφοριών από διακομιστές κ.λπ.
KHNURE, τμήμα PM, λέκτορας Kirichenko L.O.
«Θεωρία πιθανοτήτων, μαθηματική
στατιστικές και τυχαίες διαδικασίες"
39

40. Συστήματα ουράς

διεργασίες Markov
Συστήματα ουράς
Το QS αποτελείται από έναν ορισμένο αριθμό μερίδων
μονάδες που ονομάζονται κανάλια εξυπηρέτησης (αυτά είναι
μηχανήματα, ρομπότ, γραμμές επικοινωνίας, ταμίες κ.λπ.). Οποιοσδήποτε SMO
έχει σχεδιαστεί για να εξυπηρετεί τη ροή των εφαρμογών (απαιτήσεων) που φτάνουν σε τυχαίους χρόνους.
Η εξυπηρέτηση του αιτήματος συνεχίζεται για έναν τυχαίο χρόνο, μετά τον οποίο το κανάλι ελευθερώνεται και είναι έτοιμο να λάβει το επόμενο
εφαρμογές.
KHNURE, τμήμα PM, λέκτορας Kirichenko L.O.
«Θεωρία πιθανοτήτων, μαθηματική
στατιστικές και τυχαίες διαδικασίες"
40

41. Συστήματα ουράς

διεργασίες Markov
Συστήματα ουράς
Η διαδικασία λειτουργίας QS είναι μια τυχαία διαδικασία με διακριτές
καταστάσεις και συνεχής χρόνος. Η κατάσταση του QS αλλάζει απότομα τις στιγμές που συμβαίνουν κάποια γεγονότα
(άφιξη νέου αιτήματος, λήξη υπηρεσίας, στιγμή,
όταν μια εφαρμογή που έχει βαρεθεί να περιμένει φεύγει από την ουρά).
KHNURE, τμήμα PM, λέκτορας Kirichenko L.O.
«Θεωρία πιθανοτήτων, μαθηματική
στατιστικές και τυχαίες διαδικασίες"
41

42. Συστήματα ουράς

διεργασίες Markov
Συστήματα ουράς
Ταξινόμηση συστημάτων αναμονής
1. QS με αστοχίες.
2. Ουρά με ουρά.
Σε ένα QS με αρνήσεις, μια αίτηση που λαμβάνεται τη στιγμή που όλα τα κανάλια είναι απασχολημένα λαμβάνει μια άρνηση, εγκαταλείπει το QS και δεν είναι πλέον
σερβίρεται.
Σε ένα QS με ουρά, ένα αίτημα που φτάνει σε μια στιγμή που όλα τα κανάλια είναι απασχολημένα δεν φεύγει, αλλά μπαίνει στην ουρά και περιμένει την ευκαιρία να εξυπηρετηθεί.
Τα QS με ουρές χωρίζονται σε ΔΙΑΦΟΡΕΤΙΚΟΙ ΤΥΠΟΙσε συνάρτηση
εξαρτάται από το πώς είναι οργανωμένη η ουρά - περιορισμένη ή απεριόριστη. Οι περιορισμοί ενδέχεται να ισχύουν τόσο για τη διάρκεια όσο και για το χρόνο της ουράς
προσδοκίες, «πειθαρχία υπηρεσιών».
KHNURE, τμήμα PM, λέκτορας Kirichenko L.O.
«Θεωρία πιθανοτήτων, μαθηματική
στατιστικές και τυχαίες διαδικασίες"
42

43. Συστήματα ουράς

διεργασίες Markov
Συστήματα ουράς
Το αντικείμενο της θεωρίας της ουράς είναι η κατασκευή
μαθηματικά μοντέλα που συνδέουν δεδομένες συνθήκες
λειτουργία του QS (αριθμός καναλιών, απόδοσή τους, κανόνες
εργασία, η φύση της ροής των εφαρμογών) με τα χαρακτηριστικά που μας ενδιαφέρουν – δείκτες αποτελεσματικότητας του QS. Αυτοί οι δείκτες περιγράφουν την ικανότητα του QS να αντιμετωπίσει τη ροή
εφαρμογές. Μπορούν να είναι: ο μέσος αριθμός αιτήσεων που εξυπηρετούνται από το QS ανά μονάδα χρόνου. μέσος αριθμός απασχολημένων καναλιών. μέσος αριθμός εφαρμογών στην ουρά. μέσος χρόνος αναμονής για εξυπηρέτηση κ.λπ.
KHNURE, τμήμα PM, λέκτορας Kirichenko L.O.
«Θεωρία πιθανοτήτων, μαθηματική
στατιστικές και τυχαίες διαδικασίες"
43

44.

ΕΥΧΑΡΙΣΤΩ
ΓΙΑ ΠΡΟΣΟΧΗ!!!
44

45. Κατασκευάστε ένα γράφημα μετάβασης

διεργασίες Markov
Δημιουργήστε ένα γράφημα μετάβασης
0.30
0.70
0.0
0.10
0.60
0.30
0.50
0.50
0.0
KHNURE, τμήμα PM, λέκτορας Kirichenko L.O.
«Θεωρία πιθανοτήτων, μαθηματική
στατιστικές και τυχαίες διαδικασίες"

Το σύστημα ουράς χαρακτηρίζεται από μια τυχαία διαδικασία. Η μελέτη μιας τυχαίας διεργασίας που συμβαίνει σε ένα σύστημα και η μαθηματική έκφρασή της είναι το αντικείμενο της θεωρίας της ουράς.

Η μαθηματική ανάλυση της λειτουργίας ενός συστήματος αναμονής διευκολύνεται σημαντικά εάν η τυχαία διαδικασία αυτής της λειτουργίας είναι Μαρκόφσκι. Μια διεργασία που συμβαίνει σε ένα σύστημα ονομάζεται Μαρκοβιανή εάν σε οποιαδήποτε χρονική στιγμή η πιθανότητα οποιασδήποτε κατάστασης του συστήματος στο μέλλον εξαρτάται μόνο από την κατάσταση του συστήματος στο αυτή τη στιγμήκαι δεν εξαρτάται από το πώς το σύστημα έφτασε σε αυτήν την κατάσταση. Κατά την έρευνα οικονομικά συστήματαΟι τυχαίες διεργασίες Markov με διακριτές και συνεχείς καταστάσεις χρησιμοποιούνται ευρέως.

Η τυχαία διαδικασία ονομάζεται διαδικασία με διακριτές καταστάσεις, εάν όλες οι πιθανές καταστάσεις μπορούν να παρατίθενται εκ των προτέρων, και η ίδια η διαδικασία συνίσταται στο γεγονός ότι από καιρό σε καιρό το σύστημα μεταπηδά από τη μια κατάσταση στην άλλη.

Η τυχαία διαδικασία ονομάζεται διαδικασία με συνεχή κατάσταση, εάν χαρακτηρίζεται από ομαλή, σταδιακή μετάβαση από κατάσταση σε κατάσταση.

Μπορούμε επίσης να διακρίνουμε τις διαδικασίες Markov με διακεκριμένος Και συνεχόμενος χρόνος. Στην πρώτη περίπτωση, οι μεταβάσεις του συστήματος από τη μια κατάσταση στην άλλη είναι δυνατές μόνο σε αυστηρά καθορισμένες, προκαθορισμένες χρονικές στιγμές. Στη δεύτερη περίπτωση, η μετάβαση του συστήματος από κατάσταση σε κατάσταση είναι δυνατή σε οποιαδήποτε προηγουμένως άγνωστη, τυχαία στιγμή. Εάν η πιθανότητα μετάβασης δεν εξαρτάται από το χρόνο, τότε καλείται η διαδικασία Markov ομοιογενής.

Στη μελέτη των συστημάτων ουράς, οι τυχαίες διεργασίες Markov με διακριτές καταστάσεις και συνεχή χρόνο έχουν μεγάλη σημασία.

Η μελέτη των διαδικασιών Markov καταλήγει στη μελέτη των πινάκων πιθανότητας μετάβασης (). Κάθε στοιχείο ενός τέτοιου πίνακα (ροή συμβάντος) αντιπροσωπεύει την πιθανότητα μετάβασης από μια δεδομένη κατάσταση (που αντιστοιχεί σε μια γραμμή) στην επόμενη κατάσταση (που αντιστοιχεί σε μια στήλη). Αυτός ο πίνακας παρέχει όλες τις πιθανές μεταβάσεις ενός δεδομένου συνόλου καταστάσεων. Κατά συνέπεια, οι διαδικασίες που μπορούν να περιγραφούν και να μοντελοποιηθούν χρησιμοποιώντας πίνακες πιθανότητας μετάβασης πρέπει να έχουν μια εξάρτηση της πιθανότητας μιας συγκεκριμένης κατάστασης από την αμέσως προηγούμενη κατάσταση. Έτσι παρατάσσεται Αλυσίδα Markov. Σε αυτή την περίπτωση, μια αλυσίδα Markov πρώτης τάξης είναι μια διαδικασία για την οποία κάθε συγκεκριμένη κατάσταση εξαρτάται μόνο από την προηγούμενη κατάστασή της. Μια αλυσίδα Markov δεύτερης και ανώτερης τάξης είναι μια διαδικασία στην οποία η τρέχουσα κατάσταση εξαρτάται από δύο ή περισσότερες προηγούμενες.

Ακολουθούν δύο παραδείγματα πινάκων πιθανότητας μετάβασης.

Οι πίνακες πιθανοτήτων μετάβασης μπορούν να αναπαρασταθούν με γραφήματα κατάστασης μετάβασης, όπως φαίνεται στο σχήμα.

Παράδειγμα

Η εταιρεία παράγει ένα προϊόν που έχει κορεστεί την αγορά. Εάν μια επιχείρηση πραγματοποιήσει κέρδος (P) από την πώληση ενός προϊόντος τον τρέχοντα μήνα, τότε με πιθανότητα 0,7 θα λάβει κέρδος τον επόμενο μήνα και με πιθανότητα 0,3 - ζημιά. Εάν τον τρέχοντα μήνα μια επιχείρηση λάβει ζημία (L), τότε με πιθανότητα 0,4 τον επόμενο μήνα θα λάβει κέρδος και με πιθανότητα 0,6 - ζημιά (εκτιμήσεις πιθανότητας λήφθηκαν ως αποτέλεσμα έρευνας των ειδικών). Υπολογίστε την πιθανολογική εκτίμηση της λήψης κέρδους από την πώληση αγαθών μετά από δύο μήνες λειτουργίας της επιχείρησης.

Σε μορφή πίνακα, αυτές οι πληροφορίες θα εκφράζονται ως εξής (αντιστοιχούν στο παράδειγμα μήτρας 1):

Πρώτη επανάληψη – κατασκευή μήτρας μεταβάσεων δύο σταδίων.

Εάν μια εταιρεία πραγματοποιήσει κέρδη τον τρέχοντα μήνα, τότε η πιθανότητα να πραγματοποιήσει ξανά κέρδη τον επόμενο μήνα είναι ίση με

Εάν μια εταιρεία πραγματοποιήσει κέρδη τον τρέχοντα μήνα, τότε η πιθανότητα να κάνει ζημιά τον επόμενο μήνα είναι ίση με

Εάν μια εταιρεία κάνει ζημιά τον τρέχοντα μήνα, τότε η πιθανότητα να πραγματοποιήσει κέρδη τον επόμενο μήνα είναι ίση με

Εάν μια εταιρεία κάνει ζημιά τον τρέχοντα μήνα, τότε η πιθανότητα να κάνει ξανά ζημιά τον επόμενο μήνα είναι ίση με

Ως αποτέλεσμα των υπολογισμών, λαμβάνουμε έναν πίνακα μεταβάσεων δύο σταδίων:

Το αποτέλεσμα επιτυγχάνεται πολλαπλασιάζοντας τον πίνακα m με έναν πίνακα με τις ίδιες τιμές πιθανότητας:

Για να εκτελέσετε αυτές τις διαδικασίες στο Excel, πρέπει να εκτελέσετε τα ακόλουθα βήματα:

• 1) σχηματίστε μια μήτρα.
• 2) καλέστε τη συνάρτηση MULTIPLE.
• 3) υποδείξτε τον πρώτο πίνακα - έναν πίνακα.
• 4) υποδεικνύουν τον δεύτερο πίνακα (τον ίδιο πίνακα ή άλλο).
• 5) ΟΚ?
• 6) επιλέξτε τη ζώνη του νέου πίνακα.
• 7) F2;
• 8) Ctrl+Shift+Enter.
• 9) λάβετε μια νέα μήτρα.

Δεύτερη επανάληψη – κατασκευή μήτρας μεταβάσεων τριών σταδίων. Ομοίως, υπολογίζονται οι πιθανότητες απόκτησης κέρδους ή ζημίας στο επόμενο βήμα και υπολογίζεται ο πίνακας μεταβάσεων τριών σταδίων, έχει την ακόλουθη μορφή:

Έτσι, στους επόμενους δύο μήνες λειτουργίας της επιχείρησης, η πιθανότητα να πραγματοποιηθεί κέρδος από την κυκλοφορία ενός προϊόντος είναι μεγαλύτερη από την πιθανότητα να λάβεις ζημιά. Ωστόσο, πρέπει να σημειωθεί ότι η πιθανότητα κέρδους μειώνεται, επομένως η εταιρεία πρέπει να αναπτύξει ένα νέο προϊόν που θα αντικαταστήσει το προϊόν που παράγεται.

Τυχαία διαδικασία Χ(t), χτύπημαπου ονομάζεται Μαρκόφσκι,εάν υπάρχει t l< t 2< ... < tn,που ανήκουν στην περιοχή Τ,συνάρτηση υπό όρους κατανομής μιας τυχαίας μεταβλητής X(tn)σε σχέση με το X(t 1), . . ., X(tn -1)συμπίπτει με τη συνάρτηση κατανομής υπό όρους X(tn)σχετικά X(tn -1)με την έννοια ότι για κάθε x n ΟX η ισότητα

Εξέταση του ορισμού (3.1.1) για διαδοχική αύξηση nμας επιτρέπει να καθορίσουμε ότι για τις τυχαίες διεργασίες Markov η συνάρτηση κατανομής n διαστάσεων μπορεί να αναπαρασταθεί ως

Ομοίως, η ιδιότητα Markov (3.1.1), (3.1.2) μπορεί να γραφτεί για πυκνότητες πιθανότητας

Έτσι, για μια διαδικασία Markov η συνάρτηση κατανομής ή η πυκνότητα πιθανότητας οποιασδήποτε διάστασης nμπορεί να βρεθεί εάν η μονοδιάστατη πυκνότητα πιθανοτήτων του είναι γνωστή στο t = t 1και μια ακολουθία πυκνοτήτων υπό όρους για στιγμές t i >t 1 , i= .Αυτό το χαρακτηριστικό καθορίζει ουσιαστικά την πρακτική ευκολία της συσκευής των τυχαίων διαδικασιών Markov.

Για τις διαδικασίες Markov, η γενική ταξινόμηση που δίνεται στην Ενότητα 1.1 είναι απολύτως έγκυρη. Σύμφωνα με αυτήν την ταξινόμηση, συνήθως διακρίνονται τέσσερις κύριοι τύποι διεργασιών Markov:

- Αλυσίδες Markov- διεργασίες για τις οποίες τόσο το εύρος τιμών Χ,και το πεδίο ορισμού Τ- διακριτά σύνολα.

- Ακολουθίες Markov- διεργασίες των οποίων το εύρος τιμών Χείναι συνεχής και το πεδίο ορισμού Τ- διακριτό σύνολο

- διακριτές διαδικασίες Markov- διεργασίες των οποίων το εύρος τιμών Χ- διακριτό και το πεδίο ορισμού Τ- συνεχές σετ.

- συνεχείς διαδικασίες Markov- διεργασίες για τις οποίες τόσο το εύρος τιμών Χ,και το πεδίο ορισμού Τ- συνεχόμενα σετ.

Πιο πολύπλοκοι τύποι διαδικασιών Markov είναι επίσης δυνατοί, για παράδειγμα διακριτές-συνεχείς, όταν μια τυχαία διαδικασία X(t)για ορισμένες τιμές του ορίσματος το t έχει άλματα και στα διαστήματα μεταξύ τους συμπεριφέρεται ως συνεχής τιμή. Τέτοιες διαδικασίες ονομάζονται μικτές. Μια παρόμοια κατάσταση συμβαίνει για τις διανυσματικές διαδικασίες Markov - μεμονωμένα στοιχεία μιας τέτοιας διαδικασίας μπορούν να σχετίζονται με ΔΙΑΦΟΡΕΤΙΚΟΙ ΤΥΠΟΙ. Διαδικασίες τέτοιων πολύπλοκα είδηδεν εξετάζονται περαιτέρω.

Σημειώστε ότι κατά τη μελέτη των διαδικασιών Markov, είναι παραδοσιακά αποδεκτό η κατανόηση του χρόνου με το όρισμα t. Δεδομένου ότι αυτή η υπόθεση δεν περιορίζει τη γενικότητα και συμβάλλει στη σαφήνεια της παρουσίασης, αυτή η ερμηνεία της φυσικής σημασίας του επιχειρήματος tκαι υιοθετούνται σε αυτό το κεφάλαιο.

ΑΛΥΣΙΔΕΣ MARKOV

Αφήστε την τυχαία διαδικασία X(t)μπορεί να πάρει πεπερασμένο (ΜΕΓΑΛΟ< ) множество значений

(ρ μεγάλο, μεγάλο= } = Γ. Ειδική τιμήq μεγάλο; Î ΜΕ,που αποδέχτηκε η διαδικασία X(t)στη στιγμή t,το ορίζει κατάστασηστο δεδομένη αξίαδιαφωνία. Ετσι,

σε αυτή την περίπτωση η διαδικασία X(t)έχει ένα πεπερασμένο σύνολο πιθανών καταστάσεων.

Φυσικά, με την πάροδο του χρόνου η διαδικασία X(t)θα αλλάξει τυχαία την κατάστασή του. Ας υποθέσουμε ότι μια τέτοια αλλαγή δεν είναι δυνατή για κανέναν t, αμόνο σε ορισμένες διακριτές στιγμές του χρόνου t 0 X(t)αλλάζει απότομα την κατάστασή του. Με άλλα λόγια, σε χρονικές στιγμές t tλαμβάνει χώρα μεταβάσεις X(t 0) ®X(t 1) ®..., και X(t)О C, i= 0,1,2,…

Τα δύο υποδεικνυόμενα χαρακτηριστικά καθορίζουν την ακολουθία των διακριτών τυχαίων μεταβλητών X i - X (t i), i= 0,1, ... (μια διακριτή τυχαία ακολουθία από την άποψη της παραγράφου 1.1), της οποίας το εύρος τιμών είναι ένα διακριτό πεπερασμένο σύνολο С =(q l , l = ], ΕΝΑτομέας ορισμού - διακριτό άπειρο σύνολο t i, i= 0,1, 2,...

Εάν για μια διακριτή τυχαία ακολουθία που ορίζεται με αυτόν τον τρόπο η κύρια ιδιότητα (3.1.1) των διεργασιών Markov είναι αληθής, η οποία σε αυτή την περίπτωση παίρνει τη μορφή

τότε μια τέτοια ακολουθία ονομάζεται απλή αλυσίδα Markov.

Σημειώστε ότι προκύπτει απευθείας από την έκφραση (3.2.1)

την ίδια ισότητα για τις υπό όρους πιθανότητες εύρεσης

απλή αλυσίδα Markov σε κάποια πολιτεία

P(x 1 /x 0,x 1, ...,x i -1) = Ρ(x i /x i -1), i= 1,2,....

Ο ορισμός που εισάγεται επιτρέπει κάποια γενίκευση. Ας υποθέσουμε ότι η τιμή x i О Cυπό εξέταση διαδικασία X(t)εξαρτάται όχι από ένα πράγμα, αλλά από m(l£Μ< Εγώ) αμέσως προηγούμενες τιμές. Τότε είναι προφανές ότι

Η διαδικασία που ορίζεται από τη σχέση (3.2.2) καλείται μια σύνθετη αλυσίδα Markov της τάξης m.Η σχέση (3.2.1) προκύπτει από την (3.2.2) ως ειδική περίπτωση. Με τη σειρά του, μια πολύπλοκη αλυσίδα τάξης Markov Τμπορεί να αναχθεί σε μια απλή αλυσίδα Markov για ένα διάνυσμα m. Για να το δείξουμε αυτό, ας υποθέσουμε ότι η κατάσταση της διαδικασίας αυτή τη στιγμή i iπεριγράφεται χρησιμοποιώντας ένα διάνυσμα m-διάστασης.

(3.2.3)

Στο προηγούμενο βήμα, ένα παρόμοιο διάνυσμα θα γραφεί ως

Η σύγκριση των (3.2.3) και (3.2.4) δείχνει ότι οι «μέσες» συνιστώσες αυτών των διανυσμάτων (εκτός Xlστο (3.2.3) και X l - mστο (3.2.4)) συμπίπτουν. Από αυτό προκύπτει ότι η υπό όρους πιθανότητα να χτυπήσει η διαδικασία X(t)σε κατάσταση `X i τη στιγμή t 1 αν ήταν στην κατάσταση `X i -1 τη στιγμή t i -1,μπορεί να γραφτεί ως

Στην (3.2.5) το σύμβολο δηλώνει το j-ο συστατικό του διανύσματος ` x i ;Το α (μ, ν) είναι το σύμβολο του Kronecker: α(μ, ν) = 1 για ν = μ και α(μ, ν) = ϋ για μ ¹ν. Η πιθανότητα αυτών των γενικεύσεων μας επιτρέπει να περιοριστούμε στο μέλλον στο να εξετάζουμε μόνο απλές αλυσίδες Markov.

Ως σύστημα διακριτών τυχαίων μεταβλητών, μια απλή αλυσίδα Markov X i, i = 0, 1, 2, ... ,i, ... για οποιοδήποτε σταθερό i μπορεί να περιγραφεί εξαντλητικά από την i-διάστατη κοινή πιθανότητα

ρ {θ 0 L , θ ίκ ,..., θ ί m,) = P( Χ 0 =θ L ,X 1 =θ k ,…,X j =θ m}, (3.2.6)

που είναι οι δείκτες μεγάλο, κ,..., τπάρτε όλες τις τιμές από 1 έως μεγάλοανεξάρτητα το ένα από το άλλο. Η έκφραση (3.2.6) ορίζει έναν πίνακα με μεγάλοσειρές και στήλη i+1, τα στοιχεία των οποίων είναι οι πιθανότητες συνύπαρξης ενός συστήματος τυχαίων μεταβλητών Χ 0 ,Χ 1 ,...,Χ ίσε κάποια συγκεκριμένη κατάσταση. Αυτός ο πίνακας, κατ' αναλογία με τη σειρά κατανομής μιας κλιμακωτής διακριτής τυχαίας μεταβλητής, μπορεί να ονομαστεί πίνακας κατανομής ενός συστήματος διακριτών τυχαίων μεταβλητών

Χ 0 ,Χ 1 ,...,Χ ί .

Με βάση το θεώρημα πολλαπλασιασμού πιθανοτήτων, η πιθανότητα (3.2.6) μπορεί να αναπαρασταθεί ως

Αλλά σύμφωνα με την κύρια ιδιότητα (3.2.1) της αλυσίδας Markov

Π (Xl= m/X 0 = l ,X 1 = k ,…,X i -1 = r )=P(X i = m /X i -1 = r )

Επανάληψη παρόμοιου συλλογισμού για την πιθανότητα που περιλαμβάνεται στην (3.2.8) r ) μας επιτρέπει να μειώσουμε αυτήν την έκφραση στη μορφή

Από εδώ φτάνουμε επιτέλους

(3.2.9)

Έτσι, μια πλήρης πιθανολογική περιγραφή μιας απλής αλυσίδας Markov επιτυγχάνεται με τον προσδιορισμό των πιθανοτήτων της αρχικής κατάστασης της αλυσίδας τη δεδομένη στιγμή t0,Ρ{Θ 0 μεγάλο,) = P(X 0 = Θ l}, l=και πιθανότητες υπό όρους

Ρ (Χ μεγάλο= Θ k /X i-1 = Θ m ), i = 1 , 2, . .. · k, m =

Σημειώστε ότι αφού οι πιθανές καταστάσεις Θ lÎ`Cαλυσίδες Χ(t) είναι σταθερά και γνωστά, για να περιγράψουμε την κατάστασή του ανά πάσα στιγμή αρκεί να αναφέρουμε τον αριθμό μεγάλοαυτή η συνθήκη. Αυτό μας επιτρέπει να εισαγάγουμε τις άνευ όρων πιθανότητες εύρεσης μιας αλυσίδας μεγάλο-κατάσταση τη στιγμή t i (στο Εγώτο βήμα) απλοποιημένη σημειογραφία

Αυτές οι πιθανότητες έχουν προφανώς τις ιδιότητες της μη αρνητικότητας και της ομαλοποίησης στην ενότητα

Π μεγάλο(Εγώ)>0,μεγάλο = , Εγώ = 0, 1,2,...; (3.2.11)

Όταν χρησιμοποιείται συμβολισμός πίνακα, το σύνολο των άνευ όρων πιθανοτήτων γράφεται ως πίνακας γραμμής

(3.2.12)

Όπως προκύπτει από ό,τι αναφέρθηκε προηγουμένως, θεμελιώδης ρόλος στη θεωρία των αλυσίδων Markov (και των διαδικασιών Markov γενικά) παίζουν οι υπό όρους πιθανότητες της μορφής Σύμφωνα με τη φυσική έννοια, συνήθως ονομάζονται πιθανότητες μετάβασηςκαι συμβολίζεται ως

Η έκφραση (3.2.13) καθορίζει την πιθανότητα το κύκλωμα να εισέλθει στην κατάσταση μεγάλο, τη στιγμή t σε ν - μ βήματα, με την προϋπόθεση ότι τη στιγμή t μ το κύκλωμα ήταν στην κατάσταση Α. Είναι εύκολο να δούμε ότι οι πιθανότητες μετάβασης έχουν επίσης τις ιδιότητες της μη αρνητικότητας και της κανονικοποίησης, αφού σε οποιοδήποτε βήμα η αλυσίδα θα βρίσκεται πάντα σε ένα από τα μεγάλοπιθανά κράτη

(3.2.14)

Ένα διατεταγμένο σύνολο πιθανοτήτων μετάβασης για οποιοδήποτε ζεύγος μπορεί να αναπαρασταθεί ως τετράγωνος πίνακας

(3.2.15)

Όπως προκύπτει από την παράσταση (3.2.14), όλα τα στοιχεία αυτού του πίνακα είναι μη αρνητικά και το άθροισμα των στοιχείων κάθε γραμμής είναι ίσο με ένα. Ένας τετραγωνικός πίνακας που έχει αυτές τις ιδιότητες ονομάζεται στοχαστική.

Έτσι, μια πιθανολογική περιγραφή μιας αλυσίδας Markov μπορεί να δοθεί από έναν πίνακα σειρών (3.2.12) και έναν στοχαστικό πίνακα (3.2.15).

Χρησιμοποιώντας τον εισαγόμενο συμβολισμό, θα λύσουμε το κύριο πρόβλημα της θεωρίας των αλυσίδων Markov - θα προσδιορίσουμε την άνευ όρων πιθανότητα P μεγάλο(ί) ότι σε i -μ βήματα η διαδικασία θα φτάσει σε μια ορισμένη κατάσταση μεγάλο, μεγάλο= . Προφανώς, τη στιγμή t m η διεργασία μπορεί να είναι σε οποιαδήποτε από τις L πιθανές καταστάσεις με πιθανότητα P k (m), k= . Η πιθανότητα μετάβασης από kth V μεγάλο-η κατάσταση δίνεται από την πιθανότητα μετάβασης p k l (m,i). Από εδώ, με βάση το θεώρημα της συνολικής πιθανότητας, προκύπτει

; (3.2.16)

ή σε μορφή μήτρας

Π( Εγώ)=P(m)P(m, Εγώ); (3.2.17)

Ας εξετάσουμε σε σχέση (3.2.16) την πιθανότητα μετάβασης π kl (m, Εγώ). Είναι προφανές ότι η μετάβαση του κυκλώματος από το κράτος κστη στιγμή t mσε μια πολιτεία μεγάλοστη στιγμή t iσε διάφορα βήματα μπορεί να πραγματοποιηθεί με διαφορετικούς τρόπους (μέσω διαφόρων ενδιάμεσων καταστάσεων). Ας εισαγάγουμε υπόψη την ενδιάμεση χρονική στιγμή tm, tm Β αυτή τη στιγμή η διαδικασία μπορεί να είναι σε οποιοδήποτε από μεγάλοπιθανές καταστάσεις και την πιθανότητα να μπει στην r-η κατάσταση αυτή τη στιγμή t mυπό τον όρο ότι αυτή τη στιγμή t mμπόρεσε κ,ισούται με π kr (μ,m). Με τη σειρά του από το κράτος rσε μια πολιτεία μεγάλοη διαδικασία προχωρά με πιθανότητα π rl(Μ ,Εγώ). Από εδώ, χρησιμοποιώντας το θεώρημα της συνολικής πιθανότητας, παίρνουμε εξίσωση Markovγια πιθανότητες μετάβασης

του οποίου η μορφή μήτρας είναι

П(m, ί) = П(μ, m) П (m,I) ; 0 £ εκ < m < I; (3.2.19)

Οι εξισώσεις (3.2.18), (3.2.19) ορίζουν τη χαρακτηριστική ιδιότητα των πιθανοτήτων μετάβασης για τις αλυσίδες Markov, αν και η εγκυρότητα της (3.2.18) δεν είναι ακόμη επαρκής για να είναι η αντίστοιχη αλυσίδα Markov.

Γράφοντας τον τύπο (3.2.19) διαδοχικά, λαμβάνουμε

P(μ, Εγώ) = P (μ, Εγώ- 1) Π (Εγώ- 1, ί) = P (μ, μ + 1) ... P (ί - 1, Εγώ), (3.2.20)

όπου p(ν, μ), μ -n= 1- ένα βήμαπιθανότητα μετάβασης. Τώρα ορίζοντας μ =0 στην έκφραση (3.2.17), λαμβάνουμε

(3.2.21)

από το οποίο προκύπτει ότι μια πλήρης πιθανολογική περιγραφή μιας απλής αλυσίδας Markov επιτυγχάνεται με τον προσδιορισμό των πιθανοτήτων της αρχικής κατάστασης και μιας ακολουθίας πινάκων πιθανότητας μεταβάσεων ενός βήματος.

Είναι προφανές ότι οι ιδιότητες της αλυσίδας Markov καθορίζονται σε μεγάλο βαθμό από τις ιδιότητες των πιθανοτήτων μετάβασης. Από αυτή την άποψη, συγκεκριμένα, μεταξύ απλών αλυσίδων Markov υπάρχουν ομοιογενής,για τις οποίες οι πιθανότητες μετάβασης εξαρτώνται μόνο από τη διαφορά μεταξύ των ορισμάτων

Π kl(Μ, Εγώ) =σελ kl(i-m) ,i>m>0; (3.2.22)

και μην εξαρτάστε από τον αριθμό βήματος. Όλοι οι άλλοι τύποι απλών αλυσίδων Markov που δεν πληρούν την προϋπόθεση (3.2.22) ανήκουν στην κατηγορία ετερογενής.

Εφόσον για μια ομοιογενή αλυσίδα η πιθανότητα μετάβασης καθορίζεται μόνο από τη διαφορά στα ορίσματα και δεν εξαρτάται από τον αριθμό βήματος, είναι προφανές ότι για αυθαίρετα ζεύγη (μ,m), ( ι,Εγώ), ικανοποιώντας τις προϋποθέσεις Τ- μ = 1, ί- j = 1, m¹i,έκθεση

Π kl(m-m) =σελ kl(i-j)= p kl(1) =σελ kl;

Επομένως, για να περιγράψουμε μια ομοιογενή αλυσίδα Markov, αρκεί να προσδιορίσουμε, μαζί με τις πιθανότητες της αρχικής κατάστασης, όχι μια ακολουθία, αλλά έναν στοχαστικό πίνακα πιθανοτήτων μετάβασης ενός σταδίου

(3.2.23)

Επιπλέον, είναι προφανές ότι

(3.4.7)

αφού ο πρώτος παράγοντας κάτω από το ολοκλήρωμα δεν εξαρτάται από τη μεταβλητή ολοκλήρωσης και το ολοκλήρωμα του δεύτερου είναι ίσο με ένα. Η αφαίρεση της εξίσωσης (3.4.7) από την (3.4.6) δίνει

Ας υποθέσουμε ότι η πυκνότητα πιθανότητας μετάβασης της υπό εξέταση διαδικασίας μπορεί να επεκταθεί σε μια σειρά Taylor. Τότε η έκφραση σε αγκύλες κάτω από το ολοκλήρωμα στην εξίσωση (3.4.8) μπορεί να αναπαρασταθεί ως

Αντικατάσταση της έκφρασης (3.4.9) σε (3.4.8), διαιρώντας και τις δύο πλευρές της έκφρασης που προκύπτει με Δ tκαι περνώντας στο όριο ως Δt → 0, παίρνουμε

Η εξίσωση (3.4.10) ορίζει μια ευρεία κατηγορία συνεχών διαδικασιών Markov, και είναι εύκολο να δούμε ότι το σύνολο των συντελεστών A ν (x 0 ,t 0) καθορίζει τις φυσικές ιδιότητες καθεμιάς από αυτές. Άρα, ο συντελεστής A 1 (x 0 , t 0)μπορεί να ερμηνευθεί ως η μέση τιμή του τοπικού (στο σημείο Χ(t 0)) ρυθμός μεταβολής της διαδικασίας, συντελεστής A 2 (x 0 , t 0)- όπως ο τοπικός ρυθμός μεταβολής στη διασπορά της προσαύξησής του, κ.λπ. Ωστόσο, οι διαδικασίες Markov αυτής της γενικής μορφής εξετάζονται σχετικά σπάνια στις εφαρμογές. Μεγαλύτερης πρακτικής σημασίας είναι το υποσύνολο των διεργασιών Markov που ικανοποιεί την προϋπόθεση

Α ν (x0, t0)10; n=1,2, A ν (x 0, t 0)=0, n³3;(3.4.12)

Στη μελέτη των διεργασιών Markov, διαπιστώθηκε αρχικά ότι η εξίσωση (3.4.10) υπό την προϋπόθεση (3.4.12) ικανοποιείται από τους νόμους της κίνησης (διάχυσης) των σωματιδίων Brown, με αποτέλεσμα οι αντίστοιχες διαδικασίες Markov να ονομάζονται διάχυση.Με βάση αυτό, ο συντελεστής A 1 (x 0 , t 0)=a (x 0 , t 0)που ονομάζεται συντελεστής μετατόπισης, o A 2 (x 0 , t 0) = b (x 0 , t 0) - συντελεστής διάχυσης.Στο πλαίσιο της (3.4.12), η εξίσωση (3.4.10) παίρνει την τελική μορφή

Αυτή είναι μια εξίσωση στην οποία βρίσκονται οι μεταβλητές x 0και καλείται t 0 η πρώτη (αντίστροφη) εξίσωση Kolmogorov.

Η δεύτερη εξίσωση μπορεί να ληφθεί με παρόμοιο τρόπο

Αυτή η εξίσωση, προς τιμήν των επιστημόνων που τη μελέτησαν πρώτοι, ονομάζεται εξίσωση Fokker,- Σανίδα- Κολμογκόροφή άμεση εξίσωση Kolmogorov(αφού περιλαμβάνει την παράγωγο ως προς την τελική στιγμή του χρόνου t>t 0).

Ετσι; Αποδεικνύεται ότι οι πυκνότητες πιθανότητας μετάβασης των διεργασιών διάχυσης Markov ικανοποιούν τις εξισώσεις (3.4.13), (3.4.14), που αποτελούν το κύριο εργαλείο για τη μελέτη τους. Στο αυτά είναι ακίνηταμιας συγκεκριμένης διαδικασίας καθορίζονται από «συντελεστές» a(x,tί)Και b(x,t)τα οποία, σύμφωνα με την εξίσωση (3.4.11), είναι ίσα

Από τις εκφράσεις (3.4.15), (3.4.16) προκύπτει ότι αυτοί οι «συντελεστές» έχουν την έννοια των μαθηματικών προσδοκιών υπό όρους που καθορίζουν τη φύση των αλλαγών στις υλοποιήσεις διεργασιών σε μια απειροελάχιστη χρονική περίοδο Δt. Επιτρέπονται πολύ γρήγορες αλλαγές διαδικασίας X (t) ,αλλά σε αντίθετες κατευθύνσεις, με αποτέλεσμα η μέση αύξηση της διεργασίας σε σύντομο χρονικό διάστημα Δt να είναι πεπερασμένη και τάξης .