Марковские процессы с непрерывным временем — КиберПедия 

Двойное оплодотворение у цветковых растений: Оплодотворение - это процесс слияния мужской и женской половых клеток с образованием зиготы...

Адаптации растений и животных к жизни в горах: Большое значение для жизни организмов в горах имеют степень расчленения, крутизна и экспозиционные различия склонов...

Марковские процессы с непрерывным временем

2017-11-28 313
Марковские процессы с непрерывным временем 0.00 из 5.00 0 оценок
Заказать работу

Пусть Х(t) - марковский процесс с непрерывным временем и дискретными состояниями S1, S2,..., Sn. В дальнейшем для краткости будем его называть непрерывным марковским процессом. Обозначим , , - вероятность того, что система, находящаяся в момент времени r в состоянии Si, окажется в момент времени t в состоянии Sj.

Марковский процесс называется однородным, если при любых i, j, r, t вероятность зависит только от длины интервала и не зависит от того, где он расположен на оси времени Ot.

В дальнейшем будем рассматривать только однородные марковские процессы и через будем обозначать вероятность того, что система за время t перейдет из состояния Si в состояние Sj. Для непрерывного марковского процесса вероятность перехода из состояния Si в состояние Sj при в любой момент времени равна нулю. Поэтому введем в рассмотрение по формуле

, (1)

где называется плотностью или интенсивностью вероятности перехода из состояния Si в состояние Sj. Тогда вероятность того, что система, находящаяся в состоянии Si, за малый промежуток времени перейдет в состояние Sj с точностью до бесконечно малых более высокого порядка равна .

Обозначим - вероятность того, что система в момент времени t находится в состоянии Si. Эти вероятности применяются для описания случайного процесса с дискретными состояниями. Можно показать, что если число состояний марковского процесса конечно и равно n, то вероятности удовлетворяют системе дифференциальных уравнений.

(2)

Эти уравнения называются уравнениями Колмогорова. Чтобы система имела единственное решение, надо задать начальное состояние

.

В частном случае, когда состояние системы в начальный момент времени известно, например Sk, то , .

Замечание 1. Число уравнений системы (2) можно уменьшить на одно, если воспользоваться условием, что при любом t

. (3)

При составлении уравнений Колмогорова удобно пользоваться графом состояний системы, на котором состояния процесса изображены кружками, а возможные переходы из состояния в состояние обозначены стрелками с указанием соответствующей интенсивности.

 

 


0,8 0,2

 

 

0,4

0,3

Рис. 1

 

Пример 1. Рассмотрим граф, приведенный на рисунке 1. У системы, описываемой этим марковским процессом, три состояния , причем ; ; ; и не указываются на графе).

Потоком вероятности перехода из состояния Si в состояние Sj называется величина . Уравнения Колмогорова удобно составлять по графу состояний, пользуясь правилом: производная вероятности каждого состояния равна сумме всех потоков вероятностей, идущих из других состояний в данное, минус сумма всех потоков вероятностей, идущих из данного состояния в другие. Например, для графа состояний на рис.1 получили систему уравнений

(4)

 

Предельный режим

Когда процесс, протекающий в системе, длится достаточно долго, возникает вопрос о значениях вероятностей при . Если существуют предельные вероятности состояний , то это означает, что с течением времени в системе устанавливается предельный стационарный режим, в ходе которого она переходит из одного состояния в другое, но вероятности состояний уже не меняются. В этом предельном режиме каждая предельная вероятность может быть истолкована как среднее относительное время пребывания системы в данном состоянии. Пусть число состояний конечно и равно n.

Чтобы найти предельные вероятности состояний, надо составить систему линейных алгебраических уравнений, которая получается из уравнений Колмогорова (2), если положить в них левые части (производные) равными нулю. Затем решают полученную систему совместно с условием:

. (5)

Если система имеет единственное решение, то предельные вероятности состояний существуют и равны соответствующим решениям системы.

 

Пример 2. Найти предельные вероятности состояний системы, описываемой графом, приведенным на рис.1.

Решение.

Для этой системы по графу состояний были составлены уравнения Колмогорова (4). Положим в левых частях уравнений

.

Тогда получим

Решая эту систему совместно с уравнением (5), найдем единственное решение, которое дает предельные вероятности состояний:

; ; .

 

Пример 3. В мастерской два мастера и одно место ожидания. Клиенты приходят через 10 минут и обслуживаются мастером 15 минут в среднем. Если место ожидания занято, клиент покидает мастерскую не обслуженным. Какую часть времени оба мастера заняты и какую свободны (потоки прихода и обслуживания клиентов считать пуассоновскими).

Решение.

Перечислим состояния системы: S0 -оба мастера свободны; S1 -один мастер занят, один свободен; S2 -оба мастера заняты, а место ожидания свободно; S3 -оба мастера и место ожидания заняты. Переход из состояния Si в состояние Si+1, i = 0, 1, 2..., происходит под действием потока прихода клиентов. Найдем его интенсивность . Так как по условию среднее время между приходами двух последовательных клиентов равно 10 минут = ч., то получим: ; то есть . Переход из состояния S1 в состояние S0 происходит под действием потока выполнения заявок одним мастером. Его интенсивность m находится аналогично. Так как 15 минут = ч., то . Переходы из состояния S2 в состояние S1 и из S3 в S2 происходят под действием потока, полученного объединением двух потоков выполнения заявок каждым из двух мастеров. Поэтому интенсивность его будет равна . Интенсивности переходов из состояния Si в состояние Si-k, Si+k при , равны нулю, так как потоки ординарны, то есть события в потоках наступают «поодиночке». С учетом сказанного граф состояний будет иметь вид как на рисунке.

 

6 6 6

4 8 8

Найдем предельные вероятности состояний Р0, Р1 , Р2 , Р3 . Для этого по графу состояний составим систему линейных уравнений Колмогорова.

Эта система имеет единственное решение:

; ;

;

Таким образом, 22,4% времени оба мастера свободны, т.к. вероятность того, что система находится в состоянии S0 равна .

Оба мастера заняты, если система находится в состоянии S2 или S3, значит вероятность этого равна .

Таким образом, 44,1% времени оба мастера заняты.

 

 

СОДЕРЖАНИЕ

 

1. Тематический план дисциплины……………………………..  
2. Рабочая программа дисциплины……………………………..  
3. Список литературы (основная и дополнительная)………….  
4. Контрольные вопросы для экзамена за 2 курс………………  
5. Тематика контрольных работ………………………………...  
6. Контрольная работа №3………………………………………  
7. Методические указания по выполнению контрольной работы №3……………………………………………………..  
8. Контрольная работа №4………………………………………  
9. Методические указания по выполнению контрольной работы №4……………………………………………………..  

 

 


Поделиться с друзьями:

Общие условия выбора системы дренажа: Система дренажа выбирается в зависимости от характера защищаемого...

Археология об основании Рима: Новые раскопки проясняют и такой острый дискуссионный вопрос, как дата самого возникновения Рима...

История развития пистолетов-пулеметов: Предпосылкой для возникновения пистолетов-пулеметов послужила давняя тенденция тяготения винтовок...

Семя – орган полового размножения и расселения растений: наружи у семян имеется плотный покров – кожура...



© cyberpedia.su 2017-2024 - Не является автором материалов. Исключительное право сохранено за автором текста.
Если вы не хотите, чтобы данный материал был у нас на сайте, перейдите по ссылке: Нарушение авторских прав. Мы поможем в написании вашей работы!

0.017 с.