Дискретный марковский процесс

Вятский государственный гуманитарный университет.

Институт экономики.

Курсовая работа

по предмету: Исследование операций.

Тема: Дискретный марковский процесс.

Выполнил: студент группы Мэ-31 Мышкин Илья

Проверил: доц. Караулов В.М.

2003 г.

Содержание:

Введение. 3

Дискретный Марковский процесс. 5

Дискретный Марковский процесс с дискретным временем. Марковская однородная цепь. 7

Поглощающие марковские цепи. 10

Марковская неоднородная цепь. 15

Дискретный Марковский случайный процесс с непрерывным временем. 16

Пуассоновский стационарный (простейший) поток событий. 19

Экономическое применение. 21

Литература: 25

Приложение. 26

Введение.

Одним из важнейших факторов, который должен учитываться в процес-се принятия оптимальных решений, является фактор случайности. При учете "случайности" необходимо, чтобы массовые случайные явления обладали свойством статической устойчивости. Это означает, что учитываемые слу-чайные явления подчиняются определенным статическим закономерностям, требования которых не обязательны при учете неопределенности.

Условие статической устойчивости позволяет использовать в процессе принятия решений эффективные математические методы теории случайных процессов и, в частности, одного из ее разделов - теории Марковских процес-сов.[1]

Функционирование широкого класса систем можно представить как процесс перехода из одного состояния в другое под воздействием каких-либо причин. Например, процесс функционирования ЭВМ характеризуется тем, что в каждый момент времени обработкой информации заняты те или иные блоки. Процесс прохождения обрабатываемой информации по блокам ЭВМ можно рассматривать как процесс перехода системы из одного состояния в другое. В полной мере это относится и к процессу функционирования ЭВМ с точки зрения надежности. В каждый момент времени некоторые узлы рабо-тоспособны, а некоторые отказали и восстанавливаются. Если каждому воз-можному множеству работоспособных (или отказывающих) элементов по-ставить в соответствие множество состояний системы, то отказы и восста-новления элементов будут отражаться переходом объекта из одного состоя-ния в другое. [4]

Благодаря сравнительной простоте и наглядности математического ап-парата, высокой достоверности и точности получаемых решений, особое внимание Марковские процессы приобрели у специалистов, занимающихся исследованием операций и теорией принятия оптимальных решений.

Управление инвестиционным портфелем является типичной задачей ис-следования операций. В ней присутствуют все атрибуты канонической по-становки:

• динамика цен на обращаемые бумаги рассматривается как случай-ный Марковский процесс с дискретным временем;

• цель операции носит многокритериальный характер (ожидаемый выигрыш, риск, ликвидность и т.п.);

• процесс развивается в динамике.

Несмотря на указанную выше простоту и наглядность, практическое применение теории Марковских цепей требует знания некоторых терминов и основных положений, на которых следует остановиться перед изложением примеров. [6]

Дискретный Марковский процесс.

Рассматриваемые процессы, обладают определенным свойством и пред-ставляют собой базу вероятностных моделей специального вида. Они назва-ны Марковскими по имени впервые их исследовавшего математика А.А. Маркова.

Напомним для начала некоторые понятия. Случайным процессом или синонимически случайной функцией S(t) , где t – время, называется функция, которая каждому моменту времени t из временного промежутка проводимого опыта ставит в соответствие единственную случайную величину S(t).

Значит аргументом случайной функции является время, а ее значением – случайная величина. Таким образом, случайная величина характеризует из-менение случайной величины в процессе опыта.

Под системой S будем понимать всякое целостное множество взаимосвя-занных элементов, которое нельзя расчленить на независимые подмножества.

Связи между элементами системы в одну или обе стороны могут быть как непосредственными, так и опосредованными. Элементы системы и связи между ними изменяются, вообще говоря, во времени и характеризуют в каж-дый момент времени t состояние S(t) системы S.

Если система S с течением времени t изменяет свои состояния S(t) слу-чайным образом, то говорят, что в системе S протекает случайный процесс. В любой момент времени система пребывает только в одном из состояний, то есть для любого момента времени t найдется единственное состояние Si та-кое, что S(t) = Si. Если множество состояний не более чем счетно, то оно дис-кретно. Если множество состояний более чем счетно, то оно непрерывно. [3]

В зависимости от времени пребывания системы в каждом состоянии раз-личают процессы с дискретным временем. Системы с непрерывным време-нем предполагают, что переход системы из одного состояния в другое может осуществляться в любой момент времени, т.е. время пребывания системы в каждом состоянии представляет непрерывную случайную величину.

В случае дискретного множества состояний система меняет свои состоя-ния скачком (мгновенно). В случае же непрерывного множества состояний переход системы происходит непрерывно (плавно). Процесс, заключающий-ся в том, что система с дискретным множеством состояний в некоторые мо-менты времени скачком переходит случайным образом из одного состояния в другое, называется дискретным случайным процессом.

Случайный процесс, протекающий в системе S, называется Марковским, если он обладает свойством отсутствия последствия, состоящим в том, что для каждого момента времени t0 вероятность любого состояния S(t) системы S в будущем (при t>t0) зависит только от ее состояния S(t0) в настоящем (при t=t0) и не зависит от того, как и сколько времени развивался этот процесс в прошлом (при t>t0).

В финансово экономической практике нередко встречаются случайные процессы, которые с определенной погрешностью можно считать Марков-скими.

При исследовании непрерывных и дискретных случайных цепей обычно пользуются графическим представлением функционирования системы. Граф состояний системы представляет собой совокупность вершин, изображаю-щих возможные состояния системы Si, и совокупность ветвей, изображаю-щих возможные переходы системы из одного состояния в другое. [4]

Дискретный Марковский процесс с дискретным време-нем. Марковская однородная цепь.

Марковский случайный дискретный процесс, протекающий в системе S, характеризуется не только возможными состояниями, в которых система мо-жет пребывать случайным образом, но и теми моментами времени, в которые могут происходить ее переходы из состояния в состояние. Эти моменты вре-мени могут быть заранее известны или случайны.

Случайный процесс, протекающий в системе, называется процессом с дискретным временем, если переходы системы из одного состояния могут осуществляться только в заранее определенные моменты времени называемые шагами этого процесса. В промежутках между соседними шага-ми система сохраняет свои состояния. Не исключается возможность, что на некоторых шагах система не изменит своего состояния.

Случайный процесс с дискретным временем можно представить случай-ной последовательностью (по индексу k) этих событий которую называют также цепью.

Случайная последовательность называется Марковской цепью, если для каждого шага вероятность перехода из любого состояния в любое состоя-ние не зависит от того, когда и как система оказалась в состоянии .

Так как система в любой момент t может пребывать только в одном из состояний , то при каждом k=1,2,… события несовместны и образуют полную группу.

Основными характеристиками Марковских цепей являются вероятности событий .

Вероятности называются вероятностями состояний.

Таким образом, вероятность i состояния на k шаге есть вероятность того, что система S от k до (k+1) шага будет пребывать в состоянии . Сум-ма вероятностей этих событий для каждого равна 1: . Если переходные вероятности не зависят от шагов k, то Марковская цепь называется однородной. Если же хотя бы одна вероятность изменяется с изменением шага k, то цепь называется неоднородной. Запишем переходные вероятности в виде квадратной матрицы n порядка, сумма элементов каждой строки равна 1.

Наличие на размеченном графе стрелок и соответствующих им переход-ных вероятностей из одного состояния в другое означает, что эти вероятно-сти отличны от нуля. Напротив отсутствие стрелок из одного состояния в другое говорит о том, что соответствующие им переходные вероятности рав-ны нулю. Вероятности задержек можно подсчитать по формуле . Вектор-строка вероятностей состояний в начальный момент времени t=0, непосредственно предшест-вующий первому шагу, называется вектором первоначального распределения вероятностей.

Для однородной Марковской цепи вектор-строка вероятностей состоя-ний от k до (k+1) шага, равна произведению вектора-строки вероятностей со-стояний от (k-1) до k шага на матрицу переходных вероятностей: .

Для однородной Марковской цепи имеет место следующая формула:

Дискретный случайный процесс с дискретным временем, протекающий