|
Функция  называется случайной, если ее значение при любом аргументе t является случайной.
Случайная функция , аргументом которой является время, называется случайным процессом.
Марковские процессы являются частным видом случайных процессов. Особое место марковских процессов среди других классов случайных процессов обусловлено следующими обстоятельствами: для Марковских процессов хорошо разработан математический аппарат, позволяющий решать многие практические задачи; с помощью Марковских процессов можно описать поведение достаточно сложных систем.
Определение. Случайный процесс, протекающий в какой либо системе  называется Марковским, если он обладает следующим свойством: для любого момента времени  вероятность любого состояния системы в будущем (при  ) и не зависит от того, когда и каким образом система пришла в это состояние.
Классификация Марковских случайных процессов производится в зависимости от непрерывности и дискретности множества значений функций  и параметра  . Различают следующие основные виды Марковских случайных процессов:
с дискретными состояниями и дискретным временем (цепь Маркова);
с непрерывными состояниями и дискретным временем (марковские последовательности);
с дискретными состояниями и непрерывным временем (непрерывная цепь Маркова);
с непрерывным состоянием и непрерывным временем.
В данной работе будут рассматриваться только марковские процессы с дискретными состояниями 
Марковские процессы с дискретными состояниями удобно иллюстрировать с помощью, так называемого графа состояний, где кружками обозначены состояния системы , а стрелками - возможные переходы из состояния в состояние. На графе отмечаются только непосредственные переходы, а не переходы через другие состояния. Возможные задержки в прежнем состоянии изображают «петлей», т.е. стрелкой, направленной из данного состояния в него же. Число состояний системы может быть как конечным, так и бесконечным (но счетным).
Рис. 1. Граф состояния системы
|