Марковские процессы. Как рассчитать вероятность что система окажется в состоянии 1 на 7 шаге, если она начала в состоянии 2 и с третеьго шага? Система начинает с 3 шага в состоянии 2 и с какими-то вероятностями меняет состояния(1-4) до 7 шага. Заканчивает в состоянии 1. Как при расчете вероятности учесть тот факт, что система начала с 3 шага?
P - матрица переходов, Q - вектор перехода в состояние 1.
(P^4) * Q - вероятность оказаться в состоянии 1 на 5 "день" (по ур. Колмогорова)
Что делать дальше?

Предыдущий
вопрос Следующий
вопрос

Для того чтобы учесть, что система начала с третьего шага, нужно учитывать только вероятность переходов начиная с этого момента.

Чтобы вычислить вероятность того, что система окажется в состоянии 1 на 7 шаге, мы можем воспользоваться формулой полной вероятности:

P(7) = P(1|2) P(2) + P(1|3) P(3)
где P(1|2) - вероятность перехода из состояния 2 в состояние 1, P(2) - вероятность быть в состоянии 2 на 7-м шаге после начала с третьего шага, P(1|3) - вероятность перехода из состояния 3 в состояние 1.

Далее, чтобы рассчитать P(2) и P(1|3), можно воспользоваться методом последовательных возведений матриц:

Для этого нужно возвести матрицу переходов P в степень 4 и умножить на вектор перехода в состояние 2.

Далее нужно умножить полученную матрицу на вектор перехода в состояние 1.

Это позволит рассчитать вероятность окончания в состоянии 1 на 7-м шаге после начала с третьего.