Марковские процессы с дискретным временем

Рассмотрим процессы, у которых временной параметр t принимает значения в множестве Т = {0, 1, 2, …}. Такие процессы (с дискретным временем) представляют собой наиболее простую модель функционирования реальных систем. Вместе с тем они широко используются, так как позволяют зачастую элементарными средствами получать содержательные сведения о поведении системы.

Пусть рассматриваемые процессы принимают значения из множества Z, которое назовем пространством состояний.

Хотя приводимые ниже конструкции допускают содержательные обобщения на случай более общих пространств, будем повсюду считать, что (в случае дискретного времени) Z — пространство действительных векторов фиксированной размерности v, т. е. каждое состояние z представляет собой вектор z = (z(1), …, z(v)), где z(i) —действительные числа.

Наделим Z некоторой метрикой pz. Пусть z= (z(1), … …, z(v)), z’ = (z'(l), …, z'(v)). Далее будем считать, что имеет место один из следующих случаев:
1) pz(z,z’) = [∑ (z(i) — z(i)’)2 ]0.5
2) pz(z,z’) = max |z(i) — z'(t)|
3) pz(z,z’) = ∑ |z(i) — z'(t)|

В силу отношения
max |z(i)| ≤ [∑ z2(i) ]0.5 ≤ v max |z(i)|
все введенные метрики эквивалентны в смысле сходимости, и выбор той или иной метрики будет определяться лишь особенностями рассматриваемой задачи.

Пусть zt, t∈T = {0, 1, …} — однородный марковский процесс, принимающий значения из Z, с переходной функцией P{z; ⋅}. Для решения рассматриваемых в книге задач удобно связать понятие переходной функции с так называемым производящим оператором. Именно, определим оператор А, действующий на функцию V(z), z∈Z, по формуле

AV (z) = MzV — V (z) = ∫ P{z; dy} V (у) — V (z). (1)

Иначе говоря, AV(z) есть среднее приращение функции V за один «шаг» процесса zt, выходящего из точки z. Если правая часть соотношения (1) конечна при всех z ∈ В ⊂ Z, то будем говорить, что V(z) принадлежит области определения оператора А в множестве В, и писать V ∈ DА(В). В частности, в множество DА включаются все ограниченные функции V. Пусть V — ограниченная функция, а τ — марковский момент для процесса zt Mzτ < ∞. Тогда, усредняя тождество

V(zτ) = V(z) + ∑[V(zk+1)-V(zk)], z0 = z, (2)

и учитывая, что Mz

[V(zk+1)-V(zk); τ>k] =
= МzМz1…zk{[V (zk+1) — V (zk)] χ (τ > k)) = Мz χ (τ > k) Mzk [V (zk+1) — V (zk)} = Мz [AV (zk); τ > k],

получаем

МzV(zτ) = V(z) + Mz ∑ [V(zk+1)-V(zk)] =
= V (z) + Mz ∑ [V (zk+1) — V (zk)] χ (τ > k) =
= V(z) + Mz ∑ AV(zk)χ (τ > k) = V(z) + Mz ∑ AV(zk) (3)

Очевидно, формула (3) в некоторых случаях остается справедливой и для неограниченных функций V (при этом должна гарантироваться конечность обеих частей равенства). Например, нам будет важен случай, когда V∈DA, а марковский момент τ с вероятностью 1 ограничен некоторой постоянной, т. е существует c > 0 такая, что Рz{τ ≤ с} = 1. Это заведомо выполнено в случае, когда марковский момент τ имеет вид τ = τ1∧t, где τ1 — некоторый другой марковский момент, a t — фиксированный момент времени.

Формула (3) является дискретным стохастическим аналогом известной в дифференциальном исчислении формулы Ньютона —Лейбница.

Зафиксируем в пространстве состояний Z подмножество В. Пусть τ = inf {t: t ≥ 1, zt∈B} — время первого (после t = 0) попадания процесса zt в подмножество В. Величина zt является марковским моментом для процесса z,. Определим новый процесс zt* формулой
zt* = zt, если t≤τ;
zt* = zτ, если t>τ.

Скажем, что процесс zt* получен из zt остановкой в множестве В: zt* — процесс, остановленный в множестве В. Понятие остановленного процесса будет нами широко использоваться. Это связано с тем, что поведение процесса до момента остановки при специальном выборе подмножества В часто определяет поведение исследуемого процесса на всем временном интервале. А в некоторых задачах вообще интересуются лишь течением процесса до момента достижения некоторого подмножества В.

С помощью формулы (4) можно ввести более общее понятие процесса, полученного из исходного остановкой в момент τ {не обязательно совпадающий с моментом первого достижения некоторого множества).

Рассмотрим важный частный случай, когда процесс z, задается рекуррентным соотношением.

Пусть — последовательность независимых одинаково распределенных конечномерных случайных векторов, принимающих значения из пространства Н. Пусть F (z, ξ) —функция, заданная на ZxH и принимающая значения из Z. Положим

zt+1 = F(zt, ξt). (5)

Так определенный процесс zt, очевидно, является однородным марковским. И непосредственно из (5) можно извлечь ряд полезных свойств этого процесса. Так, если функция F(z, ξ) удовлетворяет при некоторых γ>0 и ki > 0, i=1, 2, условию

M||F(z, ξ)||γ ≤ k1(k2 + ||z||γ

то при всех t ≥ 1 и любом z∈Z справедлива оценка
Mz||zt||γ ≤ k1(1 — k1)-1(1 — k1t)k2 + k1t||zt||γ < ∞. Если, например, ||F(z, ξ)|| ≤ L (||z|| + ||ξ||), где L > 0 — некоторая постоянная, и M||ξ||γ = mτ < ∞, γ > 0, то

M||F(z, ξ)||γ ≤ Lγ2γ{mγ + ||z||γ),

и, следовательно, указанное свойство выполнено.

Обозначим через Рξ распределение вектора ξ (нижний индекс t будем опускать, когда это не вызывает недоразумений). Тогда из формул (1), (5) следует, что производящий оператор задается соотношением

А V (z) = ∫ Рξ (dy) V [F (z, у)] — V (z). (6)


Оставить комментарий





Статистика

Рейтинг@Mail.ru