Рассмотрим процессы, у которых временной параметр t принимает значения в множестве Т = {0, 1, 2, …}. Такие процессы (с дискретным временем) представляют собой наиболее простую модель функционирования реальных систем. Вместе с тем они широко используются, так как позволяют зачастую элементарными средствами получать содержательные сведения о поведении системы.

Пусть рассматриваемые процессы принимают значения из множества Z, которое назовем пространством состояний.

Хотя приводимые ниже конструкции допускают содержательные обобщения на случай более общих пространств, будем повсюду считать, что (в случае дискретного времени) Z — пространство действительных векторов фиксированной размерности v, т. е. каждое состояние z представляет собой вектор z = (z(1), …, z(v)), где z(i) —действительные числа.

Наделим Z некоторой метрикой p_z. Пусть z= (z(1), … …, z(v)), z’ = (z'(l), …, z'(v)). Далее будем считать, что имеет место один из следующих случаев:
1) p_z(z,z’) = [∑ (z(i) — z(i)’)² ]^0.5
2) p_z(z,z’) = max |z(i) — z'(t)|
3) p_z(z,z’) = ∑ |z(i) — z'(t)|

В силу отношения
max |z(i)| ≤ [∑ z²(i) ]^0.5 ≤ v max |z(i)|
все введенные метрики эквивалентны в смысле сходимости, и выбор той или иной метрики будет определяться лишь особенностями рассматриваемой задачи.

Пусть z_t, t∈T = {0, 1, …} — однородный марковский процесс, принимающий значения из Z, с переходной функцией P{z; ⋅}. Для решения рассматриваемых в книге задач удобно связать понятие переходной функции с так называемым производящим оператором. Именно, определим оператор А, действующий на функцию V(z), z∈Z, по формуле

AV (z) = M_zV — V (z) = ∫ P{z; dy} V (у) — V (z). (1)

Иначе говоря, AV(z) есть среднее приращение функции V за один «шаг» процесса z_t, выходящего из точки z. Если правая часть соотношения (1) конечна при всех z ∈ В ⊂ Z, то будем говорить, что V(z) принадлежит области определения оператора А в множестве В, и писать V ∈ D_А(В). В частности, в множество D_А включаются все ограниченные функции V. Пусть V — ограниченная функция, а τ — марковский момент для процесса z_t M_zτ < ∞. Тогда, усредняя тождество

V(z_τ) = V(z) + ∑[V(z_k+1)-V(z_k)], z₀ = z, (2)

и учитывая, что M_z

[V(z_k+1)-V(z_k); τ>k] =
= М_zМ_z1…zk{[V (z_k+1) — V (z_k)] χ (τ > k)) = М_z χ (τ > k) M_zk [V (z_k+1) — V (z_k)} = М_z [AV (z_k); τ > k],

получаем

М_zV(z_τ) = V(z) + M_z ∑ [V(z_k+1)-V(z_k)] =
= V (z) + M_z ∑ [V (z_k+1) — V (z_k)] χ (τ > k) =
= V(z) + M_z ∑ AV(z_k)χ (τ > k) = V(z) + M_z ∑ AV(z_k) (3)

Очевидно, формула (3) в некоторых случаях остается справедливой и для неограниченных функций V (при этом должна гарантироваться конечность обеих частей равенства). Например, нам будет важен случай, когда V∈D_A, а марковский момент τ с вероятностью 1 ограничен некоторой постоянной, т. е существует c > 0 такая, что Р_z{τ ≤ с} = 1. Это заведомо выполнено в случае, когда марковский момент τ имеет вид τ = τ₁∧t, где τ₁ — некоторый другой марковский момент, a t — фиксированный момент времени.

Формула (3) является дискретным стохастическим аналогом известной в дифференциальном исчислении формулы Ньютона —Лейбница.

Зафиксируем в пространстве состояний Z подмножество В. Пусть τ = inf {t: t ≥ 1, z_t∈B} — время первого (после t = 0) попадания процесса z_t в подмножество В. Величина z_t является марковским моментом для процесса z,. Определим новый процесс z_t* формулой
z_t* = z_t, если t≤τ;
z_t* = z_τ, если t>τ.

Скажем, что процесс z_t* получен из z_t остановкой в множестве В: z_t* — процесс, остановленный в множестве В. Понятие остановленного процесса будет нами широко использоваться. Это связано с тем, что поведение процесса до момента остановки при специальном выборе подмножества В часто определяет поведение исследуемого процесса на всем временном интервале. А в некоторых задачах вообще интересуются лишь течением процесса до момента достижения некоторого подмножества В.

С помощью формулы (4) можно ввести более общее понятие процесса, полученного из исходного остановкой в момент τ {не обязательно совпадающий с моментом первого достижения некоторого множества).

Рассмотрим важный частный случай, когда процесс z, задается рекуррентным соотношением.

Пусть — последовательность независимых одинаково распределенных конечномерных случайных векторов, принимающих значения из пространства Н. Пусть F (z, ξ) —функция, заданная на ZxH и принимающая значения из Z. Положим

z_t+1 = F(z_t, ξ_t). (5)

Так определенный процесс z_t, очевидно, является однородным марковским. И непосредственно из (5) можно извлечь ряд полезных свойств этого процесса. Так, если функция F(z, ξ) удовлетворяет при некоторых γ>0 и k_i > 0, i=1, 2, условию

M||F(z, ξ)||^γ ≤ k₁(k₂ + ||z||^γ

то при всех t ≥ 1 и любом z∈Z справедлива оценка
M_z||z_t||^γ ≤ k₁(1 — k₁)^-1(1 — k₁^t)k₂ + k₁^t||z_t||^γ < ∞. Если, например, ||F(z, ξ)|| ≤ L (||z|| + ||ξ||), где L > 0 — некоторая постоянная, и M||ξ||^γ = m_τ < ∞, γ > 0, то

M||F(z, ξ)||_γ ≤ L^γ2^γ{m_γ + ||z||^γ),

и, следовательно, указанное свойство выполнено.

Обозначим через Р_ξ распределение вектора ξ (нижний индекс t будем опускать, когда это не вызывает недоразумений). Тогда из формул (1), (5) следует, что производящий оператор задается соотношением

А V (z) = ∫ Р_ξ (dy) V [F (z, у)] — V (z). (6)

Комментарии запрещены.