diff --git a/Lectures/6_Semester/Random_Processes/2024_Bogachev/info.tex b/Lectures/6_Semester/Random_Processes/2024_Bogachev/info.tex new file mode 100644 index 0000000..3ee893b --- /dev/null +++ b/Lectures/6_Semester/Random_Processes/2024_Bogachev/info.tex @@ -0,0 +1,5 @@ +\section*{Предупреждение} + +Единственный, кто несёт ответственность материал в этом конспекте --- его автор. Он не может гарантировать верность ни утверждений, ни приведённых доказательств, однако старается исправлять все поступающие замечания по мере сил. + +Если вы увидели несостыковки либо ошибки, то смело сообщайте (имя автора на титульной странице кликабельно). \ No newline at end of file diff --git a/Lectures/6_Semester/Random_Processes/2024_Bogachev/lectures/10lecture.tex b/Lectures/6_Semester/Random_Processes/2024_Bogachev/lectures/10lecture.tex new file mode 100644 index 0000000..0a3ead7 --- /dev/null +++ b/Lectures/6_Semester/Random_Processes/2024_Bogachev/lectures/10lecture.tex @@ -0,0 +1,189 @@ +\section{Ветвящиеся процессы Гальтона-Ватсона} + +\begin{definition} + \textit{Процессом Гальтона-Ватсона} называется однородная цепь Маркова $Z$ с фазовым пространством $E = \N_0$, начальным распределением $\pi_0$ и переходными вероятностями следующего вида: + \[ + p_{k, j} = P(Z_{n + 1} = j | Z_n = k) = p_j^{*k}, k > 0 + \] + при этом $p_{0, 0} = 1$, $p_{0, j} = 0$ и + \[ + p_j^{*k} = \sum_{j_1 \plusdots j_k = j} p_{j_1} \cdot \ldots \cdot p_{j_k} + \] + где $(p_0, p_1, \ldots)$ --- вероятностное распределение на $\N_0$. +\end{definition} + +\begin{note} + $\pi_0$, вообще говоря, может быть любым, но далее мы предполагаем детерминрованный вариант $\pi_0(1) = 1$. +\end{note} + +\begin{note} + Процесс Гальтона-Ватсона можно записать и другим образом. Пусть $\{\xi_k\}_{k = 1}^\infty$ --- независимые случайные величины с общим распределением: + \[ + P(\xi_k = m) = p_m + \] + Тогда $p_j^{*k} = P(\xi_1 \plusdots \xi_k = j)$. +\end{note} + +\begin{note} + Интерпретация рассматриваемого процесса Гальтона-Ватсона такова: наблюдается процесс смены поколений частиц. Частица живёт 1 единицу времени, и в начале была ровно 1 частица. Каждая частица может породить произвольное число потомков согласно вероятностному распределению $(p_0, p_1, \ldots)$. На моменте времени 2 уже, естественно, будет не одна частица, но все они могут породить потомков по этому же распределению, и так далее. + + Число частиц в $n$-м поколении есть $Z_n$. Если $\xi_k^{(n)}$ --- случайная величина, отвечающая количеству потомков от $k$-й частицы в $(n - 1)$-м поколении, то + \[ + Z_n = \sum_{k = 1}^{Z_{n - 1}} \xi_k^{(n)}, n \ge 1;\ Z_0 = 1 + \] +\end{note} + +\begin{problem} + Найти вероятность вырождения процесса Гальтона-Ватсона, то есть вероятность того, что все частицы умрут: + \[ + q = P(\exists n \in \N \colon Z_n = 0) + \] + Также должно быть понятно, что $q = \lim_{n \to \infty} q_n$, где $q_n := P(Z_n = 0)$. +\end{problem} + +\begin{note} + Отсюда и до конца параграфа, если не сказано явно другого, любая случайная величина рассматривается со значениями в $\N_0$. +\end{note} + +\begin{definition} \textcolor{red}{(не по лектору)} + \textit{Производящей функцией случайной величины $\xi$} называется производящая функция, у которой коэффициенты при степени $z^k$ соответствуют $P(\xi = k)$. +\end{definition} + +\begin{proposition} + Пусть $\xi$ --- случайная величина. Тогда её производящая функция может быть записана как + \[ + \forall z \in \Cm, |z| \le 1\ \ \phi_\xi(z) = \E z^\xi = \sum_{k \ge 0} P(\xi = k)z^k + \] +\end{proposition} + +\begin{proof} + Тривиально +\end{proof} + +\begin{proposition} + Пусть $\xi$ --- случайная величина. Тогда производящая функция $\phi_\xi(z) = \E z^\xi$ определена в замкнутом единичном круге, задаёт аналитическую функцию на внутренности и непрерывную на замыкании, причём $\phi_\xi(1) = 1$ и $\phi'_\xi(1) = \E\xi$ +\end{proposition} + +\begin{note} + Если в производящей функции положить $z = e^{it}$, то получится преобразование Фурье. +\end{note} + +\begin{lemma} (рекуррентность харфункции процесса Гальтона-Ватсона) + Имеет место формула: + \[ + \forall z \in \Cm, |z| \le 1\ \ \phi_{Z_n}(z) = \phi_{Z_{n - 1}}(\phi_\xi(z)) + \] +\end{lemma} + +\begin{proof} + Заметим, что $|\phi_\xi(z)| \le 1$ при $|z| \le 1$. Найдём вид для $\E(z^{Z_n} | Z_{n - 1})$: + \begin{multline*} + \E(z^{Z_n} | Z_{n - 1} = m) = \E\ps{z^{\sum_{k = 1}^{Z_{n - 1}} \xi_k^{(n)}} | Z_{n - 1} = m} = \E\ps{z^{\sum_{k = 1}^m \xi_k^{(n)}} | Z_{n - 1} = m} = [1] = + \\ + \E\ps{z^{\sum_{k = 1}^m \xi_k^{(n)}}} = \E\ps{\prod_{k = 1}^m z^{\xi_k^{(n)}}} = \prod_{k = 1}^m \E(z^{\xi_k^{(n)}}) = \phi_\xi(z)^m + \end{multline*} + Пояснение 1: $Z_{n - 1} = \sum_{k = 1}^{Z_{n - 2}} \xi_k^{(n - 1)}$ по определению, то есть $Z_{n - 1}$ зависит только от $\xi_k^{(l)}$, где $l \le n - 1$. Значит, $Z_{n - 1}$ независимо со всеми $\xi_k^{(n)}$. Итого: + \[ + \E(z^{Z_n} | Z_{n - 1}) = \phi_\xi(z)^{Z_{n - 1}} + \] + Применяя формулу полной вероятности в рамках УМО, получим + \[ + \phi_{Z_n}(z) = \E z^{Z_n} = \E(\E(z^{Z_n} | Z_{n - 1})) = \E(\phi_\xi(z)^{Z_{n - 1}}) = \phi_{Z_{n - 1}}(\phi_\xi(z)) + \] +\end{proof} + +\begin{corollary} + Для $\phi_{Z_n}(z)$ имеет место формула + \[ + \phi_{Z_n}(z) = \underbrace{\phi_\xi(\cdots \phi_\xi(\phi_\xi}_{n}(z)) \cdots) + \] + Отсюда же $\phi_{Z_n}(z) = \phi_\xi(\phi_{Z_{n - 1}}(z))$ +\end{corollary} + +\begin{proof} + Проведём индукцию по $n$: + \begin{itemize} + \item База $n = 0$: $\phi_{Z_0}(z) = \E z^1 = z$ + + \item Переход $n > 0$: + \[ + \phi_{Z_n}(z) = [\text{лемма}] = \phi_{Z_{n - 1}}(\phi_\xi(z)) = \underbrace{\phi_\xi(\cdots \phi_\xi}_{n - 1}(\phi_\xi(z)) \cdots) + \] + \end{itemize} +\end{proof} + +\begin{lemma} + Вероятность вырождения $q$ является неподвижной точкой $\phi_\xi$: + \[ + q = \phi_\xi(q) + \] +\end{lemma} + +\begin{proof} + В силу рекуррентных формул для производящей функции $Z_n$: + \[ + q_n := P(Z_n = 0) = \phi_{Z_n}(0) = \phi_\xi(\phi_{Z_{n - 1}}(0)) = \phi_\xi(q_{n - 1}) + \] + Сделаем предельный переход с обеих сторон: + \[ + \lim_{n \to \infty} q_n = q = \lim_{n \to \infty} \phi_\xi(q_{n - 1}) = \phi_\xi(\lim_{n \to \infty} q_{n - 1}) = \phi_\xi(q) + \] +\end{proof} + +\begin{note} + Из вышесказанного совершенно не обязательно, что $q = 1$, ведь у $\phi_\xi$ может быть много неподвижных точек. +\end{note} + +\begin{theorem} + Пусть $P(\xi = 1) < 1$. Тогда + \begin{itemize} + \item Если $\E\xi \le 1$, то уравнение $z = \phi_\xi(z)$ имеет единственное решение на $[0; 1]$. (Следовательно, $q = 1$) + + \item Если $\centernot\exists \E\xi$ или $\E\xi > 1$, то уравнение $z = \phi_\xi(z)$ имеет единственное решение на $\lsi{0; 1}$. (Причём $q = z_0 \in \lsi{0; 1}$) + \end{itemize} +\end{theorem} + +\begin{note} + Таким образом, $q$ всегда равно наименьшему корню уравнения $z = \phi_\xi(z)$ на $[0; 1]$. +\end{note} + +\begin{proof} + Для начала отметим, что функция $\phi_\xi$ выпукла вниз на $\lsi{0; 1}$: + \[ + \forall x \in \lsi{0; 1}\ \ \phi'_\xi(x) = \sum_{k \ge 1} P(\xi = k)kx^{k - 1} \ge 0;\ \ \phi''_\xi(x) = \sum_{k \ge 2} P(\xi = k)k(k - 1)x^{k - 2} \ge 0 + \] + Причём $\phi_\xi(0) = P(\xi = 0) \ge 0$, $\phi_\xi(1) = 1$. Произведём большой разбор случаев: + \begin{itemize} + \item $P(\xi = 0) = 1$. Тогда $\phi_\xi = 1$, $\E\xi = 0$ тривиальным образом + + \item $P(\xi = 0) < 1 \wedge \forall x \in \lsi{0; 1}\ \phi''_\xi(x) = 0$. Тогда, можно решить дифференциальное уравнение и найти $\phi_\xi(x) = P(\xi = 0) + xP(\xi = 1)$. Отсюда $\E \xi \le 1$ и $x = 1$ --- единственный корень уравнения $x = \phi_\xi(x)$ + + \item $P(\xi = 0) < 1 \wedge \phi''_\xi|_{\lsi{0; 1}} \neq 0$. Из формы $\phi''_\xi$ в виде ряда видно, что \\ $\forall x \in (0; 1)\ \phi''_\xi(x) > 0$, поэтому кроме корня 1 может быть только ещё один корень $x_0 \in \lsi{0; 1}$. + \begin{itemize} + \item $\phi'_\xi(1) = \E\xi \le 1$. Тогда, второго корня нет, ибо $\phi_\xi(z) \ge z$ при $z \in [0; 1]$ из-за выпуклости вниз. + + \item $\E\xi > 1$ либо $\E\xi = +\infty$. Тогда, есть ровно один корень $x_0 \in \lsi{0; 1}$. Покажем, что $q = x_0$ в таком случае. Для этого достаточно проверить, что $q_n \le x_0$. Сделаем это по индукции: + \begin{itemize} + \item База $n = 0$: $q_0 = \phi_\xi(0) \le \phi_\xi(x_0) = x_0$. + + \item Переход $n > 0$: $\phi_\xi(q_{n - 1}) = q_n \ge q_{n - 1}$, поэтому $\phi_\xi(q_n) - q_n \ge 0$, а отсюда сразу $q_n \le z_0$ в силу известных свойств $\phi_\xi$. + \end{itemize} + \end{itemize} + \end{itemize} +\end{proof} + +\begin{example} + Рассмотрим бинарное деление частиц: с вероятностью $p$ частица производит 2х потомков, либо с вероятностью $1 - p$ просто умирает. Тогда, вероятность вырождения --- это корень уравнения + \[ + x = (1 - p) + px^2 + \] + Отсюда $q = (1 - p) / p$ при $p > 1 / 2$ и $q = 1$ иначе. +\end{example} + +\begin{example} + В случае деления частиц с геометрическим распределением ($P(\xi = k) = (1 - p)p^k$, $p \in (0; 1)$), получится уравнение + \[ + x = \frac{1 - p}{1 - xp} + \] + В результате $q$ принимает те же значения, что и в предыдущем примере. Величину $p$ можно однозначно определить по $\E\xi = p / (1 - p)$, поэтому если $\E\xi = 6.5$, то уже $q = 5 / 6 > 0.8$ (огромная вероятность вырождения). +\end{example} \ No newline at end of file diff --git a/Lectures/6_Semester/Random_Processes/2024_Bogachev/lectures/11lecture.tex b/Lectures/6_Semester/Random_Processes/2024_Bogachev/lectures/11lecture.tex new file mode 100644 index 0000000..fff587d --- /dev/null +++ b/Lectures/6_Semester/Random_Processes/2024_Bogachev/lectures/11lecture.tex @@ -0,0 +1,113 @@ +\section{Модель страхования Крамера-Лундберга} + +\begin{problem} + Предположим, что мы --- страховая компания. Помимо желания заработать, нам также важно понимать, можем ли мы разориться, и если да, то когда. Пусть $T = \R_+$, $X_t$ --- размер капитала в момент времени $t \in T$, $c > 0$ --- скорость поступления страховых взносов, $\eta_0 > 0$ --- начальный капитал, а $\eta_k$ --- сумма выплат по $k$-му страховому случаю и $N_t$ означает число таких случае до момента $t$ включительно. Тогда, капитал можно описать следующей формулой: + \[ + X_t = \eta_0 + ct - \sum_{k = 1}^{N_t} \eta_k + \] + Вполне логично ожидать, что $(N_t)_{t \in T}$ является пуассоновским процессом интенсивности $\lambda > 0$, $\{\eta_k\}_{k = 1}^\infty$ --- независимые одинаково распределённые неотрицательные величины, причём эта последовательность также независима с $N$. Момент разорения $\tau \colon \Omega \to T \cup \{+\infty\}$ можно задать так: + \[ + \tau(\omega) = \inf \{t \in T \colon X_t < 0\} + \] + Соответствено, вся задача свелась к изучению $P(\tau < +\infty)$. Также мы потребуем, что $a = \E\eta_1 > 0$, $c - \lambda a > 0$ и $\psi(v) = \E e^{v\eta_1} < \infty$ для всех $v > 0$. +\end{problem} + +\begin{proposition} + У процесса $X$ независимые приращения и непрерывные справа траектории. +\end{proposition} + +\begin{proof}~ + \begin{itemize} + \item (Независимость приращений) Рассмотрим $0 \le t_1 < t_2 < t_3 < t_4$. Найдём вид $X_{t_2} - X_{t_1}$: + \[ + X_{t_2} - X_{t_1} = c(t_2 - t_1) - \sum_{k = 1}^{N_{t_2}} \eta_k + \sum_{k = 1}^{N_{t_1}} \eta_k + \] + В силу того, что приращения пуассоновского процесса принимают неотрицательные значения, $N_{t_1} \le N_{t_2}$. Тогда + \[ + X_{t_2} - X_{t_1} = c(t_2 - t_1) - \sum_{k = N_{t_1} + 1}^{N_{t_2}} \eta_k + \] + Отсюда видно, что $X_{t_2} - X_{t_1} = \phi(\eta_{N_{t_1} + 1}, \ldots \eta_{N_{t_2}})$. Этот набор не пересекается с набором для $X_{t_4} - X_{t_3}$, поэтому приращения обязаны быть независимыми. \textcolor{red}{Это не совсем правда, может быть ситуация $N_{t_2} = N_{t_3}$, да и даже так, наборы случайных величин не фиксированы} + + \item (Непрерывность справа траекторий) Зафиксируем $\omega \in \Omega$. Тогда + \[ + X(t, \omega) - X(t_0, \omega) = c(t - t_0) - \sum_{k = N(t_0, \omega)}^{N(t, \omega)}\eta_k(\omega) + \] + Часть $c(t - t_0)$ тривиально будет стремится к нулю при $t \to t_0+$. Так как слагаемые под знаком суммы не зависят от $t$, вопрос становится лишь в том, почему $N(t, \omega) - N(t_0, \omega)$ будет стремится к нулю при $t \to t_0+$ для почти всех $\omega \in \Omega$, а это известный факт: у пуассоновского процесса $P$-почти наверное траектории непрерывны справа. + \end{itemize} +\end{proof} + +\begin{lemma} (без доказательства) + Пусть $s < t$. Тогда + \[ + \E\exp(-v(X_t - X_s)) = \exp((t - s)g(v)),\ g(v) = \lambda(\psi(v) - 1) - vc + \] +\end{lemma} + +\begin{proof} + Подставим процесс $X$: + \[ + X_t - X_s = c(t - s) - \sum_{k = N_s + 1}^{N_t} \eta_k + \] + Тогда + \[ + \E\exp(-v(X_t - X_s)) = e^{-vc(t - s)}\E\exp\ps{v\sum_{k = N_s + 1}^{N_t} \eta_k} = e^{-vc(t - s)}\E\ps{\prod_{k = N_s + 1}^{N_t} e^{v\eta_k}} + \] + Последнее математическое ожидание можно посчитать через разбиение $\Omega$ на подмножества $B_{m_s, m_t} = \{N_s = m_s \le m_t = N_t\}$. Тогда + \begin{multline*} + \E\ps{\prod_{k = N_s + 1}^{N_t} e^{v\eta_k} \cdot \chi_{B_{m_s, m_t}}} = \E\ps{\prod_{k = m_s + 1}^{m_t} e^{v\eta_k}\chi_{B_{m_s, m_t}}} = \prod_{k = m_s + 1}^{m_t} \E(e^{v\eta_k}\chi_{B_{m_s, m_t}}) = + \\ + [\text{$\eta_k$ одинаково распр.}] = \prod_{k = m_s + 1}^{m_t} \E(e^{v\eta_1}\chi_{B_{m_s, m_t}}) = \E(e^{v\eta_1}\chi_{B_{m_s, m_t}})^{m_t - m_s} + \end{multline*} + Отсюда + \[ + \E\ps{\prod_{k = N_s + 1}^{N_t} e^{v\eta_k}} = \sum_{m_s \le m_t} \E(e^{v\eta_1}\chi_{B_{m_s, m_t}})^{m_t - m_s} + \] + \textcolor{red}{Допридумать} +\end{proof} + +\begin{proposition} + Случайный процесс $M_t = \exp(-vX_t - tg(v))$ является мартингалом относительно фильтрации $(\F_t)_{t \in T}$, порождённой $X$. +\end{proposition} + +\begin{proof} + Согласованность очевидна. Свойство сужения проверяется классическим образом, через выделение приращения: + \begin{multline*} + \E(M_t | \F_s) = \E\big(\exp(-v(X_t - X_s) - vX_s -tg(v)) | \F_s\big) = + \\ + \exp(-vX_s - tg(v))\E(\exp(-v(X_t - X_s)) | \F_s) = + \\ + [\text{приращения незав.}] = \exp(-vX_s - tg(v))\E\exp(-v(X_t - X_s)) = + \\ + [\text{лемма}] = \exp(-vX_s - tg(v) + (t - s)g(v)) = \exp(-vX_s - sg(v)) = M_s + \end{multline*} +\end{proof} + +\begin{solution} + Итак, мы бы снова хотели пользоваться теоремой об остановке, но для $\tau$ ничего не знаем. Зато для всякого $t > 0$ величина $\tau_t = \min\{t, \tau\}$ является ограниченным моментом остановки. Отсюда + \begin{multline*} + e^{-v\eta_0} = M_0 = \E M_0 = [\text{т. об остановке}] = \E M_{\tau_t} \ge \E M_{\tau_t}\chi_{\tau \le t} = \E M_\tau\chi_{\tau \le t} = + \\ + \E\exp(-vX_\tau - \tau g(v))\chi_{\tau \le t} \ge [\text{$X_\tau \le 0$ в силу непр. справа}] \ge + \\ + \E \exp(-\tau g(v))\chi_{\tau \le t} \ge P(\tau \le t)\min_{s \in [0; t]} \exp(-sg(v)) + \end{multline*} + Таким образом + \[ + P(\tau \le t) \le e^{-v\eta_0}\max_{s \in [0; t]} \exp(sg(v)) + \] + Нужно происследовать выражение справа на минимум. + \begin{itemize} + \item $g(v) \le 0$. Тогда $s = 0$ и $\max = 1$. Из всех таких $v$ нужно брать максимальное, чтобы сомножитель $e^{-v\eta_0}$ становился как можно меньше. + + \item $g(v) \ge 0$. Тогда $s = t$ и $\max = e^{tg(v)} \ge 1$. Оценка получается $P(\tau \le t) \le \exp(tg(v) - v\eta_0)$. Требуется исследовать на минимум $g_1(v) = tg(v) - v\eta_0$ + \end{itemize} + Для начала поймём поведение $g$. Посчитаем первую и вторую производные: + \[ + g'(v) = \lambda\psi'(v) - c;\ \ g''(v) = \lambda\psi''(v) + \] + Так как $\psi(v) = \E e^{v\eta_1}$, то $\psi'(v) = \E \eta_1 e^{v\eta_1}$ и $\psi''(v) = \E \eta_1^2e^{v\eta_1}$. Значит, $g''(v) \ge 0$ при $v \ge 0$, то есть $g$ выпукла вниз. При этом $g(0) = 0$ и $g'(0) = \lambda a - c < 0$, а значит у $g$ существует единственный корень $v_0 > 0$ уравнения $g(v) = 0$. Этот корень даёт оценку + \[ + P(\tau \le t) \le e^{-v_0\eta_0} + \] + \textcolor{red}{Поиск минимума $g_1(v)$ просто не производим, либо можно как-то показать, что $v_0$ будет лучшим вариантом и для него.} +\end{solution} \ No newline at end of file diff --git a/Lectures/6_Semester/Random_Processes/2024_Bogachev/lectures/1lecture.tex b/Lectures/6_Semester/Random_Processes/2024_Bogachev/lectures/1lecture.tex index 169c571..a5766f1 100644 --- a/Lectures/6_Semester/Random_Processes/2024_Bogachev/lectures/1lecture.tex +++ b/Lectures/6_Semester/Random_Processes/2024_Bogachev/lectures/1lecture.tex @@ -1,7 +1,7 @@ \section{Случайный процесс} \begin{definition} - Пусть $T \neq \emptyset$ --- произвольное множество. \textit{Случайным процессом} называется кортеж $\xi = (\xi_t)_{t \in T}$ из случайных величин на пространстве $(\Omega, \F, P)$ + Пусть $T \neq \emptyset$ --- произвольное множество. \textit{Случайным процессом значениями из $E$} называется кортеж $\xi = (\xi_t)_{t \in T}$ из случайных величин на вероятностном пространстве $(\Omega, \F, P)$, действующих в $(E, \cE)$. \end{definition} \begin{note} @@ -9,7 +9,7 @@ \section{Случайный процесс} \end{note} \begin{note} - Получается, что $\xi_t(\omega) = \xi(t, \omega) \colon T \times \Omega \to E$ --- функция двух переменных ($E$ --- просто обозначение множества значений), измеримая по второму из них. Если мы зафиксируем $\omega \in \Omega$, то получим (в рассмотрении $T$ как времени) некоторый \textit{детерминированный сценарий} процесса. + Получается, что $\xi_t(\omega) = \xi(t, \omega) \colon T \times \Omega \to E$ --- функция двух переменных, измеримая по второму из них. Если мы зафиксируем $\omega \in \Omega$, то получим (в рассмотрении $T$ как времени) некоторый \textit{детерминированный сценарий} процесса. \end{note} \begin{definition} @@ -27,10 +27,12 @@ \section{Случайный процесс} \] \end{example} +\subsection{Распределение на пространстве функций} + \begin{reminder} Пусть задано вероятностное пространство $(\Omega, \F, P)$ и случайная величина $\xi \colon \Omega \to \R$ на нём. Тогда \textit{распределением случайной величины} называется следующая мера на $(\R, \B(\R))$: \[ - \forall B \in \B(\R)\ \ P_\xi(B) = P(\xi \in B) + \forall B \in \B(\R)\ \ P_\xi(B) = P(\xi \in B) \] \end{reminder} @@ -44,14 +46,19 @@ \section{Случайный процесс} \begin{reminder} Пусть $\xi_1, \ldots, \xi_n$ --- случайные величины. Тогда они независимы в совокупности тогда и только тогда, когда распределение вектора, составленного из них, распадается на компоненты: \[ - \forall B_1 \times \ldots \times B_n = B \in \B(\R^n)\ \ P_{(\xi_1, \ldots, \xi_n)^T}(B) = P_{\xi_1}(B_1) \cdot \ldots \cdot P_{\xi_n}(B_n) + \forall B_1 \times \ldots \times B_n = B \in \B(\R^n)\ \ P_{(\xi_1, \ldots, \xi_n)^T}(B) = P_{\xi_1}(B_1) \cdot \ldots \cdot P_{\xi_n}(B_n) \] \end{reminder} -\subsection{Распределение на пространстве функций} +\begin{note} + Есть более общее понятие, описывающее подобные меры. Пусть $(\Omega, \F, P)$ --- вероятностное пространство, $(E, \cE)$ --- измеримое пространство, $f \colon \Omega \to E$ --- измеримое отображение относительно $\F|\cE$. Тогда \textit{образом меры $P$ при отображении $f$} называется мера $P \circ f^{-1} \colon E \to [0; 1]$: + \[ + P \circ f^{-1}(E) = P(f^{-1}(E)) + \] +\end{note} \begin{note} - Мы хотим определить аналогичные понятия случайных величин и векторов, но на уровне процессов. Когда мы говорим о распределении случайной величины, то подразумеваем вероятность попадания в некоторое подмножество множества значений. Аналогично и тут, только так как каждое $\omega \in \Omega$ делает из случайного процесса функцию $T \to E$, то мы должны рассматривать подмножества пространства $E^T$. + Мы хотим определить аналогичные понятия случайных величин и векторов, но на уровне процессов. Когда мы говорим о распределении случайной величины, то подразумеваем вероятность попадания в некоторое подмножество множества значений. Аналогично и тут, только так как каждое $\omega \in \Omega$ делает из случайного процесса функцию $T \to E$, то мы должны рассматривать подмножества пространства траекторий $E^T$. \end{note} \begin{note} @@ -59,23 +66,37 @@ \subsection{Распределение на пространстве функц \end{note} \begin{note} - На пространстве $\R^T$ хочется определить $\sigma$-алгебру. Это можно сделать разными способами. В частности, можно рассмотреть измеримую функцию $\R^T \to \R$ и взять $\sigma$-алгебру, порождённую ей. + На пространстве $\R^T$ нужно определить $\sigma$-алгебру. Это можно сделать разными способами. В частности, можно рассмотреть измеримую функцию $\R^T \to \R$ и взять $\sigma$-алгебру, порождённую ей. \end{note} -\begin{definition} \textcolor{red}{не по лектору} - Пусть даны измеримые функции $f_n \colon X \to E$ из пространства $(X, \F)$ в $(E, \cE)$. Тогда $\sigma$-алгеброй $\cA$, порождённой функциями $f_n$, называется следующая сигма-алгебра: +\begin{definition} \textcolor{red}{(не по лектору)} + Пусть даны измеримые функции $f_a \colon X \to E$, $a \in A$ из пространства $(X, \F)$ в $(E, \cE)$. Тогда \textit{$\sigma$-алгеброй $\cA$, порождённой функциями $\{f_a\}_{a \in A}$}, называется следующая сигма-алгебра: \[ - \cA = \sigma\ps{\bigcup_{n = 1}^\infty \F_{f_n}} + \cA = \sigma\ps{\bigcup_{a \in A} \F_{f_a}} \] \end{definition} \begin{definition} - $\sigma$-алгеброй пространства $\R^T$ называется $\sigma$-алгебра, порождённая следующими функциями на $\R^T$ (они же \textit{проекторы}): + $\sigma$-алгеброй пространства $\R^T$ называется $\sigma$-алгебра, порождённая следующими функциями на $\R^T$ (они же \textit{проекторы} $\R^T \to \R$): \[ \forall t \in T\ \ \phi_t(x) = x(t) \] \end{definition} +\begin{anote} + Поймём, какую $\sigma$-алгебру порождает проектор. Её можно описать так: + \[ + \sigma(\phi_t) = \sigma\big(\big\{\{x \in \R^T \colon x(t) \in B\}, B \in \B(\R)\big\}\big) + \] +\end{anote} + +\begin{definition} \textcolor{red}{(не по лектору)} + \textit{Элементарным цилиндром в $\R^T$} называется множество следующего вида: + \[ + C_{t, B} = \{x \in \R^T \colon x(t) \in B\} + \] +\end{definition} + \begin{definition} \textit{Цилиндром} в $\R^T$ называется множество, описываемое следующим образом: \[ @@ -83,20 +104,32 @@ \subsection{Распределение на пространстве функц \] \end{definition} -\begin{note} - Несложно увидеть, что $C_{t_1, \ldots, t_n, B} \in \sigma(\R^T)$. \textcolor{red}{Сложно. Вообще всё выше выглядит как какой-то обман} -\end{note} +\begin{anote} + Мы разрешаем ситуации, когда $t_i = t_j$. Если вдруг нужно, чтобы все точки были различными, то такой цилиндр можно запросто переписать (при помощи пересечений условий на $t_i = t_j$). +\end{anote} + +\begin{proposition} \textcolor{red}{(не по лектору)} + $C_{t_1, \ldots, t_n, B} \in \sigma(\R^T)$ +\end{proposition} + +\begin{proof} + Пусть $t_i \in T$, $B = B_1 \times \ldots \times B_n \in \B(\R^n)$. Внимательно сравним пересечение элементарных цилиндров с цилиндром: + \[ + \bigcap_{i = 1}^n C_{t_i, B_i} = \{x \in \R^T \colon (x(t_1), \ldots, x(t_n)) \in B\} = C_{t_1, \ldots, t_n, B} + \] + Однако, не каждое множество из $\B(\R^n)$ может быть разложено в прямое произведение. Тем не менее, известно, что система таких произведений порождает $\B(\R^n)$. С учетом того, что операции над цилиндрами с одинаковым набором $\{t_i\}_{i = 1}^n$ дают цилиндр с тем же набором, имеем $C_{t_1, \ldots, t_n, B} \in \sigma(\R^T)$. +\end{proof} \begin{proposition} Цилиндры в $\R^T$ образуют алгебру множеств. \end{proposition} \begin{proof} - Для примера покажем, как из двух цилиндров получить объединенный: + Для примера покажем, как из двух цилиндров получить объединённый: \[ C_{t_1, \ldots, t_n, B} = \{x \in \R^T \colon (x(t_1), \ldots, x(t_n))^T \in B\},\ C_{s_1, \ldots, s_m, B'} = \{x \in \R^T \colon (x(s_1), \ldots, x(s_m)) \in B'\} \] - Добавим к $(t_k)_{k = 1}^n$ в конец недостающие $s_l$. Тогда в описании первого цилиндра добавим $B \times \R \times \ldots \times \R$ нужное число раз (для новых переменных). Со вторым цилиндром поступим аналогично, только может потребоваться поменять некоторые переменные местами и добавить измерения не <<в конец>>, а где-то <<между>> измерениями $B'$. + Приведём оба цилиндра к общему виду. Общий набор точек будет $(t_k)_{k = 1}^n \sqcup (s_l)_{l = 1}^m$. Тогда в первом цилиндре нужно поменять $B$ на $B \times \R \times \ldots \times \R$, а во втором --- на $R \times \ldots \times \R \times B'$. \end{proof} \begin{note} @@ -106,12 +139,25 @@ \subsection{Распределение на пространстве функц \begin{proposition} Имеет место следующее определение $\sigma(\R^T)$: \[ - E \in \sigma(\R^\N) \Lra \exists \{t_j\}_{j = 1}^\infty \subseteq T, B \in \B(\R^\N)\ \ E = \{x \in \R^\N \colon (x(t_1), x(t_2), \ldots) \in B\} + E \in \sigma(\R^T) \Lra \exists \{t_j\}_{j = 1}^\infty \subseteq T, B \in \B(\R^\N)\ \ E = \{x \in \R^T \colon (x(t_1), x(t_2), \ldots) \in B\} \] \end{proposition} -\begin{proof} - +\begin{proof} \textcolor{red}{(не по лектору)} + Покажем вложение в 2 стороны (пока что систему множеств справа обозначим за $\Tau$): + \begin{itemize} + \item[$\subseteq$] Очевидным образом, все элементарные цилиндры вложены в $\Tau$. Так как $\Tau$ очевидным образом является $\sigma$-алгеброй, то $\sigma(\R^T) \subseteq \Tau$. + + \item[$\supseteq$] Пусть $E \in \Tau$ и представляется следующим образом: + \[ + E = \{x \in \R^T \colon (x(t_1), x(t_2), \ldots) \in B\},\ t_i \in T,\ B \in \B(\R^\N) + \] + Тогда, определим $B_n \in \B(\R^n)$ как проекцию (или срезку) $B$ на первые $n$ координат. Аналогичным образом введём множества $E_n$: + \[ + E_n = C_{t_1, \ldots, t_n, B_n} = \{x \in \R^T \colon (x(t_1), \ldots, x(t_n)) \in B_n\} \in \sigma(\R^T) + \] + Отсюда $E = \bigcap_{n = 1}^\infty E_n$. Так как $\sigma$-алгебра всегда является и $\delta$-алгеброй, получаем $E \in \sigma(\R^T)$, а значит $\Tau \subseteq \sigma(\R^T)$ + \end{itemize} \end{proof} \begin{proposition} @@ -121,39 +167,55 @@ \subsection{Распределение на пространстве функц \item $\{x \in \R^T \colon x \ge 0\} \notin \sigma(\R^T)$ - \item $\{x \in \R^T \colon x \text{ возрастает }\} \notin \sigma(\R^T)$ + \item $\{x \in \R^T \colon x \text{ возрастает}\} \notin \sigma(\R^T)$ \end{itemize} \end{proposition} \begin{proof} - Всё дело в том, что в $\sigma$-алгебру попадают только такие множества, которые можно распознать по счётному числу точек. Ни один из примеров выше в эт(у категорию не попадает. Для примера, разберём пункт с непрерывными траекториями. Если $C[0; 1] \in \sigma(\R^T)$, то + Всё дело в том, что в $\sigma$-алгебру попадают только такие множества, которые можно распознать по счётному числу точек. Ни один из примеров выше в эту категорию не попадает. Для примера, разберём пункт с непрерывными траекториями. Если $C[0; 1] \in \sigma(\R^T)$, то \[ - \exists \{t_j\}_{j = 1}^\infty \subseteq [0; 1], B \in \B(\R^\N)\ \ C[0; 1] = \{x \in \R^\N \colon (x(t_1), x(t_2), \ldots) \in B\} + \exists \{t_j\}_{j = 1}^\infty \subseteq [0; 1], B \in \B(\R^\N)\ \ C[0; 1] = \{x \in \R^T \colon (x(t_1), x(t_2), \ldots) \in B\} \] - Как нам известно, в отрезке континуум точек. Возьмём $s \in [0; 1] \bs \{t_j\}_{j = 1}^\infty$. Тогда. мы можем <<испортить>> (лишить непрерывности) любую функцию, сделав скачок в этой точке. Получили противоречие. + Как нам известно, в отрезке континуум точек. Возьмём $s \in [0; 1] \bs \{t_j\}_{j = 1}^\infty$. Тогда, мы можем <<испортить>> (лишить непрерывности) любую функцию, сделав скачок в этой точке. Получили противоречие. \end{proof} +\begin{note} + Далее нам будет удобно обозначить $\B_T = \sigma(\R^T)$ +\end{note} + \begin{definition} - Пусть $\xi$ --- случайный процесс на пространстве $(\Omega, \F, P)$. Тогда \textit{распределением процесса} $P_\xi$ называется вероятностная мера на $\sigma(\R^T)$, заданная следующим образом: + Пусть $\xi$ --- случайный процесс на пространстве $(\Omega, \F, P)$. Тогда \textit{распределением процесса} $P_\xi$ называется вероятностная мера на $(\R^T, \B_T)$, заданная следующим образом: \[ P_\xi(C_{t_1, \ldots, t_n, B}) = P(\{\omega \in \Omega \colon (\xi_{t_1}(\omega), \ldots, \xi_{t_n}(\omega)) \in B\}) \] - В общем случае, можно написать так (здесь уже $B \in \B(\R^\N)$): + В общем случае, можно написать так: \[ - \forall E \in \sigma(\R^T)\ \ P_\xi(E) = P(\{\omega \in \Omega \colon (\xi_{t_1}(\omega), \xi_{t_2}(\omega), \ldots) \in B\}) + \forall E \in \B_T\ \ P_\xi(E) = P(\{\omega \in \Omega \colon \xi(\omega) \in E\}) \] \end{definition} \begin{note} - Разумный вопрос, который нужно задать к определению выше: а почему оно корректно? Говоря явно, мы не показали, что имеем право считать меру $P$ от множества в скобках. Для этого покажем, что множество таких подмножеств $\cA$ образует $\sigma$-алгебру: + Разумный вопрос, который нужно задать к определению выше: а почему оно корректно? Говоря явно, мы не показали, что имеем право считать меру $P$ от множества в скобках. Для этого покажем, что случайный процесс $\xi$ является $\F|\B_T$-измермым отображением. +\end{note} + +\begin{reminder} + Пусть $\xi \colon \Omega \to E$ --- отображение из $(\Omega, \F)$ в $(E, \cE)$. Если $\cM$ --- система множеств такая, что $\sigma(\cM) = \cE$, то $\xi$ является $\F|\cE$-измеримым отображением тогда и только тогда, когда оно является $\F|\cM$-измеримым. +\end{reminder} + +\begin{proposition} + Пусть $\xi$-случайный процесс. Тогда $\xi$ как отображение $\Omega \to \R^T$ является $\F|\B_T$ измеримым. +\end{proposition} + +\begin{proof} + Мы знаем, что $\B_T$ порождается алгеброй цилиндров, поэтому достаточно проверить измеримость на них: \[ - \cA = \Big\{\{\omega \in \Omega \colon (\xi_{t_1}(\omega), \xi_{t_2}(\omega), \ldots) \in B\} \in \F\Big\} + \forall \{t_i\}_{i = 1}^n \subseteq T, B \in \R^n\ \ \xi^{-1}(C_{t_1, \ldots, t_n, B}) = \{\omega \in \Omega \colon (\xi_{t_1}(\omega), \ldots, \xi_{t_n}(\omega)) \in B\} \in \F \] - Рассмотрим даже не все множества из $\cA$, а только их подкласс, когда внутри написано $\xi_{t_1}(\omega) \in (a; b)$ (должно быть тривиально, что они тоже внутри $\cA$ есть в силу свойств $\xi_{t_1}$). Несложно также заметить, что даже этот класс будет образовывать $\sigma$-алгебру: дополнение до элемента тривиально есть, а вместо счётного объединения достаточно посмотреть на счётное пересечение, у которого множество значений $B$ останется интервалом, а значит будет лежать в подклассе. Стало быть, вся исходная $\sigma$-алгебра <<схлопывается>> до этого подкласса. -\end{note} + По определению случайного процесса, все $\xi_t$ являются измеримыми отображениями. А раз так, то и вектор, составленный из них, измерим. Требуемое доказано. +\end{proof} \begin{definition} - Класс множеств $\cK$ называется \textit{компактным}, если для любой последовательности $K_n \in \cK$ с условием $\bigcup_{l = 1}^n K_l \neq \emptyset$ следует, что $\bigcup_{l = 1}^\infty K_l \neq \emptyset$. + Класс множеств $\cK$ называется \textit{компактным}, если для любой последовательности $K_n \in \cK$ с условием $\bigcap_{l = 1}^n K_l \neq \emptyset$ следует, что $\bigcap_{l = 1}^\infty K_l \neq \emptyset$. \end{definition} \begin{proposition} (без доказательства) diff --git a/Lectures/6_Semester/Random_Processes/2024_Bogachev/lectures/2lecture.tex b/Lectures/6_Semester/Random_Processes/2024_Bogachev/lectures/2lecture.tex index 717e175..5f92a2c 100644 --- a/Lectures/6_Semester/Random_Processes/2024_Bogachev/lectures/2lecture.tex +++ b/Lectures/6_Semester/Random_Processes/2024_Bogachev/lectures/2lecture.tex @@ -1,7 +1,3 @@ -\begin{note} - Далее нам будет удобно обозначить $\B_T = \sigma(\R^T)$ -\end{note} - \begin{note} Разумный вопрос, на который был дан однозначный ответ в рамках теории вероятностей: <<Если я задал некоторую функцию распределения, то существует ли случайный вектор, соответствующий ей?>> Так же и тут, но с заданным распределением $P$ на пространстве $(\R^T, \sigma(\R^T))$. Соответствующий процесс должен тоже быть в каком-то роде тождественным, то есть для каждого исхода (оно же траектория) выдавать его самого: \[ @@ -24,7 +20,7 @@ &{0, 0 \notin E} } \] - Казалось бы, тогда $\delta_0(\{0\}) = 1$, но есть нюанс: $\{0\} \notin \sigma(\R^T)$! В самом деле, как это уже обсуждалось ранее, для проверки свойства мы можем использовать не более чем счётное число точек, а для проверки константной траектории этого явно недостаточно. Более того, даже если мы произведём \textit{пополнение $\sigma(\R^T)$ алгебры по мере $\delta_0$} (то есть добавим в неё все множества, измеримые по $\delta_0$, причём их мера нулевая), то всё равно нулевая траектория не будет ему принадлежать (наше множество состоит из одного элемента, поэтому его максимум можно разбить на пустое и само себя, что бессмысленно). + Казалось бы, тогда $\delta_0(\{0\}) = 1$, но есть нюанс: $\{0\} \notin \sigma(\R^T)$! В самом деле, как это уже обсуждалось ранее: для проверки свойства мы можем использовать не более чем счётное число точек, а для проверки константной траектории этого явно недостаточно. Более того, даже если мы произведём \textit{пополнение $\sigma(\R^T)$ алгебры по мере $\delta_0$} (то есть добавим в неё все множества, измеримые по $\delta_0$, причём их мера нулевая), то всё равно нулевая траектория не будет ему принадлежать (наше множество состоит из одного элемента, поэтому его максимум можно разбить на пустое и само себя, что бессмысленно). \end{example} \begin{exercise} @@ -62,7 +58,7 @@ Эти свойства --- необходимые для того, чтобы набор мер на конечных пространствах соответствовал мере на пространстве траекторий. А можно ли что-то сказать в обратную сторону, то есть какие условия на набор достаточны? \end{note} -\begin{theorem} (Колмогорова о согласованных конечномерных распределениях, без доказательства) +\begin{theorem} (Колмогорова о согласованных конечномерных распределениях, без доказательства) \label{proc_existence_crit} Пусть $\{t_k\}_{k = 1}^\infty \subseteq T$. Если набор мер $\{P_{t_1, \ldots, t_n}\}$ обладает свойствами \begin{enumerate} \item Согласованность @@ -83,9 +79,21 @@ \end{theorem} \begin{proof} - Условия на набор мер позволяют корректно определить меру $P$ по последнему равенству. Проблема связана с тем, что цилиндр может быть представим разными способами, и если у нас нет условий теоремы, то гарантировать мы ничего не можем. Дальше остаётся проверить, что заданная равенством $P$ действительно является счётно-аддитивной мерой на алгебре цилиндров. Но чтобы доказать именно счётно-аддитивность, нужно использовать упражение про компактный класс. + Условия на набор мер позволяют корректно определить меру $P$ по последнему равенству. Проблема связана с тем, что цилиндр может быть представим разными способами, и если у нас нет условий теоремы, то гарантировать мы ничего не можем. Дальше остаётся проверить, что заданная равенством $P$ действительно является счётно-аддитивной мерой на алгебре цилиндров. Но, чтобы доказать именно счётно-аддитивность, нужно использовать упражение про компактный класс. \end{proof} +\begin{note} + Два условия согласованности из теоремы можно заменить на одно. Можно рассмотреть все конечные множества $S \subseteq T$, меры $P_S$ на $\R^S$. Тогда требуемое условие формулируется так: + \[ + \forall S_1 \subseteq S_2\ \Ra \text{проекция $P_{S_2}$ на $\R^{S_1}$ = $P_{S_1}$} + \] + где проекция меры на множество --- это естественное определение через исходную меру, где во всех убранных точках разрешается любое значение. +\end{note} + +\begin{note} + Если $T \subseteq \R$, то можно договориться упорядочивать точки $t_1 < \ldots < t_n$. Тогда, условия теоремы Колмогорова тоже можно упростить: второе больше не имеет смысла, а в первом нужно обязательно рассматривать согласованность при удалении произвольного $t_m$, а не только последнего. +\end{note} + \begin{note} \textcolor{red}{Сюда нужно какую-то затравку} \end{note} @@ -93,7 +101,7 @@ \begin{definition} Пусть $\xi, \eta$ --- случайные процессы на одном и том же пространстве $(\Omega, \F, P)$. Тогда $\eta$ называют \textit{версией (или модификацией)} $\xi$, если \[ - \forall t \in T\ \ \xi_t =^{P\text{ п.н.}} \eta_t + \forall t \in T\ \ \xi_t =\aal{P} \eta_t \] \end{definition} @@ -106,7 +114,7 @@ &{1, \omega = t} } \] - Понятно, что второй процесс не имеет нулевых траекторий, потому что всегда будет скачок при $t = \omega$. Однако, если мы посмотрим на процесс при фиксированном $t$, то заметим, что $\eta_t =^{\text{п.в.}} = 0$. Таким образом, $\eta$ является версией нулевого процесса $\xi$. + Понятно, что второй процесс не имеет нулевых траекторий, потому что всегда будет скачок при $t = \omega$. Однако, если мы посмотрим на процесс при фиксированном $t$, то заметим, что $\eta_t =\aal{\mu} 0$. Таким образом, $\eta$ является версией нулевого процесса $\xi$. \end{example} \begin{note} @@ -129,7 +137,7 @@ На самом деле, эта теорема позволяет построить версию с чисто непрерывными траекториями. Действительно, так как у нас остались <<плохие>> исходы меры ноль, то положим $\eta_t = 0$ в них. Этим мы не испортим версию, ибо затронули при любом фиксированном $t \in T$ только множество нулевой меры. \end{note} -\begin{lemma} (о сужении) +\begin{lemma} (о сужении вероятностного пространства) Пусть $\mu$ --- вероятностная мера на пространстве $(X, \F)$ и $X_0 \subseteq X$ --- множество с единичной верхней мерой $\mu^*(X_0) = 1$ (то есть в $X \bs X_0$ нет множеств из $\F$ положительной меры). Тогда $\mu$ можно сузить на $X_0$ в следующем смысле: \begin{enumerate} \item В $X_0$ есть $\sigma$-алгебра $\F_0 = \{X_0 \cap A, A \in \F\}$ diff --git a/Lectures/6_Semester/Random_Processes/2024_Bogachev/lectures/3lecture.tex b/Lectures/6_Semester/Random_Processes/2024_Bogachev/lectures/3lecture.tex new file mode 100644 index 0000000..b969700 --- /dev/null +++ b/Lectures/6_Semester/Random_Processes/2024_Bogachev/lectures/3lecture.tex @@ -0,0 +1,89 @@ +\begin{note} + Рассмотрим процессы, у которых при почти всех исходах имеется непрерывная траектория и $T = [a; b]$. Доказанная лемма позволяет строить распределения таких процессов не в исходном пространстве $(\R^T, \B_T)$, а в пространстве непрерывных траекторий $(C(T), \F)$, где $\F = \B_T \cap C[a; b]$ (это неформальная запись, на деле же каждый элемент из системы $\B_T$ надо пересечь с $C[a; b]$). + + Действительно, если при почти всех исходах траектории $\xi_t$ непрерывны, то $\mu^*_\xi(C[a; b]) = 1$ (если $E \subseteq \R^T \bs C[a; b]$, то $\mu_\xi(E) = P\{\omega \in \Omega \colon \xi(\omega) \in E\} = 0$). + + Важно отметить, что подобное сужение процесса $\xi$ не будет являться его версией! В определении версии мы не разрешали как-либо менять исходное пространство. +\end{note} + +\begin{exercise} + Доказать, что $C[a; b]$ --- полное сепарабельное линейное нормированное пространство. +\end{exercise} + +\begin{corollary} + Существует $\B(C[a; b])$ --- борелевская $\sigma$-алгебра на пространстве непрерывных функций. +\end{corollary} + +\begin{exercise} + Доказать, что $\B(C[a; b]) = \B_T \cap C[a; b]$. То есть, борелевская $\sigma$-алгебра на пространстве непрерывных функций порождается функциями-проекторами. +\end{exercise} + +\section{Процессы с независимыми приращениями} + +\begin{note} + В теории вероятностей крайне важна концепция последовательности независимых случайных величин. Аналогичным вопрос можно рассмотреть и для процессов (потребовать $t \neq s \Ra \xi_t \indep \xi_s$), но такой подход ни к чему не приведёт. Как оказалось, удачной формулировкой будет требовать независимость не значений в разных точках, а приращений между ними. +\end{note} + +\begin{definition} + Пусть $T \subseteq \R$. Случайный процесс $\xi$ имеет \textit{независимые приращения}, если + \[ + \forall \{t_i\}_{i = 1}^n \subseteq T,\ t_i < t_{i + 1}\ \ (\xi_{t_2} - \xi_{t_1}) \indep \ldots \indep (\xi_{t_n} - \xi_{t_{n - 1}}) \text{ --- независимы в совокупности} + \] +\end{definition} + +\begin{definition} + \textit{Пуассоновским процессом с интенсивностью $\lambda$} называется процесс с независимыми приращениями $(N_t)_{t \in T}$ такой, что $N_0 = 0$ и приращения имеют распределения + \[ + \forall t > s\ \ N_t - N_s \sim Poiss(\lambda(t - s)) + \] +\end{definition} + +\begin{note} + Иначе говоря: + \[ + \forall t > s, k \in \N_0\ \ P(N_t - N_s = k) = \frac{(\lambda(t - s))^k}{k!}e^{-\lambda(t - s)} + \] +\end{note} + +\begin{definition} + \textit{Винеровский процессом} называется процесс $(W_t)_{t \in T}$ с независимыми приращениями такой, что $W_0 = 0$ и приращения имеют распределения + \[ + \forall t > s\ \ W_t - W_s \sim N(0, t - s) + \] +\end{definition} + +\begin{note} + Винеровский процесс изначально был построен как абстракное описание \textit{броуновского движения}. +\end{note} + +\begin{proposition} + $\forall t \neq s \in T\ \ \E W_tW_s = \min(t, s)$ +\end{proposition} + +\begin{proof} + Пусть $t > s$. Распишем дисперсию приращения по линейности: + \[ + \E(W_t - W_s)^2 = t - s = \E W_t^2 + \E W_s^2 - 2\E W_tW_s + \] + Так как $W_0 = 0$, то $\E W_t^2 = \E (W_t - W_0)^2 = t$. Отсюда + \[ + \E W_t W_s = \frac{1}{2} (t + s - (t - s)) = s = \min(t, s) + \] + Случай $t \le s$ аналогичен. +\end{proof} + +\begin{note} + Определения это, конечно, хорошо, но ключевой вопрос здесь --- а существуют ли такие процессы? Естественно да, и есть даже критерий существования. Чтобы его сформулировать, придётся вспомнить некоторые вещи о характеристических функциях. +\end{note} + +\begin{reminder} + \textit{Характеристической функцией (преобразованием Фурье)} для меры $\mu$ на $(\R^n, \B(\R^n))$ называется мера, заданная следующим образом: + \[ + \forall y \in \R^n\ \ \wt{\mu}(y) = \int_{\R^n} e^{i(y, x)}d\mu(x) + \] + Таким образом, $\wt{\mu} \colon \R^n \to \Cm$. +\end{reminder} + +\begin{reminder} + Если $\wt{\mu} = \wt{\nu}$, то $\mu = \nu$. +\end{reminder} \ No newline at end of file diff --git a/Lectures/6_Semester/Random_Processes/2024_Bogachev/lectures/4lecture.tex b/Lectures/6_Semester/Random_Processes/2024_Bogachev/lectures/4lecture.tex new file mode 100644 index 0000000..a457917 --- /dev/null +++ b/Lectures/6_Semester/Random_Processes/2024_Bogachev/lectures/4lecture.tex @@ -0,0 +1,293 @@ +\begin{reminder} + \textit{Характеристической функцией случайного вектора $\xi$} называется функция, заданная следующим образом: + \[ + \phi_\xi(y) = \E e^{i(y, \xi)} + \] + В частности, для случайной величины $\xi$: + \[ + \phi_\xi(y) = \E e^{iy\xi} + \] +\end{reminder} + +\begin{reminder} + Если $\xi \indep \eta$, то $\phi_{\xi + \eta} = \phi_\xi \cdot \phi_\eta$ +\end{reminder} + +\begin{note} + Критерий Колмогорова о существовании процесса с заданными распределениями (теорема \ref{proc_existence_crit}) можно переписать в терминах характеристических функций: + + Пусть $T \subseteq \R$ и при всех $t_1 < \ldots < t_n$ заданы меры $P_{t_1, \ldots, t_n}$ на $(\R^n, \B(\R^n))$, причём им соответствуют характеристические функции $\phi_{t_1, \ldots, t_n}$. Тогда, существование процесса с конечномерными распределениями $P_{t_1, \ldots, t_n}$ эквивалентно условию: + \[ + \forall m \le n\ \ \phi_{t_1, \ldots, t_n}(y_1, \ldots, y_{m - 1}, 0, y_{m + 1}, \ldots, y_n) = \phi_{t_1, \ldots, t_{m - 1}, t_{m + 1}, \ldots, t_n}(y_1, \ldots, y_{m - 1}, y_{m + 1}, \ldots, y_n) + \] +\end{note} + +\begin{theorem} (Критерий существования процесса с независимыми приращениями) + Пусть на $\R$ задана вероятностная мера $Q_0$ и при всех парах $0 \le s < t$ также задана вероятностная мера $Q_{s, t}$. Тогда, существование процесса $(\xi_t)_{t \in T}$ с независимыми приращениями, для которого $Q_0$ --- распределение $\xi_0$ и $Q_{s, t}$ --- распределение $\xi_t - \xi_s$ эквивалентно выполнению следующего соотношения: + \[ + \forall 0 \le s < u < t\ \ \phi_{s, t} = \phi_{s, u} \cdot \phi_{u, t} + \] + где, естественно, $\phi_{s, t}$ --- характеристическая функция меры $Q_{s, t}$. +\end{theorem} + +\begin{proof} + Покажем следствие в 2 стороны: + \begin{itemize} + \item[$\Ra$] Пусть $\xi$ --- соответствующий процесс с независимыми приращениями. Это означает, что + \[ + \forall 0 \le s < u < t\ \ (\xi_u - \xi_s) \indep (\xi_t - \xi_u) + \] + Коль скоро это так и $\xi_t - \xi_s = \xi_t - \xi_u + (\xi_u - \xi_s)$, то получаем требуемое по свойству характеристических функций. + + \item[$\La$] Проверим критерий Колмогорова. Будем действовать поэтапно: + \begin{enumerate} + \item (Построение мер в частном случае) Пусть $\xi_0 = 0$. Тогда $Q_0 = \delta_0$ --- мера Дирака. Несложно убедиться, что $\phi_0 = 1$. В критерии требуются меры $P_{t_1, \ldots, t_n}$, которые отвечают за вероятность $(\xi_{t_1}, \ldots, \xi_{t_n})$ попасть в какое-то множество. Его аналогом может послужить $Q_{0, t_1} \otimes Q_{t_1, t_2} \otimes \ldots \otimes Q_{t_{n - 1}, t_n}$, только входное множество к $P_{t_1, \ldots, t_n}$ нужно будет преобразовать соответствующим образом для этой меры. Если $(x_1, \ldots, x_n)$ --- это точка, соответствующая множеству в аргументе меры $P_{t_1, \ldots, t_n}$, то её надо заменить на $(y_1, \ldots, y_n) = (x_1 - 0, x_2 - x_1, x_3 - x_2, \ldots, x_n - x_{n - 1})$ (отсюда, чтобы восстановить исходное множество по множеству-аргументу тензорного произведения мер, нужно пользоваться равенством $(x_1, \ldots, x_n) = (y_1, y_1 + y_2, \ldots, y_1 \plusdots y_n)$). Важно отметить, что в критерии Колмогорова не исключается ситуации наподобие $t_1 = 0$. Если это так, то $P_{0, t_2, \ldots, t_n}$ фактически является мерой $P_{t_2, \ldots, t_n}$ на пространстве $(\R^{n - 1}, \B(\R^{n - 1}))$, а для такой мы можем снова использовать конструкцию, описанную выше. + + \item (Изучение харфункций) Изучим поведение характеристических функций в случае взятия образа по измеримому отображению и тензорном произведении: + \begin{lemma} + Пусть $\mu$ --- мера на $(\R^n, \B(\R^n))$, $L \colon \R^n \to \R^n$ --- линейное отображение, $\mu' = \mu \circ L^{-1}$ --- образ $\mu$ по $L$. Тогда + \[ + \phi_{\mu'} = \phi_\mu \circ L^* + \] + где $L^*$ --- сопряжённый оператор + \end{lemma} + + \begin{proof} + Распишем характеристическую функцию $\mu$ по определению: + \begin{multline*} + \phi_{\mu'}(y) = \int_{\R^n} e^{i(y, x)}d(\mu \circ L^{-1})(x) = \int_{\R^n} e^{i(y, x)}d\mu(L^{-1}x) = + \\ + \int_{\R^n} e^{i(y, Lu)}d\mu(u) = \int_{\R^n} e^{i(L^*y, u)}d\mu(u) = \phi_\mu(L^*y) + \end{multline*} + \end{proof} + + \begin{lemma} + Пусть $\mu = \mu_1 \otimes \ldots \otimes \mu_n$ --- мера на $(\R^n, \B(\R^n))$, а $\mu_k$ --- меры на $(\R, \B(\R))$. Тогда + \[ + \phi_\mu = \bigotimes_{k = 1}^n \phi_{\mu_k} + \] + \end{lemma} + + \begin{proof} + Снова воспользуемся определением характеристической функции: + \begin{multline*} + \phi_\mu(y_1, \ldots, y_n) = \int_{\R^n} e^{i(y, x)}d\mu(x) = \int_{\R^n} \prod_{k = 1}^n e^{iy_kx_k}d\mu(x_1, \ldots, x_n) = [\text{т. Фубини}] = + \\ + \int_\R \cdots \int_\R \prod_{k = 1}^n e^{iy_kx_k} d\mu(x_1) \ldots d\mu(x_n) = \prod_{k = 1}^n \phi_{\mu_k}(y_k) + \end{multline*} + \end{proof} + + \item (Доказательство частного случая) Стало быть, характеристическая функция для $P_{t_1, \ldots, t_n}$ будет записана как + \[ + \phi_{t_1, \ldots, t_n} = \bigotimes_{k = 1}^n (\phi_{t_{k - 1}, t_k} \circ L^*) + \] + Отображение $L^{-1}$ должно переносить точки из пространства исходных точек в пространство разностей. Стало быть, $L$ действует наоборот: $(y_1, \ldots, y_n) \mapsto (y_1, y_1 + y_2, \ldots, y_1 \plusdots y_n)$. Несложно проверить, что $L^* \colon (y_1, \ldots, y_n) \mapsto (y_1 \plusdots y_n, \ldots, y_{n - 1} + y_n, y_n)$. Отсюда + \[ + \phi_{t_1, \ldots, t_n}(y) = \phi_{t_0, t_1}(y_1 \plusdots y_n) \cdot \ldots \cdot \phi_{t_{n - 2}, t_{n - 1}}(y_{n - 1} + y_n) \cdot \phi_{t_{n - 1}, t_n}(y_n) + \] + Пора подставить $y_m = 0$. Тогда, изменения сомножителей происходят слева-направо до $\phi_{t_m, t_{m + 1}}(y_{m + 1} \plusdots y_n)$. Заметим, что этот сомножитель и предыдущий можно <<схлопнуть>> в силу независимости: + \[ + \phi_{t_{m - 1}, t_m}(0 + y_{m + 1} + \ldots + y_n)\phi_{t_m, t_{m + 1}}(y_{m + 1} + \ldots + y_n) = \phi_{t_{m - 1}, t_{m + 1}}(y_{m + 1}, \ldots, y_n) + \] + Отсюда тривиально получаем выполнение критерия. + + \item (Доказательство общего случая) Теперь $Q_0 \neq \delta_0$. Тогда, рассмотрим частный случай выше и к полученному процессу $\xi$ добавим независимую случайную величину $\xi_0$ с распределением $Q_0$. \textcolor{red}{Почему к заданному процессу найдётся независимая случайная величина с заданным распределением? Загадка...} + \end{enumerate} + \end{itemize} +\end{proof} + +\begin{corollary} + Пуассоновский процесс существует. +\end{corollary} + +\begin{proof} + Посчитаем соответствующую характеристическую функцию: + \[ + \phi_{s, t}(y) = e^{\lambda(t - s)(e^{iy} - 1)} + \] + Тогда ($0 \le s < u < t$): + \[ + \phi_{s, u}(y) \cdot \phi_{u, t}(y) = e^{\lambda(u - s)(e^{iy} - 1)} e^{\lambda(t - u)(e^{iy - 1})} = e^{\lambda(t - s)(e^{iy} - 1)} = \phi_{s, t}(y) + \] +\end{proof} + +\begin{corollary} + Винеровский процесс существует. +\end{corollary} + +\begin{proof} + Посчитаем соответствующую характеристическую функцию: + \[ + \phi_{s, t}(y) = e^{0 \cdot iy - \frac{(t - s)y^2}{2}} = e^{-(t - s)y^2 / 2} + \] + Тогда ($0 \le s < u < t$): + \[ + \phi_{s, u}(y) \cdot \phi_{u, t}(y) = e^{-(u - s)y^2 / 2}e^{-(t - u)y^2 / 2} = e^{-(t - s)y^2 / 2} + \] +\end{proof} + +\begin{proposition} + У винеровского процесса непрерывные трактории. +\end{proposition} + +\begin{proof} + Проверим условия теоремы Колмогорова о непрерывных траекториях. Так как $W_t - W_s \sim N(0, t - s)$, то у этой случайной величины можно явным образом посчитать все моменты. В частности: + \[ + \E (W_t - W_s)^4 = 3(t - s)^2 + \] + А значит все условия выполнены. +\end{proof} + +\begin{definition} + Пусть $\xi_n \sim Exp(\lambda)$ --- независимые случайные величины. Обозначим $S_n = \xi_1 \plusdots \xi_n$, $S_0 = 0$. Тогда \textit{процессом восстановления} называется процесс $\eta$, определённый следующим образом: + \[ + \forall t \in \R_{++}\ \ \eta_t(\omega) = \sup \{n \in \N_0 \colon S_n(\omega) \le t\} + \] +\end{definition} + +\begin{theorem} + Процесс восстановления с параметром $\lambda$ является пуассоновским процессом с параметром $\lambda$. +\end{theorem} + +\begin{proof} + Достаточно убедиться, что при $0 = t_0 < t_1 < \ldots < t_n$ и $0 = k_0 \le k_1 \le \ldots \le k_n$ вероятность + \[ + P(\eta_{t_n} - \eta_{t_{n - 1}} = k_n - k_{n - 1} \wedge \ldots \wedge \eta_{t_1} - \eta_{t_0} = k_1 - k_0) + \] + распадается на $n$ соответствующих сомножителей. Ключевое наблюдение состоит в том, что это вероятность события $A$: + \[ + S_1, \ldots, S_{k_1} \in [0; t_1] \wedge S_{k_1 + 1}, \ldots, S_{k_2} \in \rsi{t_1; t_2} \wedge \ldots \wedge S_{k_{n - 1} + 1}, \ldots, S_{k_n} \in \rsi{t_{n - 1}; t_n} \wedge S_{k_n + 1} > t_n + \] + Значит, если нам известно распределение вектора $(S_1, \ldots, S_n)$, то мы можем попробовать посчитать эту вероятность через многомерный интеграл (который по теореме Фубини будет разбит на повторный). Итак, заметим, что между $(S_1, \ldots, S_n)$ и $(\xi_1, \ldots, \xi_n)$ есть линейная связь через оператор $L$: + \begin{align*} + &{L \colon (x_1, x_2, \ldots, x_n) \mapsto (x_1, x_1 + x_2, \ldots, x_1 \plusdots x_n)} + \\ + &{L^{-1} \colon (y_1, y_2, \ldots, y_n) \mapsto (y_1, y_2 - y_1, \ldots, y_n - y_{n - 1})} + \end{align*} + Отсюда $p_{S_1, \ldots, S_n}(y_1, y_2, \ldots, y_n) = p_{\xi_1, \ldots, \xi_n}(y_1, y_2 - y_1, \ldots, y_n - y_{n - 1})$. Все $\xi_k$ независимы, поэтому ($y_0 := 0$) + \begin{multline*} + p_{\xi_1, \ldots, \xi_n}(y_1, y_2 - y_1, \ldots, y_n - y_{n - 1}) = \prod_{k = 1}^n p_{\xi_k}(y_k - y_{k - 1}) = + \\ + \prod_{k = 1}^n p_{\xi_1}(y_k - y_{k - 1}) = \prod_{k = 1}^n \lambda e^{-\lambda(y_k - y_{k - 1})}\chi_{\{y_k \ge y_{k - 1}\}} = \lambda^ne^{-\lambda y_n}\chi_{y_n \ge \ldots \ge y_1 \ge 0} + \end{multline*} + Итого: + \[ + P(A) = \int_{U_A} \lambda^{k_n + 1}e^{-\lambda y_{k_n + 1}}\chi_{0 \le y_1 \le \ldots \le y_{k_n + 1}}d\mu(y_1, \ldots, y_{k_n + 1}) + \] + Так как $y_{k_n + 1} > t_n$ и, следовательно, больше любой другой координаты, интегрирование по этой координате можно выделить в отдельный интеграл, что даст сомножитель $\lambda^{k_n} e^{-\lambda t_n}$. Оставшийся интеграл является объёмом области в $\R^{k_n}$, заданной неравенствами события $A$. Можно доказать, что этот объём равен + \[ + \prod_{j = 1}^n \frac{(t_j - t_{j - 1})^{k_j - k_{j - 1}}}{(k_j - k_{j - 1})!} + \] + пересборкой сомножителей получим требуемое произведение вероятностей. +\end{proof} + +\begin{proposition} \textcolor{red}{(не по лектору)} + Пусть $N$ --- пуассоновский процесс. Тогда у него $P$-почти наверное кусочно-постоянные, непрерывные справа, неубывающие траектории. Более точно: + \begin{itemize} + \item $P(X_{t + h} - X_t = 0) = 1 - \lambda h + o(h), h \to 0$ + + \item $P(X_{t + h} - X_t = 1) = \lambda h + o(h), h \to 0$ + + \item $P(X_{t + h} - X_t > 1) = o(h), h \to 0$ + \end{itemize} +\end{proposition} + +\begin{proof} + Нам известно, что $X_{t + h} - X_t \sim Poiss(\lambda h)$. У этой величины следующее распределение: + \[ + P(X_{t + h} - X_t = k) = \frac{(\lambda h)^k}{k!}e^{-\lambda h} + \] + Подставим $k = 0$: + \[ + P(X_{t + h} - X_t = 0) = e^{-\lambda h} = [\text{формула Тейлора}] = 1 - \lambda h + o(h), h \to 0 + \] + Аналогично $k = 1$: + \[ + P(X_{t + h} - X_t = 1) = \lambda he^{-\lambda h} = \lambda h + o(h), h \to 0 + \] + Ну и для $k > 1$: + \begin{multline*} + P(X_{t + h} - X_t > 1) = 1 - P(X_{t + h} - X_t \le 1) = + \\ + 1 - (1 - \lambda h + o(h)) - (\lambda h + o(h)) = o(h), h \to 0 + \end{multline*} + Но из этого ещё не явно следует утверждение о траекториях. Заметим, что + \[ + \forall h_1 < h_2\ \ \{\omega \in \Omega \colon X_{t + h_2}(\omega) - X_t(\omega) = 0\} \subseteq \{\omega \in \Omega \colon X_{t + h_1}(\omega) - X_t(\omega) = 0\} + \] + Значит, можно говорить о пределе этих множеств при $h \to 0+$ как о их пересечении. Тогда + \[ + P(\lim_{h \to 0+} X_{t + h} - X_t = 0) = P(\lim_{h \to 0+} \{X_{t + h} - X_t = 0\}) = \lim_{h \to 0+} P(X_{t + h} - X_t = 0) = 1 + \] + \textcolor{red}{Допридумать} +\end{proof} + +\section{Гауссовские процессы} + +\begin{anote} + Прежде чем начать разговор о гауссовском процессе (который, канонично, будет вестить с точки зрения характеристических функций) стоит определить понятия, эквивалентные математическому ожиданию и дисперсии на процессах. +\end{anote} + +\begin{definition} \textcolor{red}{(не по лектору)} + Пусть $\xi$ --- случайный процесс. Тогда функция $M_\xi(t) = \E \xi_t$ называется \textit{средним случайного процесса $\xi$}. +\end{definition} + +\begin{anote} + Далее будет удобно обозначать $M_\xi(t) =: m_t$, когда понятно, о каком процессе идёт речь. +\end{anote} + +\begin{definition} \textcolor{red}{(не по лектору)} + Пусть $\xi$ --- случайный процесс. Тогда \textit{ковариационной функцией случайного процесса $\xi$} называется следующая функция: + \[ + K(t, s) = \E(\xi_t - m_t)(\xi_s - m_s) + \] +\end{definition} + +\begin{proposition} + Ковариационная функция всегда симметрична. +\end{proposition} + +\begin{proof} + Тривиально. +\end{proof} + +\begin{proposition} + Ковариационная функция всегда является положительно полуопределённой, то есть + \[ + \forall \{t_k\}_{k = 1}^n \subseteq T\ \ \forall \{x_k\}_{k = 1}^n\ \ \sum_{1 \le i, j \le n} K(t_i, t_j)x_ix_j \ge 0 + \] +\end{proposition} + +\begin{proof} + Достаточно заметить, что эта сумма может быть записана как квадрат матожидания: + \begin{multline*} + 0 \le \E\ps{\sum_{i = 1}^n x_i(\xi_{t_i} - m_{t_i})}^2 = \E\ps{\sum_{1 \le i, j \le n} x_i(\xi_{t_i} - m_{t_i})x_j(\xi_{t_j} - m_{t_j})} = + \\ + \sum_{1 \le i, j \le n} x_ix_j\E (\xi_{t_i} - m_{t_i})(\xi_{t_j} - m_{t_j}) = \sum_{1 \le i, j \le n} K(t_i, t_j)x_ix_j + \end{multline*} + +\end{proof} + +\begin{reminder} + \textit{Гауссовской (Нормальной) случайной величиной} $\xi$ называется либо константа, либо случайная величина с плотностью распределения следующего вида ($\sigma > 0$, $a \in \R$): + \[ + p_\xi(x) = \frac{1}{\sqrt{2\pi}}e^{-(x - a)^2 / (2\sigma)} + \] + Известно, что $\E \xi = a$, $D\xi = \sigma^2$. Обозначается как $\xi \sim N(a, \sigma^2)$. +\end{reminder} + +\begin{reminder} + \textit{Гауссовским случайным вектором} $\xi = (\xi_1, \ldots, \xi_n)$ в $\R^n$ называется такой случайный вектор, что все линейные комбинации $\sum_{k = 1}^n c_k\xi_k$ являются гауссовскими случайными величинами +\end{reminder} + +\begin{exercise} + Привести пример двух гауссовских случайных величин $\xi_1, \xi_2$ таких, что их случайный вектор $\xi = (\xi_1, \xi_2)$ не гауссовский. +\end{exercise} + +\begin{definition} + \textit{Гауссовским случайным процессом} $\xi$ называется случайный процесс, для которого все конечномерные распределения являются гауссовскими +\end{definition} + +\begin{proposition} + Процесс является гауссовским тогда и только тогда, когда все линейные комбинации $\sum_{k = 1}^n c_k\xi_{t_k}$. являются гауссовскими случайными величинами. +\end{proposition} diff --git a/Lectures/6_Semester/Random_Processes/2024_Bogachev/lectures/5lecture.tex b/Lectures/6_Semester/Random_Processes/2024_Bogachev/lectures/5lecture.tex new file mode 100644 index 0000000..713316c --- /dev/null +++ b/Lectures/6_Semester/Random_Processes/2024_Bogachev/lectures/5lecture.tex @@ -0,0 +1,157 @@ +\begin{proposition} + Гауссовский процесс однозначно определяется своим средним и ковариационной функцией. +\end{proposition} + +\begin{proof} + Конечномерные распределения однозначно определяют гауссовский процесс. Так как по среднему и ковариационной функции можно однозначно восстановить параметры конечномерных распределений и наоборот, исходное утверждение очевидно. +\end{proof} + +\begin{theorem} (Колмогорова о существовании гауссовского случайного процесса) + Пусть $M \colon T \to \R$ --- произвольная функция, $K \colon T^2 \to \R_+$ --- положительно полуопределённая симметричная функция. Тогда, существует гауссовский случайный процесс со средним $M(t)$ и ковариацией $K(t, s)$. +\end{theorem} + +\begin{proof} + Проверим условия теоремы Колмогорова о существовании процесса в терминах характеристических функций. Запишем характеристическую функцию конечного распределения: + \[ + \phi_{t_1, \ldots, t_n}(y) = \exp\ps{i\sum_{j = 1}^n M(t_j)y_j - \frac{1}{2}\sum_{j, k \le n} K(t_j, t_k)y_jy_k} + \] + Из вида очевидно, что если положить $y_m = 0$, справа получится выражение, соответствующее харфункции конечного распределения без $t_m$. +\end{proof} + +\begin{note} + Может ли быть гауссовский процесс с независимыми приращениями? На этот вопрос можно дать ответ, воспользовавшись уже доказанным критерием. Нужно проверить выполнение свойства: + \[ + \forall 0 < s < u < t\ \ \phi_{s, t} = \phi_{s, u} \cdot \phi_{u, t} + \] + Для начала, разберёмся со случаем $M = 0$ (среднее процесса нулевое. Если $M \neq 0$, то к процессу с нулевым средним можно прибавить функцию $M$ и получить требуемое). Так как $\xi_t - \xi_s$ является линейной комбинацией гауссовских, то эта случайная величина обязана быть гауссовской. Стало быть + \[ + \phi_{s, t}(y) = \exp\ps{-\frac{1}{2}\sigma_{s, t}^2y^2} + \] + где $\sigma_{s, t}^2 = \E (\xi_t - \xi_s)^2 - 0 = K(t, t) + K(s, s) - 2K(s, t)$. Более того, используя вид характеристической функции гауссовской случайной величины, можно переписать критерий в следующем виде: + \[ + \forall 0 < s < u < t\ \ \sigma_{s, t}^2 = \sigma_{s, u}^2 + \sigma_{u, t}^2 + \] + Если мы дополнительно потребуем, что $\sigma_{s, t}^2 = \psi(t - s)$ для $s \le t$, то у критерия появляется ещё один вид: + \[ + \forall 0 < s < u < t\ \ \psi(t - s) = \psi(u - s) + \psi(t - u) + \] + Если обозначить $v = u - s \ge 0$ и $w = t - u \ge 0$, то получим следующее: + \[ + \forall v, w \ge 0\ \ \psi(v + w) = \psi(v) + \psi(w) \text{ --- аддитивность $\psi$} + \] + В классе произвольных функций, подобных $\psi$ существует крайне много. Однако, если потребовать от $\psi$ непрерывности, то вид $\psi$ однозначен --- произвольная линейная функция $\psi(v) = kv$. + + Интересный факт состоит в том, что при $k = 1$ получается винеровский процесс! +\end{note} + +\begin{proposition} + Рассмотрим гауссовский процесс $\xi$ со средним $M = 0$ и ковариационной функцией вида + \[ + K(s, t) = \chi\{s = t\} + \] + Тогда $\xi$ --- процесс с \textit{независимыми значениями}, то есть $\xi_{t_1}, \ldots \xi_{t_n}$ независимы в совокупности для любых $\{t_i\}_{i = 1}^n \subseteq T$. +\end{proposition} + +\begin{proof} + По условию $K(s, t) = \chi\{s = t\} = \cov(\xi_s, \xi_t)$. Так как $\xi_s$ является гауссовской случайной величиной, некоррелированность равносильна независимости случайных величин. +\end{proof} + +\section{Дополнительные свойства винеровского процесса} + +\begin{theorem} (без доказательства) + Пусть $\{\xi_n\}_{n = 1}^\infty$ --- независимые стандартные гауссовские случайные величины, $\{e_n\}_{n = 1}^\infty$ --- ортонормированный базис в $L_2[0; 1]$. Тогда ряд + \[ + W_t(\omega) = \sum_{n = 1}^\infty \xi_n(\omega)\phi_n(t) + \] + где $\phi_n(t) = \int_0^t e_n(s)d\mu(s)$, сходится равномерно при почти всех $\omega \in \Omega$, причём его сумма --- винеровский процесс. +\end{theorem} + +\begin{theorem} (<<Липшицевость>> винеровского процесса, без доказательства) + Пусть $0 < \alpha < \frac{1}{2}$, $W$ --- винеровский процесс. Тогда, существует случайная величина $C_\alpha(\omega)$ такая, что + \[ + \forall s < t\ \ |W_t(\omega) - W_s(\omega)| \le\aal{P} C_\alpha(\omega)|t - s|^\alpha + \] +\end{theorem} + +\begin{theorem} (без доказательства) + Пусть $W$ --- винеровский процесс. Тогда почти всюду на $T$ траектории $W$ не дифференцируемы. Более того, они $P$-почти наверное обладают неограниченной вариацией на всяком отрезке. +\end{theorem} + +\begin{theorem} (Закон повторного логарифма, без доказательства) + С вероятностью 1 выполнены следующие пределы: + \[ + \varlimsup_{t \to \infty} \frac{|W_t(\omega)|}{\sqrt{2t\ln\ln t}} = 1,\quad \varlimsup_{t \to 0} \frac{|W_t(\omega)|}{\sqrt{2t\ln|\ln t|}} = 1 + \] +\end{theorem} + +\begin{note} + Эти пределы объясняют асимптотическое поведение винеровского процесса в нуле и на бесконечности. +\end{note} + +\begin{problem} (Колмогорова) + Пусть $H \in \rsi{0; 1}$ --- \textit{индекс Хёрста}. Тогда, определим функцию $K_H \colon \R_+^2 \to \R$ следующим образом + \[ + \forall s, t \in \R_+\ \ K_H(s, t) = \frac{1}{2}(|s|^{2H} + |t|^{2H} - |s - t|^{2H}) + \] + Нужно доказать, что эта функция является ковариационной функцией для гауссовского процесса $B_t^H$ с нулевым средним. Такой процесс называется \textit{дробным броуновским движением с параметром $H$}. При $H = 1 / 2$ получается винеровский процесс. +\end{problem} + +\begin{solution} + Идея состоит в том, чтобы подобрать кривую $x(t)$ в гильбертовом пространстве со следующим свойством: + \[ + \|x(t) - x(s)\|^2 = |t - s|^{2H} + \] + Тогда, из факта существования этой функции можно извлечь неотрицательность $K_H$. +\end{solution} + +\begin{note} + Дробное броуновское движение, как оказалось после Колмогорова, играет важную роль в финансовой математике. +\end{note} + +\section{Условные вероятности и условные математические ожидания} + +\begin{note} + Далее $(\Omega, \F, P)$ --- вероятностное пространство. Мы будем обозначать классы интегрируемых функций $L_q(\mu)$, определённых как в курсе математического анализа, но с рассмотрением интеграла Лебега по некоторой мере $\mu$ на пространстве $(\Omega, \F)$. Также $\cA \subseteq \F$ --- обозначение некоторой под-$\sigma$-алгебры, $L_q(A, \mu) \subseteq L_q(\mu)$ --- подпространство интегрируемых функций, измеримых относительно $\cA$. + + Важно помнить, что элементы этого пространства всё же не конкретные функции, а классы эквивалентности по равенству $\mu$-почти наверное. +\end{note} + +\begin{definition} + Пусть $\xi \in L_1(P)$ --- случайная величина. Тогда \textit{условное математическое ожидание (среднее) $\xi$} на $\cA$ есть $\cA$-измеримая случайная величина $\E^\cA\xi \in L_1(P)$, для которой верно тождество: + \[ + \forall \eta \text{ --- $\cA$-измеримая ограниченная случайная величина}\ \ \E(\xi\eta) = \E((\E^\cA\xi)\eta) + \] +\end{definition} + +\begin{note} + $\E^\cA\xi = \E(\xi | \cA)$ --- есть второе обозначение условного среднего. +\end{note} + +\begin{note} + Почему условное среднее существует? Поясним этот факт +\end{note} + +\begin{proposition} + Пусть $\xi \in L_2(P)$. Тогда $\E^\cA \xi$ есть ортогональная проекция $\xi$ на $L_2(\cA, P)$. +\end{proposition} + +\begin{proof} + Перепишем определение условного среднего в следущем виде: + \[ + \E(\xi\eta) - \E((\E^\cA\xi)\eta) = \int_\Omega (\xi - \E^\cA\xi)\eta dP = (\xi - \E^\cA\xi, \eta)_{L_2(P)} = 0 + \] + Равенство выше выполнено для любых $\cA$-измеримых ограниченных случайных величин. В силу построения интеграла Лебега, подмножество этих функций всюду плотно в $\cL_2(\cA, P)$. Стало быть, скалярное произведение с любой $\eta \in L_2(\cA, P)$ будет равно нулю, а значит $\xi - \E^\cA \xi$ ортогонально подпространству $L_2(\cA, P)$, поэтому $\E^\cA \xi$ --- проекция на это подпространство. +\end{proof} + +\begin{corollary} + Если $\xi \in L_2(P)$, то $\E^\cA\xi$ существует. +\end{corollary} + +\begin{proof} + $L_2(P)$ --- гильбертово сепарабельное пространство. По теореме о проекции, существует и единственна (здесь в терминах классов эквивалентности) проекция $\xi$ на $L_2(\cA, P)$. +\end{proof} + +\begin{note} + В случае, когда известно лишь $\xi \in L_1(P)$, можно воспользоваться теоремой Радона-Никодима. \textcolor{red}{Здесь лектор поясняет, как именно использовать, но в классическом курсе ОВиТМа этой теоремы не рассказывалось} +\end{note} + diff --git a/Lectures/6_Semester/Random_Processes/2024_Bogachev/lectures/6lecture.tex b/Lectures/6_Semester/Random_Processes/2024_Bogachev/lectures/6lecture.tex new file mode 100644 index 0000000..061be4a --- /dev/null +++ b/Lectures/6_Semester/Random_Processes/2024_Bogachev/lectures/6lecture.tex @@ -0,0 +1,206 @@ +\begin{proposition} + Пусть $\xi, \eta \in L_1(P)$ --- случайные величины. Тогда, условное среднее обладает следующими свойствами: + \begin{enumerate} + \item Если $\xi \ge 0$, то $\E^\cA\xi \ge 0$ + + \item Если $\xi \le \eta$, то $\E^\cA\xi \le \E^\cA\eta$ + + \item Если $\eta$ --- $\cA$-измеримая ограниченная функция, то + \[ + \E^\cA(\eta\xi) = \eta\E^\cA\xi + \] + + \item Если $\xi \indep \cA$, то $\E^\cA\xi = \E\xi$ + \end{enumerate} +\end{proposition} + +\begin{proof}~ + \textcolor{red}{Смотреть конспект по теории вероятностей за 2023 год} +\end{proof} + +\begin{proposition} + Пусть $\xi$ --- случайная величина. Тогда $\xi$ независима с $\cA$ тогда и только тогда, когда + \[ + \forall f \text{ --- ограниченная борелевская}\ \ \E^\cA[f(\xi)] = \E[f(\xi)] + \] +\end{proposition} + +\begin{proof}~ + \begin{itemize} + \item[$\Ra$] Тривиально, ведь $f(\xi)$ остаётся $\F_\xi$-измеримой величиной, а значит независимой с $\cA$. + + \item[$\La$] Раз это выполнено для любых ограниченных борелевских функций, то выполнено и для $f(\xi) = \chi_{\xi \in B}$, $B \in \B(\R)$. Отсюда + \[ + \forall A \in \cA\ \ \E(\chi_{\xi \in B}\chi_A) = \E((\E\chi_{\xi \in B})\chi_A) = (\E\chi_A) \cdot \E\chi_{\xi \in B} + \] + Слева $\E\chi_{\xi \in B}\chi_A = \E\chi_{\xi \in B \wedge A} = P(\xi \in B \wedge A)$, справа просто $P(A)P(\xi \in B)$. + \end{itemize} +\end{proof} + +\section{Фильтрации и мартингалы} + +\begin{note} + В этом параграфе $T \subseteq \R$ и задано вероятностное пространство $(\Omega, \F, P)$. +\end{note} + +\begin{definition} + Семейство $\sigma$-алгебр $\F_t \subseteq \F$ называется \textit{фильтрацией}, если выполнено условие + \[ + \forall s, t \in T\ \ (s < t \Ra \F_s \subseteq \F_t) + \] +\end{definition} + +\begin{definition} + Случайный процесс $\xi$ \textit{согласован с фильтрацией $(\F_t)_{t \in T}$}, если + \[ + \forall t \in T\ \ \xi_t \text{ --- $\F_t$-измеримая случайная величина} + \] +\end{definition} + +\begin{note} + Стоит отметить, что всякий процесс $\xi$ порождает фильтрацию $(\F_t)_{t \in T}$ следующего вида: + \[ + \F_t = \sigma(\xi_s \colon s \le t) + \] + То есть $\F_t$ есть $\sigma$-алгебра, порождённая случайными величинами процесса до момента $t$. Очевидным образом, $\xi$ согласован с порождённой фильтрацией. +\end{note} + +\begin{definition} + Случайный процесс $\xi$ называется \textit{мартингалом относительно фильтрации $(\F_t)_{t \in T}$}, если + \begin{enumerate} + \item $\xi$ согласован с $(\F_t)_{t \in T}$ + + \item $\forall s, t \in T, s \le t\ \ \E(\xi_t | \F_s) = \xi_s$ + \end{enumerate} +\end{definition} + +\begin{note} + Если поменять равенство во втором условии на неравенство $\le$, то получится определение \textit{супермартингала}. Если поставить $\ge$ --- \textit{субмартингала}. +\end{note} + +\begin{definition} + Случайный процесс называется \textit{мартингалом}, если он является мартингалом относительно порождённой собой фильтрации. +\end{definition} + +\begin{proposition} + Если случайный процесс $\xi$ --- это мартингал, то его среднее постоянно. +\end{proposition} + +\begin{proof} + Рассмотрим моменты времени $s < t$. Достаточно доказать, что $\E\xi_s = \E\xi_t$. Воспользуемся определением мартингала: + \[ + \E\xi_s = \E(\E(\xi_t | \F_s)) = \E\xi_t + \] +\end{proof} + +\begin{example} + Пусть $\xi_i \in L_1(P)$ --- независимые случайные величины, причём $\E\xi_i = 0$. Обозначим $S_n = \xi_1 \plusdots \xi_n$, $\F_n = \sigma(\xi_1, \ldots, \xi_n)$. Тогда $\{S_n\}_{n \in \N}$ --- мартингал относительно фильтрации $(\F_n)_{n \in \N}$. Чтобы доказать это, достаточно проверить второе свойство из его определения. Пусть $n < m$. Имеем: + \[ + \E(S_m | \F_n) = \E(S_n + \xi_{n + 1} \plusdots \xi_m | \F_n) = S_n + \sum_{i = n + 1}^m \E(\xi_i | \F_n) + \] + Так как $\xi_i$ независимы, то при $i > n$ случайная величина $\xi_i$ будет независима с $\F_n$. Стало быть, $\E(\xi_i | \F_n) = \E\xi_i = 0$ и, следовательно + \[ + \E(S_m | \F_n) = \E(S_n | \F_n) = S_n + \] +\end{example} + +\begin{example} + Пусть $\xi \in L_1(P)$. $(\F_t)_{t \in T}$ --- фильтрация. Обозначим $\xi_t = \E(\xi | \F_t)$, тогда $(\xi_t)_{t \in T}$ --- мартингал. +\end{example} + +\begin{proposition} + Пусть $\xi$ --- мартингал, причём $\xi_t \in L_2(P)$. Тогда, это процесс с ортогональными приращениями, то есть + \[ + \forall t_1 < t_2 < t_3 < t_4, t_i \in T\ \ \cov(\xi_{t_2} - \xi_{t_1}, \xi_{t_4} - \xi_{t_3}) = \E(\xi_{t_2} - \xi_{t_1})(\xi_{t_4} - \xi_{t_3}) = 0 + \] +\end{proposition} + +\begin{proof} + Распишем ковариацию целиком: + \[ + \E(\xi_{t_2} - \xi_{t_1})(\xi_{t_4} - \xi_{t_3}) = \E\xi_{t_2}\xi_{t_4} + \E\xi_{t_1}\xi_{t_3} - \E\xi_{t_1}\xi_{t_4} - \E\xi_{t_2}\xi_{t_3} + \] + В силу мартигнальности: + \[ + \E\xi_{t_1}\xi_{t_3} = \E(\xi_{t_1}\E(\xi_{t_3} | \F_{t_1})) = \E\xi_{t_1}^2 < \infty + \] + Аналогично поступаем с остальными слагаемыми. Тогда: + \[ + \E\xi_{t_1}\xi_{t_3} = \E\xi_{t_2}^2 + \E\xi_{t_1}^2 - \E\xi_{t_1}^2 - \E\xi_{t_2}^2 = 0 + \] +\end{proof} + +\begin{theorem} + Пусть $\xi$ --- случайный процесс с независимыми приращениями, $\xi_t \in L_2(P)$, $\xi_0 = const$, $M_\xi = const$. Тогда $\xi$ --- мартингал. +\end{theorem} + +\begin{proof} + Рассмотрим $s, t \in T$, $s < t$. Снова нужно проверить только одно свойство мартингала. Так как приращения независимы, логично переписать $\xi_t$ через них: + \[ + \E(\xi_t | \F_s) = \E(\xi_t - \xi_s + \xi_s | \F_s) = \E(\xi_t - \xi_s | \F_s) + \E(\xi_s | \F_s) + \] + Понятно, что $\E(\xi_s | \F_s) = \xi_s$ --- то, что нам нужно в левой части. Стало быть, должно выполняться равенство $\E(\xi_t - \xi_s | \F_s) = 0$. Это действительно так, ведь приращение $\xi_t - \xi_s$ не зависит от всех $\xi_u$, $u < s$, ибо они тоже могут быть записаны как борелевская функция от приращения: $\xi_u = (\xi_u - \xi_0) + \xi_0$. +\end{proof} + +\begin{corollary} + Винеровский процесс является мартингалом относительно своей фильтрации. +\end{corollary} + +\begin{proposition} + Пусть $T = \N$, $(\F_n)_{n \in \N}$ --- фильтрация, $\xi$ --- мартингал относительно этой фильтрации, причём $\E\xi_n^2 \le C$. Тогда, существует $\psi \in L_2(P)$, что $\xi_n = \E(\psi | \F_n)$. +\end{proposition} + +\begin{proof} + Из условия $\E\xi_n^2 \le C$ следует $\xi_n \in L_2(P)$. Стало быть, у $\xi$ приращения ортогональны. Построим $\psi$ как предел $\psi_n$ таких, что + \[ + \forall m \le n\ \ \xi_m = \E(\psi_n | \F_m) + \] + Для начала, пусть $\xi_1 = 0$. Тогда, $\psi_n$ строится так: + \begin{itemize} + \item $n = 1$: $\psi_1 = \xi_1$ + + \item $n > 1$: $\psi_n = \psi_{n - 1} + (\xi_n - \xi_{n - 1}) = \xi_n$. С одной стороны, $\psi_n = \xi_n$, поэтому требуемое равенство для $\xi_n$ выполнено. С другой стороны, любой элемент $L_2(\F_m, P)$, $m < n$ представим как борелевская функция от набора $\xi_1, \ldots, \xi_m$. Так как $\xi_1 = 0$, то $\xi_n - \xi_{n - 1}$ некоррелирует со всем этим набором. \textcolor{red}{Допридумать} + + \end{itemize} +\end{proof} + +\begin{theorem} (Дуба, о сходимости мартингалов, без доказательства) + Пусть $T = \N$, $\xi$ --- мартингал относительно фильтрации $(\F_n)_{n \in \N}$. Тогда + \[ + \xi_n \text{ сходятся в $L_1(P)$} \Lra \exists \psi \in L_1(P) \colon \xi_n = \E(\psi | \F_n) + \] + При этом, если сходимость имеется, то $\xi_n \to\aal{P} \psi$. +\end{theorem} + +\begin{note} + Сходимость в $L_1(P)$ эквивалентна равномерной сходимости интегралов. +\end{note} + +\begin{proposition} + Пусть $\xi$ --- случайный процесс с независимыми приращениями, $\xi_0 = 0$, $\xi_t \in L_2(P)$ и $\E \xi_t = 0$. Тогда $(\xi_t^2 - \E\xi_t^2)_{t \in T}$ --- мартингал относительно фильтрации, порождённой $\xi$. +\end{proposition} + +\begin{proof} + Согласованность очевидна, снова нужно проверить только свойство сужения: + \begin{multline*} + \E(\xi_t^2 - \E\xi_t^2 | \F_s) = \E((\xi_t - \xi_s + \xi_s)^2 - \E(\xi_t - \xi_s + \xi_s)^2 | \F_s) = + \\ + \underbrace{\E((\xi_t - \xi_s)^2 - \E(\xi_t - \xi_s)^2 | \F_s)}_{0} + \underbrace{\E(\xi_s^2 - \E\xi_s^2 | \F_s)}_{\xi_s^2 - \E\xi_s^2} + 2\E(\xi_s(\xi_t - \xi_s) - \E\xi_s(\xi_t - \xi_s) | \F_s) + \end{multline*} + Так как среднее слагаемое даёт ровно требуемое, последнее должно оказаться равным нулю. Покажем это явно: + \[ + \E(\xi_s(\xi_t - \xi_s) - \E\xi_s(\xi_t - \xi_s) | \F_s) = \E(\xi_s(\xi_t - \xi_s) | \F_s) - \E\xi_s(\xi_t - \xi_s) + \] + Первое слагаемое можно переписать дальше: + \[ + \E(\xi_s(\xi_t - \xi_s) | \F_s) = \xi_s\E(\xi_t - \xi_s | \F_s) = \xi_s \E(\xi_t - \xi_s) = 0 + \] + Аналогично и второе слагаемое: + \[ + \E\xi_s(\xi_t - \xi_s) = \E(\E(\xi_s(\xi_t - \xi_s) | \F_s)) = \E(\xi_s\E(\xi_t - \xi_s | \F_s)) = 0 + \] +\end{proof} + +\begin{example} + Пусть $W$ --- винеровский процесс. Тогда, по последнему утверждению $(W_t^2 - t)_{t \in T}$ --- мартингал. +\end{example} \ No newline at end of file diff --git a/Lectures/6_Semester/Random_Processes/2024_Bogachev/lectures/7lecture.tex b/Lectures/6_Semester/Random_Processes/2024_Bogachev/lectures/7lecture.tex new file mode 100644 index 0000000..af2131b --- /dev/null +++ b/Lectures/6_Semester/Random_Processes/2024_Bogachev/lectures/7lecture.tex @@ -0,0 +1,213 @@ +\begin{definition} + Пусть $T \in \{\N, \Z\}$. Случайный процесс $\xi$ называется \textit{предсказуемым относительно фильтрации $(\F_n)_{n \in \N}$}, если $\xi_n$ измеримы относительно $\F_{n - 1}$. +\end{definition} + +\begin{proposition} + Пусть $T = \N_0$, $\xi$ --- мартингал относительно $(\F_n)_{n \in \N_0}$. Тогда $\xi$ предсказуем относительно $(\F_n)_{n \in \N_0}$ тогда и только тогда, когда $\xi_n =\aal{P} \xi_0$. + + В частности, если $\xi_0 =\aal{P} 0$, то и $\xi_n =\aal{P} 0$. +\end{proposition} + +\begin{proof} + Из условия: + \[ + \xi_n = \E(\xi_n | \F_{n - 1}) = [\text{опр. мартингала}] = \xi_{n - 1} + \] +\end{proof} + +\begin{theorem} (Разложение Дуба-Мейера) + Пусть $T = \N_0$, $\xi$ --- случайный процесс, согласованный с фильтрацией $(\F_n)_{n \in \N_0}$, причём $\xi_n \in L_1(P)$. Тогда, существует единственное (с точностью $P$-почти наверное) разложение + \[ + \xi_n = \mu_n + \pi_n + \] + где $\mu = (\mu_n)_{n \in \N_0}$ --- мартингал относительно $(\F_n)_{n \in \N_0}$, $\pi = (\pi_n)_{n \in \N_0}$ --- случайный процесс, предсказуемый относительно $(\F_n)_{n \in \N_0}$, причём $\pi_0 = 0$. +\end{theorem} + +\begin{proof}~ + \begin{itemize} + \item (Существование) Предъявим явную формулу для $\pi_n$: + \[ + \pi_n = \sum_{k = 1}^n \E(\xi_k - \xi_{k - 1} | \F_{k - 1}) + \] + Тогда $\mu_n := \xi_n - \pi_n$. Из определения сразу получаем, что $\pi$ предсказуем. Кроме того, $\pi_n \in L_1(P)$ по определению УМО. Из этого следует, что $\mu$ --- согласованный случайный процесс, причём $\mu_n \in L_1(P)$. Проверим, что $\mu$ является мартингалом: + \[ + \E(\mu_n | \F_{n - 1}) = \E(\xi_n | \F_{n - 1}) - \pi_n + \] + Подставим определение $\pi_n$: + \begin{multline*} + \E(\mu_n | \F_{n - 1}) = \E(\xi_n | \F_{n - 1}) - \sum_{k = 1}^n \E(\xi_k - \xi_{k - 1} | \F_{k - 1}) = + \\ + \E(\xi_{n - 1} | \F_{n - 1}) - \sum_{k = 1}^{n - 1} \E(\xi_k - \xi_{k - 1} | \F_{k - 1}) = \xi_{n - 1} - \pi_{n - 1} = \mu_{n - 1} + \end{multline*} + + \item (Единственность) Пусть $\xi_n = \mu_n + \pi_n = \mu'_n + \pi'_n$. Тогда $\mu_n - \mu'_n = \pi'_n - \pi_n$. Слева написан мартингал, а справа --- предсказуемый процесс. Из вырождения предсказуемого мартингала и $\pi'_0 = \pi_0 = 0$ следует, что $\mu_n = \mu'_n$ и $\pi_n = \pi'_n$. + \end{itemize} +\end{proof} + +\section{Марковские моменты и теорема об остановке} + +\begin{note} + В этом параграфе всегда $T \subseteq \R$, $(\Omega, \F, P)$ --- вероятностное пространство. +\end{note} + +\begin{definition} + Пусть $\tau \colon \Omega \to T \cup \{+\infty\}$ --- случайная величина, $(\F_t)_{t \in T}$ --- фильтрация. Тогда $\tau$ называется \textit{марковским моментом относительно фильтрации $(\F_t)_{t \in T}$}, если + \[ + \forall t \in T\ \ \{\omega \in \Omega \colon \tau(\omega) \le t\} \in \F_t + \] +\end{definition} + +\begin{definition} + Пусть $\tau$ --- марковский момент. Если $\tau < +\infty$ $P$-почти наверное, то $\tau$ также называют \textit{моментом остановки}. +\end{definition} + +\begin{example} + Пусть $T = \N_0$, $\xi$ --- случайный процесс, $(\F_n)_{n \in \N_0}$ --- порождённая фильтрция. Можно рассмотреть $B \in \B(\R)$ и определить функцию первого момента попадания в это множество: + \[ + \tau_B(\omega) = \min \{n \in \N_0 \colon \xi_n(\omega) \in B\} + \] + Если же таких $n$ нет, положим $\tau_B(\omega) = +\infty$. Естественно, получился марковский момент. Проверим это по определению: + \[ + \forall n \in \N_0\ \ \{\omega \in \Omega \colon \tau(\omega) \le n\} = \{\omega \in \Omega \colon \exists m \le n,\ \xi_m(\omega) \in B\} = \bigcup_{m = 1}^n \{\omega \in \Omega \colon \xi_m(\omega) \in B\} \in \F_n + \] +\end{example} + +\begin{note} + Конструкция выше --- один из основных примеров марковских моментов. Глобально идея состоит в том, что для понимания процесса нам не нужно изучать его на всём $T$, если мы знаем марковский момент. +\end{note} + +\begin{theorem} (об остановке, дискретный случай) + Пусть $T = \N_0$, $\xi$ --- мартингал относистельно фильтрации $(\F_n)_{n \in \N_0}$, $\tau$ --- ограниченный момент остановки. Тогда + \[ + \E\xi_{\tau} = \E\xi_0 + \] +\end{theorem} + +\begin{proof} + По условию, $\exists m > 0 \such \forall \omega \in \Omega\ \ \tau(\omega) \le m$. Коль скоро это так, то (в каждом конкретном исходе $\xi_\tau$ будет просто равно какому-то слагаемому справа) + \[ + |\xi_\tau| \le |\xi_0| \plusdots |\xi_m| + \] + А значит $\xi_\tau \in L_1(P)$ и $\E\xi_\tau$ --- конечное число. Чтобы посчитать это среднее, разобьём пространство $\Omega$ на подмножества $\{\tau = j\}$. Найдём эти средние: + \begin{multline*} + \E(\xi_\tau\chi_{\tau = j}) = \E(\xi_j\chi_{\tau = j}) = [\text{опр. мартингала}] = + \\ + \E(\E(\xi_{j + 1} | \F_j)\chi_{\tau = j}) = [\{\tau = j\} \in \F_j] = \E(\xi_{j + 1}\chi_{\tau = j}) + \end{multline*} + Продолжая рекурсивно, дойдём до равенства $\E(\xi_\tau\chi_{\tau = j}) = \E(\xi_m\chi_{\tau = j})$. Осталось просуммировать: + \[ + \E\xi_\tau = \sum_{j = 0}^m \E(\xi_\tau\chi_{\tau = j}) = \sum_{j = 0}^m \E(\xi_m\chi_{\tau = j}) = \E\xi_m = \E\xi_0 + \] +\end{proof} + +\begin{example} + Где применима эта теорема? Рассмотрим пример с бросанием монеток. Пусть $\xi_n \colon \Omega \to \{\pm 1\}$, вероятность каждого исхода равна $1 / 2$. Пусть $S_n = \xi_1 \plusdots \xi_n$ --- выигрыш человека за $n$ бросков, $S_0 = 0$. Можно попробовать применить теорему об остановке, чтобы оценить момент, на котором нужно остановить игру для получия определённого выигрыша. Для начала, $(S_n)_{n \in \N_0}$ естественно является мартингалом. Положим за $\tau$ первый бросок, на котором игрок заработает ровно 2 очка: + \[ + \tau(\omega) = \min\{n \in \N_0 \colon S_n = 2\} + \] + Тогда $\xi_\tau = 2$ всегда, а значит $\E\xi_\tau = 2 \neq 0 = \E\xi_0$. Противоречит ли этот результат теореме? Нет, потому что $\tau$ не ограничено. Если мы перейдём от такого момента к $\tau' = \min\{100, \tau\}$, то теорема будет снова выполнена. +\end{example} + +\begin{definition} + Пусть $T = \R_+$, $(F_t)_{t \ge 0}$ --- фильтрация. Отображение $\tau \colon \Omega \to T \cup \{+\infty\}$ называется \textit{опциональным моментом}, если + \[ + \forall t \in \R_+\ \ \{\omega \in \Omega \colon \tau(\omega) < t\} \in \F_t + \] +\end{definition} + +\begin{theorem} (об остановке, непрерывный случай, без доказательства) + Пусть $T = \R_+$, $\xi$ --- мартингал относительно фильтрации $(\F_t)_{t \ge 0}$, причём траектории $\xi$ непрерывны справа, $\tau$ --- ограниченный опциональный момент. Тогда + \[ + \E\xi_\tau = \E\xi_0 + \] +\end{theorem} + +\begin{problem} (о разорении игрока) + Пусть $\{\xi_n\}_{n = 1}^\infty$ --- независимые случайные величины, $\xi_n \colon \Omega \to \{\pm 1\}$, $P(\xi_n = 1) = p$, $p + q = 1$ и $a, x, b \in \Z, a < x < b$. Положим $S_0 = x$, $S_n = x + \xi_1 \plusdots \xi_n$. + + $x$ --- это стартовый капитал человека, $b$ --- капитал самого богатого банка, $a$ --- это некоторый минимальный порог. Если в результате действий на рынке игрок получает $x' = b$, то он выводит деньги и разоряет банк. Если же баланс игрока доходит до минимального порога $x' = a$, то он проигрывает. + + С какой вероятностью игрок проиграет? +\end{problem} + +\begin{solution} + Положим за $\tau$ --- момент завершения игры: + \[ + \tau(\omega) = \min\{n \in \N_0 \colon S_n \in \{a, b\}\} + \] + Должно быть понятно, что $\tau$ --- это марковский момент. Является ли это моментом остановки? Если $\tau(\omega) = +\infty$, то значит, что $a < S_n < b$ для всех $n \in \N_0$. Но тогда + \[ + \frac{S_n}{\sqrt{n}} \xrightarrow[n \to \infty]{} 0 + \] + Отсюда, если $\tau$ принимает это значение на множестве ненулевой меры, возникает противоречие с Центральной Предельной Теоремой. Теперь, рассмотрим 2 ситуации: + \begin{itemize} + \item $p = q = 1 / 2$. Тогда $(S_n)_{n \in \N_0}$ --- мартингал относительно фильтрации, порождённой $\{\xi_n\}_{n = 1}^\infty$. Хотелось бы воспользоваться теоремой об остановке, но пока не доказано, что $\tau$ ограничен. Тем не менее, она применима для $\tau_k = \min\{k, \tau\}$. Тогда $\E S_{\tau_k} = \E S_0 = x$, при этом $\tau_k$ --- возрастающая последовательность, подходящая к $\tau$, а потому $S_{\tau_k} \to\aal{P} S_\tau$. При этом имеется сходимость матожиданий по теореме Лебега, так как $|S_{\tau_k}| \le \max\{|a|, |b|\}$, а значит + \[ + \E S_\tau = \lim_{k \to \infty} \E S_{\tau_k} = x + \] + При этом $\E S_\tau = aP(S_\tau = a) + bP(S_\tau = b) = x$. Отсюда + \[ + P(S_\tau = a) = \frac{b - x}{b - a} + \] + + \item $p \neq q$. Можно рассмотреть $\Pi_n = (p / q)^{S_n}$ на роль мартингала. Проверим это: + \begin{multline*} + \E(\Pi_{n + 1} | \F_n) = \E\ps{\ps{\frac{p}{q}}^{S_{n + 1}} \Big| \F_n} = \Pi_n\E((p / q)^{\xi_{n + 1}} | \F_n) = + \\ + [\text{независимость $\xi_n$}] = \Pi_n \E(p / q)^{\xi_{n + 1}} = [\text{матож считаем по опр.}]= \Pi_n + \end{multline*} + С учётом оценки $|\Pi_{\tau_k}| \le \min\{(p / q)^a, (p / q)^b\}$, получаем равенство $\E\Pi_\tau = \E\Pi_0 = (p / q)^x$. В итоге + \[ + P(\Pi_\tau = a) = \frac{(p / q)^b - (p / q)^x}{(p / q)^b - (p / q)^a} + \] + \end{itemize} +\end{solution} + +\begin{note} + Из анализа $p = q = 1 / 2$ видно, что игрок будет разоряться в не более чем $50\%$ случаев только тогда, когда $x \approx \frac{1}{2}(a + b)$. Если, скажем, $a = 0$, то игроку нужно иметь половину денег банка. +\end{note} + +\section{Марковские процессы} + +\begin{note} + До этого момента, все процессы строились на базе случайных величин. Естественно, мир этим не ограничивается, и марковские процессы оказываются более осмысленными, если их строить на основе случайных элементов. + + Далее $(\Omega, \F, P)$ --- вероятностное пространство, $(E, \cE)$ --- измеримое пространство. +\end{note} + +\begin{reminder} + \textit{Случайным элементом $\xi \colon \Omega \to E$} называется любое измеримое относительно $\F|\cE$ отображение. +\end{reminder} + +\begin{note} + Определение случайного процесса не меняется, но отсюда и далее $T \subseteq \R$. +\end{note} + +\begin{note} + Пусть $\xi$ --- это случайный процесс. Тогда разумно говорить о следующих $\sigma$-алгебрах: + \begin{itemize} + \item $\F_{\le t} = \sigma(\xi_s, s \le t)$ --- \textit{$\sigma$-алгебра прошлого} + + \item $\F_{= t} = \sigma(\xi_t)$ --- \textit{$\sigma$-алгебра настоящего} + + \item $\F_{\ge t} = \sigma(\xi_s, s \ge t)$ --- \textit{$\sigma$-алгебра будущего} + \end{itemize} +\end{note} + +\begin{reminder} + \textit{Условной вероятностью события} $A \in \F$ относительно под-$\sigma$-алгебры $\cC$ называется следующее УМО: + \[ + P(A | \cC) = \E(\chi_A | \cC) + \] +\end{reminder} + +\begin{definition} + Случайный процесс $\xi$ называется \textit{марковским}, если + \[ + \forall t \in T\ \forall A \in \F_{\le t}, B \in \F_{\ge t}\ \ P(A \cap B | \F_{= t}) = P(A | \F_{= t}) \cdot P(B | \F_{= t}) + \] +\end{definition} + +\begin{note} + Смысл этого определения в том, что прошлое и будущее марковского процесса независимы относительно настоящего момента. +\end{note} diff --git a/Lectures/6_Semester/Random_Processes/2024_Bogachev/lectures/8lecture.tex b/Lectures/6_Semester/Random_Processes/2024_Bogachev/lectures/8lecture.tex new file mode 100644 index 0000000..86053e5 --- /dev/null +++ b/Lectures/6_Semester/Random_Processes/2024_Bogachev/lectures/8lecture.tex @@ -0,0 +1,205 @@ +\begin{proposition} + Случайный процесс $\xi$ является марковским тогда и только тогда, когда + \[ + \E(fg | \F_{= t}) = \E(f | \F_{= t}) \cdot \E(g | \F_{ = t}) + \] + где $f$ --- $\F_{\le t}$-измеримая ограниченная функция и $g$ --- $\F_{\ge t}$-измеримая ограниченная функция. +\end{proposition} + +\begin{proof} + По определению условного распределения, марковость процесса означает + \[ + \forall t \in T\ \forall A \in \F_{\le t}, B \in \F_{\ge t}\ \ \E(\chi_{A \cap B} | \F_{= t}) = \E(\chi_A | \F_{= t}) \cdot \E(\chi_B | \F_{= t}) + \] + При этом $\chi_{A \cap B} = \chi_A \cdot \chi_B$. Отсюда эквивалентность утверждений становится очевидной. +\end{proof} + +\begin{proposition} + Случайный процесс $\xi$ является марковским тогда и только тогда, когда + \[ + \forall B \in \F_{\ge t}\ \ P(B | \F_{\le t}) = P(B | \F_{= t}) + \] +\end{proposition} + +\begin{note} + Как и в предыдущем утверждении, есть эквивалентная формулировка + \[ + \forall f \text{ --- $\F_{\ge t}$-измеримая ограниченная}\ \ \E(f | \F_{\le t}) = \E(f | \F_{= t}) + \] + И эту эквивалентность можно записать в ещё более слабой форме: + \[ + \forall B \in \F_{\ge t}\ \ \E(\chi_B | \F_{\le t}) = \E(\chi_B | \F_{= t}) + \] +\end{note} + +\begin{proof}~ + \begin{itemize} + \item[$\Ra$] С учётом эквивалентных утверждений, нужно проверить следующее: + \[ + \forall B \in \F_{\ge t}, A \in \F_{\le t}\ \ \E(\chi_B\chi_A) = \E(\E(\chi_B | \F_{= t})\chi_A) + \] + Действительно: + \[ + \E(\chi_B\chi_A) = \E(\chi_{A \cap B}) = \E(\E(\chi_{A \cap B} | \F_{= t})) = \E(\E(\chi_A | \F_{= t}) \E(\chi_B | \F_{ = t})) = \E(\chi_A \E(\chi_B | \F_{= t})) + \] + Последний переход верен, коль скоро $\E(\chi_B | \F_{= t})$ является $\F_{= t}$-измеримым по определению. + + \item[$\La$] Теперь выполнено тождество из утверждения. Пусть $A \in \F_{\le t}$. Необходимо проверить выполнение равенства: + \[ + \forall C \in \F_{= t}\ \ \E(P(A \cap B | \F_{= t})\chi_C) =^? \E(P(A | \F_{= t})P(B | \F_{= t})\chi_C) + \] + Итак, $C \in \F_{= t}$. Распишем правую часть: + \begin{multline*} + \E(P(A \cap B | \F_{= t})\chi_C) = \E(\E(\chi_{A \cap B} | \F_{= t})\chi_C) = + \\ + \E(\E(\chi_{A \cap B}\chi_C | \F_{= t})) = \E(P(A \cap B \cap C | \F_{= t})) = P(A \cap B \cap C) + \end{multline*} + Аналогично можно привести левую часть: + \begin{multline*} + \E(P(A | \F_{= t})P(B | \F_{= t})\chi_C) = \E(P(A | \F_{= t})P(B \cap C | \F_{= t})) = + \\ + [\text{условие}] = \E(P(A | \F_{\le t})P(B \cap C | \F_{\le t})) = + \\ + \E(\chi_A P(B \cap C | \F_{\le t})) = \E(P(A \cap B \cap C | \F_{\le t})) = P(A \cap B \cap C) + \end{multline*} + \end{itemize} +\end{proof} + +\begin{theorem} + Случайный процесс $\xi$ со значениями в $E$ является марковским тогда и только тогда, когда + \[ + \forall g \text{ --- $\cE$-измеримая ограниченная}\ \forall s, t \in T, s \le t\ \ \E(g(\xi_t) | \F_{\le s}) = \E(g(\xi_t) | \F_{= s}) + \] +\end{theorem} + +\begin{note} + Эквивалентная формулировка теоремы выглядит так: + \[ + \forall B \in \cE\ \forall s, t \in T, s \le t\ \ P(\xi_t \in E | \F_{\le s}) = P(\xi_t \in E | \F_{= s}) + \] +\end{note} + +\begin{proof} + Доказываем не равносильность марковости, а эквивалентному утверждению: + \[ + \forall f \text{ --- $\F_{\ge t}$-измеримая ограниченная}\ \ \E(f | \F_{\le t}) = \E(f | \F_{= t}) + \] + \begin{itemize} + \item[$\Ra$] Если процесс марковский, то $f = g(\xi_t)$ является также и $\F_{\ge t}$-измеримой ограниченной функцией. + + \item[$\La$] Проведём доказательство в несколько этапов + \begin{enumerate} + \item $f = f_1(\xi_{t_1}) \cdot \ldots \cdot f_n(\xi_{t_n})$ --- функция $f$ имеет выражение через $f_i$ --- $\cE$-измеримые ограниченные функции и $t \le t_1 < \ldots < t_n$. Проверим равенство индукцией по $n \in \N$: + \begin{enumerate} + \item База $n = 1$: тривиальное совпадение с теоремой + + \item Переход $n > 1$: перепишем левую часть доказываемого равенства так: + \begin{multline*} + \E(f_1(\xi_{t_1}) \cdot \ldots \cdot f_n(\xi_{t_n}) | \F_{\le t}) = + \\ + \E\ps{\E(f_1(\xi_{t_1}) \cdot \ldots \cdot f_n(\xi_{t_n}) | \F_{\le t_{n - 1}}) \Big| \F_{\le t}} = + \\ + \E\ps{f_1(\xi_{t_1}) \cdot \ldots \cdot f_{n - 1}(\xi_{t_{n - 1}})\E(f_n(\xi_{t_n}) | \F_{\le t_{n - 1}}) \Big| \F_{\le t}} + \end{multline*} + А теперь можно воспользоваться условием. Тогда + \[ + \E(f_n(\xi_{t_n}) | \F_{\le t_{n - 1}}) = \E(f_n(\xi_{t_n}) | \F_{= t_{n - 1}}) + \] + Причём справа записана величина, измеримая относительно $\F_{= t_{n - 1}}|\cE$. Значит, она может быть записана в виде $\phi(\xi_{t_{n - 1}})$, где $\phi \colon E \to \R$ --- $\cE$-измеримая функция. Итого: + \begin{multline*} + \E(f | \F_{\le t}) = \E(f_1(\xi_{t_1}) \cdot \ldots \cdot f_n(\xi_{t_n}) | \F_{\le t}) = + \\ + \E(f_1(\xi_{t_1}) \cdot \ldots \cdot f_{n - 1}(\xi_{t_{n - 1}})\phi(\xi_{t_{n - 1}}) | \F_{\le t}) = [\text{предположение индукции}] = + \\ + \E(f_1(\xi_{t_1}) \cdot \ldots \cdot f_{n - 1}(\xi_{t_{n - 1}})\phi(\xi_{t_{n - 1}}) | \F_{= t}) = \E(f | \F_{= t}) + \end{multline*} + Последний переход работает в силу аналогичной цепочке равенств для $\F_{= t}$, что мы написали в начале разбора этого случая. + \end{enumerate} + + \item $f$ --- произвольная $\F_{\ge t}$-измеримая ограниченная функция. Такая $f$ принадлежит $L_2(P)$ и, более того, представима в виде предела функций $f_j \in L_2(P)$, имеющие рассмотренный выше вид. Тогда, соответствующие условные средние из теоремы тоже сходятся в $L_2(P)$ и равенство установлено для $f$. Естественный вопрос, который тут надо задать: а почему подобные $f_j$ найдутся? Рассмотрим все $\{t_k\}_{k = 1}^\infty \subseteq T$, $t \le t_k \le t_{k + 1}$. Тогда, имеются $\sigma$-алгебры вида $\sigma(\xi_{t_1}, \ldots, \xi_{t_n})$. Их объединение является алгеброй, порождающей $\F_{\ge t}$. Тогда, $f \in \F_{\ge t}$ может быть приближено как линейная комбинация индикаторов множеств из этой алгебры. + \end{enumerate} + \end{itemize} +\end{proof} + +\begin{corollary} + Пусть $\xi$ --- марковский процесс со значениями в $E$, $\psi \colon E \to E$ --- изоморфизм. Тогда $\psi(\xi) := (\psi(\xi_t))_{t \in T}$ --- тоже марковский процесс. +\end{corollary} + +\begin{problem} + Пусть $W$ --- винеровский процесс, $f \colon \R \to \R$ --- борелевская функция. Найти выражение для $s, t \in T, s \le t\ \E(f(W_t) | \F_{= s})$ и доказать, что $W$ --- марковский процесс. +\end{problem} + +\begin{solution} + \textcolor{red}{Решить самому} +\end{solution} + +\begin{note} + Этот же результат может быть получен как применение следующей теоремы. +\end{note} + +\begin{theorem} (без доказательства) + Пусть $\xi$ --- процесс с независимыми приращениями. Тогда $\xi$ --- марковский процесс. +\end{theorem} + +\begin{problem} + Пусть $\xi$ --- марковский процесс со значениями в $\R$, $\xi_t \in L_1(P)$. Доказать, что $\xi$ является мартингалом относительно порождённой $\xi$ фильтрации тогда и только тогда, когда выполнено равенство + \[ + \forall s, t \in T, s \le t\ \ \E(\xi_t | \F_{= s}) = \xi_s + \] +\end{problem} + +\begin{note} + То есть для марковского процесса, в отличие от мартингала, достаточно заменить $\F_{\le s}$ на $\F_{= s}$. +\end{note} + +\begin{solution}~ + \begin{itemize} + \item[$\Ra$] По определению мартингала: + \[ + \forall s, t \in T, s \le t\ \ \E(\xi_t | \F_{\le s}) = \xi_s + \] + Заметим, что $\xi_t$ является $\F_{\ge t} \subseteq \F_{\ge s}$-измеримой величиной. Значит, можно использовать эквивалентное свойство марковости: + \[ + \forall s, t \in T, s \le t\ \ \E(\xi_t | \F_{= s}) = \E(\xi_t | \F_{\le s}) = \xi_s + \] + + \item[$\La$] Из определения марковости и условия задачи имеем: + \[ + \forall s, t \in T, s \le t\ \ \E(\xi_t | \F_{= s}) = \xi_s = \E(\xi_t | \F_{\le s}) + \] + Получили мартингал по определению. + \end{itemize} +\end{solution} + +\begin{theorem} (без доказательства) + Пусть $S \subseteq \R^n$ --- борелевское множество с $\sigma$-алгеброй $\cS$ на нём. Также $\xi$ --- марковский процесс со значениями в $S$, причём $T \in \{\lsi{0; +\infty}, \R, \N, \Z\}$. Тогда $\xi$ обладает \textit{переходной функцией} $P \colon T \times S \times T \times \cA$, $\cA \subseteq \cS \to [0; 1]$. Она обладает следующими свойствами: + \begin{itemize} + \item Функция $\mu \colon B \mapsto P(s, x, t, B)$ для фиксированных $s, x, t$ --- вероятностная мера. Причём, если $s = t$, то получится мера Дирака $\delta_x$. + + \item Функция $f \colon x \mapsto P(s, x, t, B)$ --- борелевская + + \item Выполнено \textit{уравнение Чепмена-Колмогорова} + \[ + \forall s \le u \le t\ \ P(s, x, t, B) = \int_S P(u, y, t, B)P(s, x, u, dy) + \] + + \item Для фиксированных $s, t, B$, $s \le t$ имеет место равенство + \[ + P(s, \xi_s, t, B) =\aal{P} P(\xi_t \in B | \F_{= s}) + \] + где $P$ у равенства --- вероятностная мера исходного пространства + \end{itemize} +\end{theorem} + +\begin{note} + Переходная функцию можно понимать как вероятность процесса попасть в множество $B$ в момент времени $t$ при нахождении в точке $x$ в момент времени $s$. +\end{note} + +\begin{proposition} (Связь конечномерных распределений с переходной функцией, без доказательства) + Пусть $\xi$ --- случайный процесс, обладающий переходной функцией. Тогда + \begin{multline*} + \forall C \in \R^n\ \ P((\xi_{t_1}, \ldots, \xi_{t_n}) \in C) = + \\ + \int_E \cdots \int_E \chi_C(x_1, \ldots, x_n) P(t_{n - 1}, x_{n - 1}, t_n, dx_n) \cdot \ldots \cdot P(t_1, x_1, t_2, dx_2)dP_{t_1}(x_1) + \end{multline*} +\end{proposition} \ No newline at end of file diff --git a/Lectures/6_Semester/Random_Processes/2024_Bogachev/lectures/9lecture.tex b/Lectures/6_Semester/Random_Processes/2024_Bogachev/lectures/9lecture.tex new file mode 100644 index 0000000..83ca1a1 --- /dev/null +++ b/Lectures/6_Semester/Random_Processes/2024_Bogachev/lectures/9lecture.tex @@ -0,0 +1,193 @@ +\begin{definition} + Пусть $\xi$ --- процесс, обладающий переходной функцией $P(s, x, t, B)$. Если она выразима как функция $P'(t - s, x, B)$, то процесс называется \textit{однородным}. Тогда можно говорить, что задана функция $P(x, t, B)$, интерпретируемая как вероятность попасть в множество $B$ в момент времени $t$ при нахождении процесса $\xi$ в точке $x$ в момент времени $0$. +\end{definition} + +\section{Марковские цепи} + +\begin{definition} + \textit{Однородной цепью Маркова} называется однородный марковский процесс, обладающий дискретным временем $T = \N_0$ и не более чем счётным фазовым пространством $E = \{x_j\}_{j = 1}^{\{m, \infty\}}$ +\end{definition} + +\begin{note} + Далее будет рассматриваться однородная цепь Маркова с счётным фазовым пространством. +\end{note} + +\begin{note} + Уже из того, что было дано в определении, переходная функция цепи $\xi$ будет определяться счётным числом значений $p_{i, j} \ge 0$ --- вероятность перехода из $x_i$ в $x_j$ за 1 шаг. Тогда понятно, что + \[ + \forall i \in \N_0\ \ \sum_{j = 1}^\infty p_{i, j} = 1 + \] +\end{note} + +\begin{note} + Однородная цепь Маркова является очень интересным объектом. Если мы знаем распределение цепи $\pi_0$ в момент времени $0$ (это распределение на $(E, \cE)$), то можем найти $\pi_1$ и так далее. Действительно, вероятность попадания процесса в $x_j$ в момент времени $1$ может быть записана как + \[ + \sum_{i = 1}^\infty \pi_0(x_i)p_{i, j} + \] + Значит, если сопоставить $\pi_n$ его координатную строку $(\pi_n(x_1), \pi_n(x_2), \ldots)$, а за $P$ положить двумерную бесконечную матрицу (в счётном случае) $P = (p_{i, j})_{i, j \ge 1}$, то получим связь + \[ + \pi_1 = \pi_0P + \] + А значит, $\pi_n = \pi_{n - 1}P = \ldots = \pi_0P^n$ +\end{note} + +\begin{note} + Это всё здорово, но как и всегда есть один важный вопрос --- а существуют ли вообще однородные цепи Маркова? Ответ конечно же положителен, его даёт следующая теорема. +\end{note} + +\begin{note} + Далее, матрицей перехода называется матрица с неотрицательными элементами, причём сумма в любой строке равна единице. +\end{note} + +\begin{theorem} + Пусть $P = (p_{i, j})_{i, j \ge 1}$ --- матрица перехода, $\pi_0$ --- начальное распределение на $(E, \cE)$. Тогда, существует однородная цепь Маркова с фазовым пространством $E$, для которой $\pi_0$ является распределением $\xi_0$ и $p_{i, j} = P(\xi_{n + 1} = x_j | \xi_n = x_i)$. +\end{theorem} + +\begin{proof} + Хоть теорема Колмогорова о существовании процесса была для случая $E = \R$, мы можем свести общую ситуцию к такой же. В силу счётности $E$, каждому элементу однозначно сопоставлен его индекс. Будем считать, что $x_i = i$. Необходимо предъявить согласованные меры на $\R^n$. Так как они будут сконцетрированы на $\{1, \ldots, m\}^n$, то достаточно предъявить меры на этом подпространстве. Положим $P_0 = \pi_0$, а остальные конечные распределения задаются так: + \[ + P_{1, \ldots, n}(i_1, \ldots, i_n) = P_0(i_1) \cdot p_{i_1, i_2} \cdot \ldots \cdot p_{i_{n - 1}, i_n} + \] + Меры на остальных подмножествах $T = \N_0$ получаются проекциями уже имеющихся мер $P_{1, \ldots, n}$. Например: + \[ + P_{2, 3}(i, j) = \sum_{k = 1}^m P_{1, 2, 3}(k, i, j) = \sum_{k = 1}^m \pi_0(k)p_{k, i}p_{i, j} + \] + Также очевидно, что проекция $P_{1, \ldots, n + 1}$ на $\{1, \ldots, m\}^n$ даст $P_{1, \ldots, n}$, поскольку $\sum_{j = 1}^m p_{i, j} = 1$. Итак, теорема Колмогорова даёт существование согласованного с нашими мерами процесса $\xi$. При этом, мы ещё не проверили соблюдение марковости и равенства для $p_{i, j}$. Для них достаточно проверить такие равенства соответственно: + \begin{align*} + &{\forall t_1 < t_2 < t_3\ \ P(\xi_{t_1} = i \wedge \xi_{t_3} = j | \xi_{t_2} = l) = P(\xi_{t_1} = i | \xi_{t_2} = l) \cdot P(\xi_{t_3} = j | \xi_{t_2} = l)} + \\ + &{\forall n \in \N\ \ P(\xi_{n - 1} = i \wedge \xi_n = j) = p_{i, j}P(\xi_{n - 1} = i)} + \end{align*} + Вторая формула оказывается верной по определению: + \begin{multline*} + P(\xi_{n - 1} = i \wedge \xi_n = j) = P_{(n - 1), n}(i, j) = + \\ + \sum_{k_1, \ldots, k_{n - 2}} P_{1, \ldots, n}(k_1, \ldots, k_{n - 2}, i, j) = \sum_{k_1, \ldots, k_{n - 2} = 1}^m \pi_0(k_1)p_{k_1, k_2} \cdot \ldots \cdot p_{k_{n - 2}, i}p_{i, j} = + \\ + \ps{\sum_{k_1, \ldots, k_{n - 2}}^m \pi_0(k_1)p_{k_1, k_2} \cdot \ldots \cdot p_{k_{n - 2}, i}}p_{i, j} = P(\xi_{n - 1} = i)p_{i, j} + \end{multline*} + Из верности этого соотношения также получается более общая формула: + \[ + \forall m < n\ \ P(\xi_m = i | \xi_n = j) = p_{i, j}^{(n - m)},\ p_{i, j}^{(n - m)} = (P^{n - m})_{i, j} + \] + Для первой, по формуле условной вероятности переходим к следующему: + \[ + \forall t_1 < t_2 < t_3\ \ P(\xi_{t_1} = i \wedge \xi_{t_3} = j \wedge \xi_{t_2} = l)P(\xi_{t_2} = l) = P(\xi_{t_1} = i \wedge \xi_{t_2} = l) \cdot P(\xi_{t_3} = j \wedge \xi_{t_2} = l) + \] + Величины справа можно посчитать так: + \[ + P(\xi_{t_1} = i \wedge \xi_{t_2} = l) = P(\xi_{t_1} = i | \xi_{t_2} = l)P(\xi_{t_2} = l) = p_{i, l}^{(t_2 - t_1)}P(\xi_{t_2} = l) + \] + Если преобразовать крайнюю правую величину подобным образом, то придём к такой формулировке проверяемого равенства: + \[ + \forall t_1 < t_2 < t_3\ \ P(\xi_{t_1} = i \wedge \xi_{t_3} = j \wedge \xi_{t_2} = l) = P(\xi_{t_1} = i \wedge \xi_{t_2} = l)p_{l, j}^{(t_3 - t_2)} + \] + Будем доказывать индукцией по $t_3 - t_2$. + \begin{itemize} + \item База $t_3 - t_2 = 1$. При подстановке получим + \[ + \forall t_1 < t_2\ \ P(\xi_{t_1} = i \wedge \xi_{t_2} = l \wedge \xi_{t_2 + 1} = j) = P(\xi_{t_1} = i \wedge \xi_{t_2} = l)p_{l, j} + \] + Это вытекает из определения $P$, как и в случае второй формулы. + + \item Переход $t_3 - t_2 > 1$. Сведём левую вероятность к предположению индукции: + \begin{multline*} + P(\xi_{t_1} = i \wedge \xi_{t_2} = l \wedge \xi_{t_3} = j) = \sum_{k = 1}^m P(\xi_{t_1} = i \wedge \xi_{t_2} = l \wedge \xi_{t_3 - 1} = k)p_{k, j} = + \\ + \sum_{k = 1}^m P(\xi_{t_1} = i \wedge \xi_{t_2} = l)p_{l, k}^{(t_3 - t_2 - 1)}p_{k, j} = P(\xi_{t_1} = i \wedge \xi_{t_2} = l) \sum_{k = 1}^m p_{l, k}^{(t_3 - t_2 - 1)}p_{k, j} = + \\ + P(\xi_{t_1} = i \wedge \xi_{t_2} = l)p_{l, j}^{(t_3 - t_2)} + \end{multline*} + \end{itemize} +\end{proof} + +\begin{definition} + Пусть $P$ --- матрица перехода. Тогда распределение $\pi$ на $(E, \cE)$ называется \textit{стационарным (инвариантным)}, если + \[ + \pi P = \pi + \] +\end{definition} + +\begin{theorem} + Если $E$ --- конечное пространство и $P$ ---матрица перехода, то существует хотя бы одна стационарная мера на нём. +\end{theorem} + +\begin{proof} + Обозначим за $\cP$ --- множество всех мер на $(E, \cE)$. Тогда $\cP$ --- конечномерный симплекс. Отображение $\phi \colon \pi \mapsto \pi P$ является непрерывным на этом симплексе, а потому по теореме Брауэра должна существовать неподвижная точка. +\end{proof} + +\begin{theorem} (эргодическая) + Пусть $E = \{x_j\}_{j = 1}^m$ и при некотором $n_1 \in \N$ все элементы некоторой матрицы $P$ положительны. Тогда, существует и единственна инвариантная вероятностная мера $\mu$ на $(E, \cE)$. Более того\begin{itemize} + \item $\forall i \le m\ \mu(x_j) > 0$ + + \item Для всякой начальной меры $\pi_0$ на $(E, \cE)$, последовательность мер $\pi_n = \pi_0 P^n$ сходится к $\mu$. + \end{itemize} +\end{theorem} + +\begin{note} + В конечномерных пространствах все нормы эквивалентны, поэтому неважно, о какой сходимости говорить. +\end{note} + +\begin{proof} + Так как $E$ конечно, инвариантная вероятностная мера $\mu$ существует. + \begin{itemize} + \item (Сходимость) В силу аналогичности, пусть $n_1 = 1$. Обозначим $M = (m_{i, j})_{i, j \ge 1}$ --- матрица, все строки которой совпадают со строкой $\mu$. Несложно убедиться, что для любой вероятностной меры $\pi$ на $(E, \cE)$ тогда выполнено равенство + \[ + \pi M = \mu + \] + Так как $p_{i, j} > 0$, найдётся $\delta \in (0; 1)$ что $P \ge \delta M$ (сравнение поэлементное). Обозначим $\lambda = 1 - \delta$ и заметим, что $P$ представимо в виде линейной комбинации $M$ с некоторой матрицей $Q$: + \[ + P = (1 - \lambda) M + \lambda Q + \] + Так как $P - \delta M = \lambda Q \ge 0$, то $q_{i, j} \ge 0$ и $\sum_{j = 1}^m q_{i, j} = 1$. Заметим следующие алгебраические свойства: + \begin{enumerate} + \item $M^2 = M$ + + \item $MP = PM = M$ + + \item $MQ = QM = M$ + \end{enumerate} + По индукции покажем, что степень $P^n$ может быть записана как + \[ + P^n = (1 - \lambda^n)M + \lambda^nQ^n + \] + \begin{itemize} + \item База $n = 1$: тривиально + + \item Переход $n > 1$: + \begin{multline*} + P^n = ((1 - \lambda) M + \lambda Q)P^{n - 1} = + \\ + ((1 - \lambda)M + \lambda Q)((1 - \lambda^{n - 1})M + \lambda^{n - 1}Q^{n - 1}) = + \\ + (1 - \lambda^{n - 1})M + ((1 - \lambda)M + \lambda Q)\lambda^{n - 1}Q^{n - 1} = + \\ + (1 - \lambda^{n - 1} + \lambda^{n - 1} - \lambda^n)M + \lambda^nQ^n = (1 - \lambda^n)M + \lambda^nQ^n + \end{multline*} + \end{itemize} + Это равенство позволяет показать сходимость $\pi_n = \pi_0 P^n$ к $\mu$. Рассмотрим соответствующую разность: + \[ + \pi_0 P^n - \mu = \pi_0 P^n - \mu P^n = (\pi_0 - \mu)P^n = (\pi_0 - \mu)((1 - \lambda^n)M + \lambda^nQ^n) = \lambda^n(\pi_0 - \mu)Q^n + \] + $\|(\pi_0 - \mu)Q^n\| \le \|\pi_0 - \mu\| \cdot \|Q\|^n$. Если рассмотреть норму на строках, равную сумме модулей координат, то с учётом порождённой нормы матрицы получится оценка $\le 2$. + + \item (Единственность) Пусть $\nu$ --- ещё одна инвариантная вероятностная мера. Тогда + \[ + \nu = \nu P^n = \lim_{n \to \infty} \nu P^n = \mu + \] + + \item (Положительность вероятности) Так как $\mu$ это распределение, то $\forall i \le m\ \mu(x_i) \ge 0$ и $\exists j \le m \colon \mu(x_j) > 0$. Поэтому, раз $\mu = \mu P^{n_1}$, то $\forall i \le m\ \mu(x_i) = (\mu P^{n_1})(x_i) > 0$ + \end{itemize} +\end{proof} + +\begin{note} + Условие положительности $P$ хоть при какой-то степени $n_1 \in \N$ существенно. Если всякая степень $P^n$ имеет нулевой элемент, то для некоторых элементов $x_{i_0}$, $x_{j_0}$ найдётся бесконечная последовательность $\{n_k\}_{k = 1}^\infty$ такая, что матрица $P^{n_k}$ имеет нулевой элемент с индексами $i_0, j_0$. Тогда, для меры $\pi$ следующего вида + \[ + \pi(x_i) = \System{ + &{0, i \neq i_0} + \\ + &{1, i = i_0} + } + \] + получится $(\pi P^{n_k})(x_{j_0}) = 0$, поэтому предел мер $\mu$ не сможет быть положителен для всех $x_j$. +\end{note} \ No newline at end of file diff --git a/Lectures/6_Semester/Random_Processes/2024_Bogachev/main.tex b/Lectures/6_Semester/Random_Processes/2024_Bogachev/main.tex index 17cc031..ccc84ca 100644 --- a/Lectures/6_Semester/Random_Processes/2024_Bogachev/main.tex +++ b/Lectures/6_Semester/Random_Processes/2024_Bogachev/main.tex @@ -11,7 +11,18 @@ \linespread{1} \selectfont + \newpage + \input{info} \newpage \input{lectures/1lecture} \input{lectures/2lecture} + \input{lectures/3lecture} + \input{lectures/4lecture} + \input{lectures/5lecture} + \input{lectures/6lecture} + \input{lectures/7lecture} + \input{lectures/8lecture} + \input{lectures/9lecture} + \input{lectures/10lecture} + \input{lectures/11lecture} \end{document} \ No newline at end of file diff --git a/Lectures/6_Semester/Random_Processes/2024_Bogachev/preamble/preamble.tex b/Lectures/6_Semester/Random_Processes/2024_Bogachev/preamble/preamble.tex index 8baedac..e773c10 100644 --- a/Lectures/6_Semester/Random_Processes/2024_Bogachev/preamble/preamble.tex +++ b/Lectures/6_Semester/Random_Processes/2024_Bogachev/preamble/preamble.tex @@ -59,7 +59,9 @@ \newcommand{\B}{\mathfrak{B}} \newcommand{\cE}{\mathcal{E}} \newcommand{\cD}{\mathcal{D}} +\newcommand{\cS}{\mathcal{S}} \newcommand{\cX}{\mathcal{X}} +\newcommand{\Tau}{\mathcal{T}} \newcommand{\ol}{\overline} \newcommand{\wh}{\widehat} \newcommand{\wt}{\widetilde} @@ -209,7 +211,7 @@ %%% Шаблонная информация для титульного листа \newcommand{\CourseName}{Случайные процессы} \newcommand{\FullCourseNameFirstPart}{\so{СЛУЧАЙНЫЕ ПРОЦЕССЫ}} -\newcommand{\SemesterNumber}{V} +\newcommand{\SemesterNumber}{VI} \newcommand{\LecturerInitials}{Владимир Игоревич Богачёв} \newcommand{\CourseDate}{весна 2024} \newcommand{\GithubLink}{https://github.com/daniild71r/lectures_tex_club} diff --git a/Lectures/6_Semester/Random_Processes/2024_Bogachev/preamble/title_page.tex b/Lectures/6_Semester/Random_Processes/2024_Bogachev/preamble/title_page.tex index b6a15aa..57adadb 100644 --- a/Lectures/6_Semester/Random_Processes/2024_Bogachev/preamble/title_page.tex +++ b/Lectures/6_Semester/Random_Processes/2024_Bogachev/preamble/title_page.tex @@ -16,7 +16,7 @@ \begin{flushright} \noindent - Автор: Максимов Даниил + Автор: \href{https://t.me/wolfawi}{Максимов Даниил} \\ \href{\GithubLink}{\textit{Проект на Github}} \end{flushright}