Added notes on Random Processes

Lectures/6_Semester/Random_Processes/2024_Bogachev/info.tex

@@ -0,0 +1,5 @@
+\section*{Предупреждение}
+
+Единственный, кто несёт ответственность материал в этом конспекте --- его автор. Он не может гарантировать верность ни утверждений, ни приведённых доказательств, однако старается исправлять все поступающие замечания по мере сил.
+
+Если вы увидели несостыковки либо ошибки, то смело сообщайте (имя автора на титульной странице кликабельно).

Lectures/6_Semester/Random_Processes/2024_Bogachev/lectures/10lecture.tex

@@ -0,0 +1,189 @@
+\section{Ветвящиеся процессы Гальтона-Ватсона}
+
+\begin{definition}
+	\textit{Процессом Гальтона-Ватсона} называется однородная цепь Маркова $Z$ с фазовым пространством $E = \N_0$, начальным распределением $\pi_0$ и переходными вероятностями следующего вида:
+	\[
+		p_{k, j} = P(Z_{n + 1} = j | Z_n = k) = p_j^{*k}, k > 0
+	\]
+	 при этом $p_{0, 0} = 1$, $p_{0, j} = 0$ и
+	 \[
+	 	p_j^{*k} = \sum_{j_1 \plusdots j_k = j} p_{j_1} \cdot \ldots \cdot p_{j_k}
+	 \]
+	 где $(p_0, p_1, \ldots)$ --- вероятностное распределение на $\N_0$.
+\end{definition}
+
+\begin{note}
+	$\pi_0$, вообще говоря, может быть любым, но далее мы предполагаем детерминрованный вариант $\pi_0(1) = 1$.
+\end{note}
+
+\begin{note}
+	Процесс Гальтона-Ватсона можно записать и другим образом. Пусть $\{\xi_k\}_{k = 1}^\infty$ --- независимые случайные величины с общим распределением:
+	\[
+		P(\xi_k = m) = p_m
+	\]
+	Тогда $p_j^{*k} = P(\xi_1 \plusdots \xi_k = j)$.
+\end{note}
+
+\begin{note}
+	Интерпретация рассматриваемого процесса Гальтона-Ватсона такова: наблюдается процесс смены поколений частиц. Частица живёт 1 единицу времени, и в начале была ровно 1 частица. Каждая частица может породить произвольное число потомков согласно вероятностному распределению $(p_0, p_1, \ldots)$. На моменте времени 2 уже, естественно, будет не одна частица, но все они могут породить потомков по этому же распределению, и так далее.
+
+	Число частиц в $n$-м поколении есть $Z_n$. Если $\xi_k^{(n)}$ --- случайная величина, отвечающая количеству потомков от $k$-й частицы в $(n - 1)$-м поколении, то
+	\[
+		Z_n = \sum_{k = 1}^{Z_{n - 1}} \xi_k^{(n)}, n \ge 1;\ Z_0 = 1
+	\]
+\end{note}
+
+\begin{problem}
+	Найти вероятность вырождения процесса Гальтона-Ватсона, то есть вероятность того, что все частицы умрут:
+	\[
+		q = P(\exists n \in \N \colon Z_n = 0)
+	\]
+	Также должно быть понятно, что $q = \lim_{n \to \infty} q_n$, где $q_n := P(Z_n = 0)$.
+\end{problem}
+
+\begin{note}
+	Отсюда и до конца параграфа, если не сказано явно другого, любая случайная величина рассматривается со значениями в $\N_0$.
+\end{note}
+
+\begin{definition} \textcolor{red}{(не по лектору)}
+	\textit{Производящей функцией случайной величины $\xi$} называется производящая функция, у которой коэффициенты при степени $z^k$ соответствуют $P(\xi = k)$.
+\end{definition}
+
+\begin{proposition}
+	Пусть $\xi$ --- случайная величина. Тогда её производящая функция может быть записана как
+	\[
+		\forall z \in \Cm, |z| \le 1\ \ \phi_\xi(z) = \E z^\xi = \sum_{k \ge 0} P(\xi = k)z^k
+	\]
+\end{proposition}
+
+\begin{proof}
+	Тривиально
+\end{proof}
+
+\begin{proposition}
+	Пусть $\xi$ --- случайная величина. Тогда производящая функция $\phi_\xi(z) = \E z^\xi$ определена в замкнутом единичном круге, задаёт аналитическую функцию на внутренности и непрерывную на замыкании, причём $\phi_\xi(1) = 1$ и $\phi'_\xi(1) = \E\xi$
+\end{proposition}
+
+\begin{note}
+	Если в производящей функции положить $z = e^{it}$, то получится преобразование Фурье.
+\end{note}
+
+\begin{lemma} (рекуррентность харфункции процесса Гальтона-Ватсона)
+	Имеет место формула:
+	\[
+		\forall z \in \Cm, |z| \le 1\ \ \phi_{Z_n}(z) = \phi_{Z_{n - 1}}(\phi_\xi(z))
+	\]
+\end{lemma}
+
+\begin{proof}
+	Заметим, что $|\phi_\xi(z)| \le 1$ при $|z| \le 1$. Найдём вид для $\E(z^{Z_n} | Z_{n - 1})$:
+	\begin{multline*}
+		\E(z^{Z_n} | Z_{n - 1} = m) = \E\ps{z^{\sum_{k = 1}^{Z_{n - 1}} \xi_k^{(n)}} | Z_{n - 1} = m} = \E\ps{z^{\sum_{k = 1}^m \xi_k^{(n)}} | Z_{n - 1} = m} = [1] =
+		\\
+		\E\ps{z^{\sum_{k = 1}^m \xi_k^{(n)}}} = \E\ps{\prod_{k = 1}^m z^{\xi_k^{(n)}}} = \prod_{k = 1}^m \E(z^{\xi_k^{(n)}}) = \phi_\xi(z)^m
+	\end{multline*}
+	Пояснение 1: $Z_{n - 1} = \sum_{k = 1}^{Z_{n - 2}} \xi_k^{(n - 1)}$ по определению, то есть $Z_{n - 1}$ зависит только от $\xi_k^{(l)}$, где $l \le n - 1$. Значит, $Z_{n - 1}$ независимо со всеми $\xi_k^{(n)}$. Итого:
+	\[
+		\E(z^{Z_n} | Z_{n - 1}) = \phi_\xi(z)^{Z_{n - 1}}
+	\]
+	Применяя формулу полной вероятности в рамках УМО, получим
+	\[
+		\phi_{Z_n}(z) = \E z^{Z_n} = \E(\E(z^{Z_n} | Z_{n - 1})) = \E(\phi_\xi(z)^{Z_{n - 1}}) = \phi_{Z_{n - 1}}(\phi_\xi(z))
+	\]
+\end{proof}
+
+\begin{corollary}
+	Для $\phi_{Z_n}(z)$ имеет место формула
+	\[
+		\phi_{Z_n}(z) = \underbrace{\phi_\xi(\cdots \phi_\xi(\phi_\xi}_{n}(z)) \cdots)
+	\]
+	Отсюда же $\phi_{Z_n}(z) = \phi_\xi(\phi_{Z_{n - 1}}(z))$
+\end{corollary}
+
+\begin{proof}
+	Проведём индукцию по $n$:
+	\begin{itemize}
+		\item База $n = 0$: $\phi_{Z_0}(z) = \E z^1 = z$
+
+		\item Переход $n > 0$:
+		\[
+			\phi_{Z_n}(z) = [\text{лемма}] = \phi_{Z_{n - 1}}(\phi_\xi(z)) = \underbrace{\phi_\xi(\cdots \phi_\xi}_{n - 1}(\phi_\xi(z)) \cdots)
+		\]
+	\end{itemize}
+\end{proof}
+
+\begin{lemma}
+	Вероятность вырождения $q$ является неподвижной точкой $\phi_\xi$:
+	\[
+		q = \phi_\xi(q)
+	\]
+\end{lemma}
+
+\begin{proof}
+	В силу рекуррентных формул для производящей функции $Z_n$:
+	\[
+		q_n := P(Z_n = 0) = \phi_{Z_n}(0) = \phi_\xi(\phi_{Z_{n - 1}}(0)) = \phi_\xi(q_{n - 1})
+	\]
+	Сделаем предельный переход с обеих сторон:
+	\[
+		\lim_{n \to \infty} q_n = q = \lim_{n \to \infty} \phi_\xi(q_{n - 1}) = \phi_\xi(\lim_{n \to \infty} q_{n - 1}) = \phi_\xi(q)
+	\]
+\end{proof}
+
+\begin{note}
+	Из вышесказанного совершенно не обязательно, что $q = 1$, ведь у $\phi_\xi$ может быть много неподвижных точек.
+\end{note}
+
+\begin{theorem}
+	Пусть $P(\xi = 1) < 1$. Тогда
+	\begin{itemize}
+		\item Если $\E\xi \le 1$, то уравнение $z = \phi_\xi(z)$ имеет единственное решение на $[0; 1]$. (Следовательно, $q = 1$)
+
+		\item Если $\centernot\exists \E\xi$ или $\E\xi > 1$, то уравнение $z = \phi_\xi(z)$ имеет единственное решение на $\lsi{0; 1}$. (Причём $q = z_0 \in \lsi{0; 1}$)
+	\end{itemize}
+\end{theorem}
+
+\begin{note}
+	Таким образом, $q$ всегда равно наименьшему корню уравнения $z = \phi_\xi(z)$ на $[0; 1]$.
+\end{note}
+
+\begin{proof}
+	Для начала отметим, что функция $\phi_\xi$ выпукла вниз на $\lsi{0; 1}$:
+	\[
+		\forall x \in \lsi{0; 1}\ \ \phi'_\xi(x) = \sum_{k \ge 1} P(\xi = k)kx^{k - 1} \ge 0;\ \ \phi''_\xi(x) = \sum_{k \ge 2} P(\xi = k)k(k - 1)x^{k - 2} \ge 0
+	\]
+	Причём $\phi_\xi(0) = P(\xi = 0) \ge 0$, $\phi_\xi(1) = 1$. Произведём большой разбор случаев:
+	\begin{itemize}
+		\item $P(\xi = 0) = 1$. Тогда $\phi_\xi = 1$, $\E\xi = 0$ тривиальным образом
+
+		\item $P(\xi = 0) < 1 \wedge \forall x \in \lsi{0; 1}\ \phi''_\xi(x) = 0$. Тогда, можно решить дифференциальное уравнение и найти $\phi_\xi(x) = P(\xi = 0) + xP(\xi = 1)$. Отсюда $\E \xi \le 1$ и $x = 1$ --- единственный корень уравнения $x = \phi_\xi(x)$
+
+		\item $P(\xi = 0) < 1 \wedge \phi''_\xi|_{\lsi{0; 1}} \neq 0$. Из формы $\phi''_\xi$ в виде ряда видно, что \\ $\forall x \in (0; 1)\ \phi''_\xi(x) > 0$, поэтому кроме корня 1 может быть только ещё один корень $x_0 \in \lsi{0; 1}$.
+		\begin{itemize}
+			\item $\phi'_\xi(1) = \E\xi \le 1$. Тогда, второго корня нет, ибо $\phi_\xi(z) \ge z$ при $z \in [0; 1]$ из-за выпуклости вниз.
+
+			\item $\E\xi > 1$ либо $\E\xi = +\infty$. Тогда, есть ровно один корень $x_0 \in \lsi{0; 1}$. Покажем, что $q = x_0$ в таком случае. Для этого достаточно проверить, что $q_n \le x_0$. Сделаем это по индукции:
+			\begin{itemize}
+				\item База $n = 0$: $q_0 = \phi_\xi(0) \le \phi_\xi(x_0) = x_0$.
+
+				\item Переход $n > 0$: $\phi_\xi(q_{n - 1}) = q_n \ge q_{n - 1}$, поэтому $\phi_\xi(q_n) - q_n \ge 0$, а отсюда сразу $q_n \le z_0$ в силу известных свойств $\phi_\xi$.
+			\end{itemize}
+		\end{itemize}
+	\end{itemize}
+\end{proof}
+
+\begin{example}
+	Рассмотрим бинарное деление частиц: с вероятностью $p$ частица производит 2х потомков, либо с вероятностью $1 - p$ просто умирает. Тогда, вероятность вырождения --- это корень уравнения
+	\[
+		x = (1 - p) + px^2
+	\]
+	Отсюда $q = (1 - p) / p$ при $p > 1 / 2$ и $q = 1$ иначе.
+\end{example}
+
+\begin{example}
+	В случае деления частиц с геометрическим распределением ($P(\xi = k) = (1 - p)p^k$, $p \in (0; 1)$), получится уравнение
+	\[
+		x = \frac{1 - p}{1 - xp}
+	\]
+	В результате $q$ принимает те же значения, что и в предыдущем примере. Величину $p$ можно однозначно определить по $\E\xi = p / (1 - p)$, поэтому если $\E\xi = 6.5$, то уже $q = 5 / 6 > 0.8$ (огромная вероятность вырождения).
+\end{example}

Lectures/6_Semester/Random_Processes/2024_Bogachev/lectures/11lecture.tex

@@ -0,0 +1,113 @@
+\section{Модель страхования Крамера-Лундберга}
+
+\begin{problem}
+	Предположим, что мы --- страховая компания. Помимо желания заработать, нам также важно понимать, можем ли мы разориться, и если да, то когда. Пусть $T = \R_+$, $X_t$ --- размер капитала в момент времени $t \in T$, $c > 0$ --- скорость поступления страховых взносов, $\eta_0 > 0$ --- начальный капитал, а $\eta_k$ --- сумма выплат по $k$-му страховому случаю и $N_t$ означает число таких случае до момента $t$ включительно. Тогда, капитал можно описать следующей формулой:
+	\[
+		X_t = \eta_0 + ct - \sum_{k = 1}^{N_t} \eta_k
+	\]
+	Вполне логично ожидать, что $(N_t)_{t \in T}$ является пуассоновским процессом интенсивности $\lambda > 0$, $\{\eta_k\}_{k = 1}^\infty$ --- независимые одинаково распределённые неотрицательные величины, причём эта последовательность также независима с $N$. Момент разорения $\tau \colon \Omega \to T \cup \{+\infty\}$ можно задать так:
+	\[
+		\tau(\omega) = \inf \{t \in T \colon X_t < 0\}
+	\]
+	Соответствено, вся задача свелась к изучению $P(\tau < +\infty)$. Также мы потребуем, что $a = \E\eta_1 > 0$, $c - \lambda a > 0$ и $\psi(v) = \E e^{v\eta_1} < \infty$ для всех $v > 0$.
+\end{problem}
+
+\begin{proposition}
+	У процесса $X$ независимые приращения и непрерывные справа траектории.
+\end{proposition}
+
+\begin{proof}~
+	\begin{itemize}
+		\item (Независимость приращений) Рассмотрим $0 \le t_1 < t_2 < t_3 < t_4$. Найдём вид $X_{t_2} - X_{t_1}$:
+		\[
+			X_{t_2} - X_{t_1} = c(t_2 - t_1) - \sum_{k = 1}^{N_{t_2}} \eta_k + \sum_{k = 1}^{N_{t_1}} \eta_k
+		\]
+		В силу того, что приращения пуассоновского процесса принимают неотрицательные значения, $N_{t_1} \le N_{t_2}$. Тогда
+		\[
+			X_{t_2} - X_{t_1} = c(t_2 - t_1) - \sum_{k = N_{t_1} + 1}^{N_{t_2}} \eta_k
+		\]
+		Отсюда видно, что $X_{t_2} - X_{t_1} = \phi(\eta_{N_{t_1} + 1}, \ldots \eta_{N_{t_2}})$. Этот набор не пересекается с набором для $X_{t_4} - X_{t_3}$, поэтому приращения обязаны быть независимыми. \textcolor{red}{Это не совсем правда, может быть ситуация $N_{t_2} = N_{t_3}$, да и даже так, наборы случайных величин не фиксированы}
+
+		\item (Непрерывность справа траекторий) Зафиксируем $\omega \in \Omega$. Тогда
+		\[
+			X(t, \omega) - X(t_0, \omega) = c(t - t_0) - \sum_{k = N(t_0, \omega)}^{N(t, \omega)}\eta_k(\omega)
+		\]
+		Часть $c(t - t_0)$ тривиально будет стремится к нулю при $t \to t_0+$. Так как слагаемые под знаком суммы не зависят от $t$, вопрос становится лишь в том, почему $N(t, \omega) - N(t_0, \omega)$ будет стремится к нулю при $t \to t_0+$ для почти всех $\omega \in \Omega$, а это известный факт: у пуассоновского процесса $P$-почти наверное траектории непрерывны справа.
+	\end{itemize}
+\end{proof}
+
+\begin{lemma} (без доказательства)
+	Пусть $s < t$. Тогда
+	\[
+		\E\exp(-v(X_t - X_s)) = \exp((t - s)g(v)),\ g(v) = \lambda(\psi(v) - 1) - vc
+	\]
+\end{lemma}
+
+\begin{proof}
+	Подставим процесс $X$:
+	\[
+		X_t - X_s = c(t - s) - \sum_{k = N_s + 1}^{N_t} \eta_k
+	\]
+	Тогда
+	\[
+		\E\exp(-v(X_t - X_s)) = e^{-vc(t - s)}\E\exp\ps{v\sum_{k = N_s + 1}^{N_t} \eta_k} = e^{-vc(t - s)}\E\ps{\prod_{k = N_s + 1}^{N_t} e^{v\eta_k}}
+	\]
+	Последнее математическое ожидание можно посчитать через разбиение $\Omega$ на подмножества $B_{m_s, m_t} = \{N_s = m_s \le m_t = N_t\}$. Тогда
+	\begin{multline*}
+		\E\ps{\prod_{k = N_s + 1}^{N_t} e^{v\eta_k} \cdot \chi_{B_{m_s, m_t}}} = \E\ps{\prod_{k = m_s + 1}^{m_t} e^{v\eta_k}\chi_{B_{m_s, m_t}}} = \prod_{k = m_s + 1}^{m_t} \E(e^{v\eta_k}\chi_{B_{m_s, m_t}}) =
+		\\
+		[\text{$\eta_k$ одинаково распр.}] = \prod_{k = m_s + 1}^{m_t} \E(e^{v\eta_1}\chi_{B_{m_s, m_t}}) = \E(e^{v\eta_1}\chi_{B_{m_s, m_t}})^{m_t - m_s}
+	\end{multline*}
+	Отсюда
+	\[
+		\E\ps{\prod_{k = N_s + 1}^{N_t} e^{v\eta_k}} = \sum_{m_s \le m_t} \E(e^{v\eta_1}\chi_{B_{m_s, m_t}})^{m_t - m_s}
+	\]
+	\textcolor{red}{Допридумать}
+\end{proof}
+
+\begin{proposition}
+	Случайный процесс $M_t = \exp(-vX_t - tg(v))$ является мартингалом относительно фильтрации $(\F_t)_{t \in T}$, порождённой $X$.
+\end{proposition}
+
+\begin{proof}
+	Согласованность очевидна. Свойство сужения проверяется классическим образом, через выделение приращения:
+	\begin{multline*}
+		\E(M_t | \F_s) = \E\big(\exp(-v(X_t - X_s) - vX_s -tg(v)) | \F_s\big) =
+		\\
+		\exp(-vX_s - tg(v))\E(\exp(-v(X_t - X_s)) | \F_s) =
+		\\
+		[\text{приращения незав.}] = \exp(-vX_s - tg(v))\E\exp(-v(X_t - X_s)) =
+		\\
+		[\text{лемма}] = \exp(-vX_s - tg(v) + (t - s)g(v)) = \exp(-vX_s - sg(v)) = M_s
+	\end{multline*}
+\end{proof}
+
+\begin{solution}
+	Итак, мы бы снова хотели пользоваться теоремой об остановке, но для $\tau$ ничего не знаем. Зато для всякого $t > 0$ величина $\tau_t = \min\{t, \tau\}$ является ограниченным моментом остановки. Отсюда
+	\begin{multline*}
+		e^{-v\eta_0} = M_0 = \E M_0 = [\text{т. об остановке}] = \E M_{\tau_t} \ge \E M_{\tau_t}\chi_{\tau \le t} = \E M_\tau\chi_{\tau \le t} =
+		\\
+		\E\exp(-vX_\tau - \tau g(v))\chi_{\tau \le t} \ge [\text{$X_\tau \le 0$ в силу непр. справа}] \ge
+		\\
+		\E \exp(-\tau g(v))\chi_{\tau \le t} \ge P(\tau \le t)\min_{s \in [0; t]} \exp(-sg(v))
+	\end{multline*}
+	Таким образом
+	\[
+		P(\tau \le t) \le e^{-v\eta_0}\max_{s \in [0; t]} \exp(sg(v))
+	\]
+	Нужно происследовать выражение справа на минимум.
+	\begin{itemize}
+		\item $g(v) \le 0$. Тогда $s = 0$ и $\max = 1$. Из всех таких $v$ нужно брать максимальное, чтобы сомножитель $e^{-v\eta_0}$ становился как можно меньше.
+
+		\item $g(v) \ge 0$. Тогда $s = t$ и $\max = e^{tg(v)} \ge 1$. Оценка получается $P(\tau \le t) \le \exp(tg(v) - v\eta_0)$. Требуется исследовать на минимум $g_1(v) = tg(v) - v\eta_0$
+	\end{itemize}
+	Для начала поймём поведение $g$. Посчитаем первую и вторую производные:
+	\[
+		g'(v) = \lambda\psi'(v) - c;\ \ g''(v) = \lambda\psi''(v)
+	\]
+	Так как $\psi(v) = \E e^{v\eta_1}$, то $\psi'(v) = \E \eta_1 e^{v\eta_1}$ и $\psi''(v) = \E \eta_1^2e^{v\eta_1}$. Значит, $g''(v) \ge 0$ при $v \ge 0$, то есть $g$ выпукла вниз. При этом $g(0) = 0$ и $g'(0) = \lambda a - c < 0$, а значит у $g$ существует единственный корень $v_0 > 0$ уравнения $g(v) = 0$. Этот корень даёт оценку
+	\[
+		P(\tau \le t) \le e^{-v_0\eta_0}
+	\]
+	\textcolor{red}{Поиск минимума $g_1(v)$ просто не производим, либо можно как-то показать, что $v_0$ будет лучшим вариантом и для него.}
+\end{solution}