Removed most of missed places

Lectures/5_Semester/Statistics/2023_Savelov/lectures/10lecture.tex

@@ -170,7 +170,7 @@ \subsection{Метод Наименьших Квадратов (МНК)}
 \subsection{Гауссовская линейная модель}
 
 \begin{note}
-	Гауссовская линейная модель отличается от обычной тем, что добавляется условие \\ $\eps \sim N(0, \sigma^2E_n)$.
+	Гауссовская линейная модель отличается от обычной тем, что добавляется условие $\eps \sim N(0, \sigma^2E_n)$.
 \end{note}
 
 \begin{reminder}

Lectures/5_Semester/Statistics/2023_Savelov/lectures/11lecture.tex

@@ -26,7 +26,7 @@
 	Статистика $S(X) = (\Pi_L X, \|\Pi_{L^\bot} X\|^2)$ является полной.
 \end{theorem}
 
-\begin{corollary}
+\begin{corollary}~
 	\begin{itemize}
 		\item $\wh{\theta}(X)$ --- оптимальная оценка для $\theta$
 
@@ -108,7 +108,7 @@ \subsubsection{Доверительные интервалы в гауссовс
 \begin{itemize}
 	\item Для $\sigma^2$: у нас есть статистика $\frac{1}{\sigma^2}\|X - Z\wh{\theta}(X)\|^2 \sim \chi_{n - k}^2$. Возьмём $u_{1 - \gamma}$ --- соответствующий квантиль $\chi_{n - k}^2$. Тогда
 	\[
-		\gamma = P(\frac{1}{\sigma^2}\|X - Z\wh{\theta}(X)\|^2 > u_{1 - \gamma}) = P\ps{\sigma^2 \in \Big(0; \frac{\|X - Z\wh{\theta}(X)\|^2}{u_{1 - \gamma}}\Big)}
+		\gamma = P\ps{\frac{1}{\sigma^2}\|X - Z\wh{\theta}(X)\|^2 > u_{1 - \gamma}} = P\ps{\sigma^2 \in \Big(0; \frac{\|X - Z\wh{\theta}(X)\|^2}{u_{1 - \gamma}}\Big)}
 	\]
 
 	\item Для $\theta_i$: воспользуемся тем фактом, что $\wh{\theta}(X) \sim N(\theta, \sigma^2A)$, где $A = (Z^TZ)^{-1}$. Тогда $\theta_i \sim N(\theta_i, \sigma^2a_{ii})$, а значит $\frac{\wh{\theta}_i - \theta_i}{\sqrt{\sigma^2a_{ii}}} \sim N(0, 1)$. Чтобы убрать $\sigma^2$ из знаменателя, вспомним, что $\wh{\theta}(X) \indep X - Z\wh{\theta}(X)$. Стало быть, можем поделить оценку на корень из $\frac{1}{\sigma^2}\|X - Z\wh{\theta}(X)\|^2 \sim \chi_{n - k}^2$ и получить распределение Стюдента:

Lectures/5_Semester/Statistics/2023_Savelov/lectures/12lecture.tex

@@ -70,7 +70,7 @@ \subsection{Монотонное отношение правдоподобия}
 \end{definition}
 
 \begin{theorem} (о монотонности относительно правдоподобия, без доказательства)
-	Пусть даны гипотезы $H_0 \colon \theta \le \theta_0$ (или $\theta = \theta_0$), $H_1 \colon \theta > \theta_0$, а семейство $\cP$ монотонно относительно правдоподобия, причём характер монотонности --- неубывание. Тогда критерий $S_\eps = \{T(x) \ge c_\eps\}$ с условием $P_{\theta_0}(S_\eps) = \eps$ является РНМК с уровнем значимости $\eps$ для проверки $H_0$ против $H_1$.
+	Пусть даны гипотезы $H_0 \colon \theta \le \theta_0$ (или $\theta = \theta_0$), $H_1 \colon \theta > \theta_0$, а семейство $\cP$ монотонно относительно правдоподобия по $T(X)$, причём характер монотонности --- неубывание. Тогда критерий $S_\eps = \{T(x) \ge c_\eps\}$ с условием $P_{\theta_0}(S_\eps) = \eps$ является РНМК с уровнем значимости $\eps$ для проверки $H_0$ против $H_1$.
 \end{theorem}
 
 \subsection{Двойственность доверительного оценивания и проверки гипотез}
@@ -107,7 +107,7 @@ \subsection{Проверка гипотез в гауссовской линей
 \begin{solution} ($F$-критерий или критерий Фишера)
 	Идея состоит в том, что мы умеем по выборке оценивать $T\theta$ с использованием оценки $\wh{\theta}(X)$. Мы будем строить критерий исходя из того, что надо проверить, насколько сильное отклонение в сравнении $T\wh{\theta}(X)$ и $t$. Далее для вывода критерия мы предполагаем верность гипотезы $T\theta = t$.
 
-	Итак, $\wh{\theta}(X) = (Z^TZ)^{-1}Z^TX$ --- это ОНК для $\theta$. В силу известных фактов, $\wh{t}(X) = T\wh{\theta}(X)$ --- оптимальная оценка для $T\theta$. Так как распределение $\wh{\theta}(X) \sim N(\theta, \sigma^2(Z^TZ)^{-1})$, то $\wh{t}(X) \sim N(T\theta, T\sigma^2(Z^TZ)^{-1}T^T) =: N(T\theta, \sigma^2B)$. Матрица $B$ положительно определена и симметрична, а поэтому существует $\sqrt{B}$ --- тоже симметричная матрица. Это позволяет оценку с независящим от параметров распределением:
+	Итак, $\wh{\theta}(X) = (Z^TZ)^{-1}Z^TX$ --- это ОНК для $\theta$. В силу известных фактов, $\wh{t}(X) = T\wh{\theta}(X)$ --- оптимальная оценка для $T\theta$. Так как распределение $\wh{\theta}(X) \sim N(\theta, \sigma^2(Z^TZ)^{-1})$, то $\wh{t}(X) \sim N(T\theta, T\sigma^2(Z^TZ)^{-1}T^T) =: N(T\theta, \sigma^2B)$. Матрица $B$ положительно определена и симметрична, а поэтому существует $\sqrt{B}$ --- тоже симметричная матрица. Это позволяет сделать оценку с независящим от параметров распределением:
 	\[
 		\frac{1}{\sigma}(\sqrt{B})^{-1}(\wh{t}(X) - T\theta) \sim N(0, E_m) \Ra Q_T(X) := \nm{\frac{1}{\sigma}(\sqrt{B})^{-1}(\wh{t}(X) - T\theta)}^2 \sim \chi_m^2
 	\]

Lectures/5_Semester/Statistics/2023_Savelov/lectures/14lecture.tex

@@ -14,7 +14,7 @@
 	\begin{itemize}
 		\item $\xi \notin L_2$. Без доказательства
 
-		\item $\xi \in L_2$. Нужно добавить и вычесть соответствующий матож в скобке, выделить минимальную часть и показать, что остальное можно либо убрать из-за неотрицательности, либо оно равно нулю:
+		\item $\xi \in L_2$. Нужно добавить и вычесть соответствующее матожидание в скобке, выделить минимальную часть и показать, что остальное можно либо убрать из-за неотрицательности, либо оно равно нулю:
 		\begin{multline*}
 			\E(\xi - \eta)^2 = \E(\xi - \E(\xi | \eta) + \E(\xi | \eta) - \eta)^2 =
 			\\
@@ -37,7 +37,7 @@
 		\\
 		\int_\Theta \int_\cX (\wh{\theta}(X) - t)^2f(t, x)d\mu(x)d\mu(\theta) = \E_{\wt{P}} (\wh{\theta}(X) - \theta)^2
 	\end{multline*}
-	Таким образом, мы минимизируем среднеквадратичное отклонение от функции, зависящей от $X$. Согласно теореме о наилучшем квадратичном прогнозе, оптимальной оценкой будет $\E_{\wt{P}}(\theta | X)$, то есть байесовская оценка.
+	Таким образом, мы минимизируем среднеквадратичное отклонение от $\theta$. Согласно теореме о наилучшем квадратичном прогнозе, оптимальной оценкой будет $\E_{\wt{P}}(\theta | X)$, то есть байесовская оценка.
 \end{proof}
 
 \subsection{Проверка гипотезы о независимости выборок}
@@ -97,14 +97,14 @@ \subsubsection*{Коэффициент корреляции Спирмена}
 \begin{note}
 	Пусть $(r_1, \ldots, r_n) \in S_n$ --- перестановка. Тогда должно быть понятно, что $P(R(X_1) = r_1 \wedge \ldots \wedge R(X_n) = r_n) = \frac{1}{|S_n|} = \frac{1}{n!}$.
 
-	Обозначим $R_i := R(X_i)$. Тогда понятно, что $\ol{R} = \frac{1}{n}\sum_{i = 1}^n R_i = \frac{1}{n}\sum_{i = 1}^n i = \frac{n + 1}{2}$. Более того, мы даже можем явно найти основную часть эмпирической дисперсии $R_i$:
+	Обозначим $R_i := R(X_i)$. Тогда $\ol{R} = \frac{1}{n}\sum_{i = 1}^n R_i = \frac{1}{n}\sum_{i = 1}^n i = \frac{n + 1}{2}$. Более того, мы даже можем явно найти основную часть эмпирической дисперсии $R_i$:
 	\[
 		\sum_{i = 1}^n (R_i - \ol{R})^2 = \sum_{i = 1}^n \ps{i - \frac{n + 1}{2}}^2 = \frac{n^3 - n}{12} \text{ --- не зависит от перестановки}
 	\]
 \end{note}
 
 \begin{definition}
-	Обозначим $R_i := R(X_i)$ и $S_i := S(Y_i)$. Тогда \textit{коэффициентом корреляции Спирмена} называется следующая величина:
+	Обозначим $R_i := R(X_i)$ и $S_i := S(Y_i)$. \textit{Коэффициентом корреляции Спирмена} называется следующая величина:
 	\[
 		\rho_S = \frac{\sum_{i = 1}^n (R_i - \ol{R})(S_i - \ol{S})}{\sqrt{\sum_{i = 1}^n (R_i - \ol{R})^2 \sum_{i = 1}^n (S_i - \ol{S})^2}}
 	\]
@@ -148,7 +148,7 @@ \subsubsection*{Коэффициент корреляции Спирмена}
 \subsubsection*{Коэффициент корреляции Кендалла}
 
 \begin{definition}
-	Будем говорить, что пары $(X_i, Y_i)$ и $(X_j, Y_j)$, $i < j$, согласованы, если
+	Будем говорить, что пары $(X_i, Y_i)$ и $(X_j, Y_j)$, $i \neq j$, согласованы, если
 	\[
 		\sgn(X_i - X_j) \cdot \sgn(Y_i - Y_j) = 1
 	\]
@@ -167,7 +167,7 @@ \subsubsection*{Коэффициент корреляции Кендалла}
 \begin{definition}
 	\textit{Коэффициентом корреляции Кендалла} называется следующая величина:
 	\[
-		\tau = \frac{T}{\frac{n(n - 1)}{2}}
+		\tau = T / \ps{\frac{n(n - 1)}{2}}
 	\]
 \end{definition}
 

Lectures/5_Semester/Statistics/2023_Savelov/lectures/1lecture.tex

@@ -37,24 +37,24 @@ \section{Напоминание теории вероятностей}
 	\begin{enumerate}
 		\item Для сходимости с вероятностью 1 достаточно заметить соотношение:
 		\[
-			\forall j \in \range{1}{m}\ \ \bigcap_{i = 1}^m \{\xi_{i, n} \to \xi_i\} = \{\xi_n \to \xi\} \subseteq \{\xi_{j, n} \to \xi_j\}
+			\forall j \in \range{1}{m}\ \ \bigcap_{i = 1}^m \{\xi_{n, i} \to \xi_i\} = \{\xi_n \to \xi\} \subseteq \{\xi_{n, j} \to \xi_j\}
 		\]
 
 		\item Для сходимости по вероятности всё же нужно 2 отдельных вложения (для любого $\eps > 0$):
 		\begin{itemize}
-			\item[$\Ra$] \(\{|\xi_{i, n} - \xi_i| > \eps\} \subseteq \{\|\xi_n - \xi\|_2 > \eps\}\)
+			\item[$\Ra$] \(\{|\xi_{n, i} - \xi_i| > \eps\} \subseteq \{\|\xi_n - \xi\|_2 > \eps\}\)
 
-			\item[$\La$] \(\bigcup_{i = 1}^m \set{|\xi_{i, n} - \xi_i| > \eps} \supseteq \{\|\xi_n - \xi\|_2 > \eps\}\)
+			\item[$\La$] \(\bigcup_{i = 1}^m \set{|\xi_{n, i} - \xi_i| > \eps} \supseteq \{\|\xi_n - \xi\|_2 > \eps\}\)
 		\end{itemize}
 
 		\item Покомпонентная сходимость из векторной тривиальна, а в обратную сторону нужно разложить вектор на сумму векторов с лишь одной его компонентой и воспользоваться неравенством треугольника. Тогда всё следует из предполагаемого условия (покомпонентная сходимость):
 		\[
-			\E \sum_{i = 1}^m \|\xi_{i, n} - \xi_i\|_p^p \xrightarrow[n \to \infty]{} 0
+			\E \sum_{i = 1}^m \|\xi_{n, i} - \xi_i\|_p^p \xrightarrow[n \to \infty]{} 0
 		\]
 
 		\item Доказать нужно (и возможно) только в одну сторону. Зафиксируем $g \colon \R \to \R$ --- непрерывную ограниченную функцию и рассмотрим $h_i(x_1, \ldots, x_m) = x_i$ --- функция проектора. Тогда композиция $g \circ h$ является ограниченной непрерывной функцией $\R^m \to \R$, а значит можем воспользоваться предположением:
 		\[
-			\E g(\xi_{i, n}) = \E g(h(\xi_n)) \xrightarrow[n \to \infty]{} \E g(h(\xi)) = \E g(\xi_i)
+			\E g(\xi_{n, i}) = \E g(h(\xi_n)) \xrightarrow[n \to \infty]{} \E g(h(\xi)) = \E g(\xi_i)
 		\]
  	\end{enumerate}
 \end{proof}
@@ -77,7 +77,7 @@ \section{Напоминание теории вероятностей}
 \begin{proof}
 	Перейдём к сходимостям в координатах, а для них мы уже доказали эту лемму в курсе теории вероятностей:
 	\[
-		(\xi_n \xrightarrow{d} c) \Ra (\xi_{i, n} \xrightarrow{d} c_i) \Lora (\xi_{i, n} \xrightarrow{P} c_i) \Ra (\xi_n \xrightarrow{P} c)
+		(\xi_n \xrightarrow{d} c) \Ra (\xi_{n, i} \xrightarrow{d} c_i) \Lora (\xi_{n, i} \xrightarrow{P} c_i) \Ra (\xi_n \xrightarrow{P} c)
 	\]
 \end{proof}
 

Lectures/5_Semester/Statistics/2023_Savelov/lectures/2lecture.tex

@@ -178,7 +178,7 @@ \section{Основные определения}
 		\begin{multline*}
 			F_n^*(x) - F(x) \le F_n^*(x_{N, K + 1} - 0) - F(x_{N, K}) =
 			\\
-			(F_n^*(x_{N, K + 1} - 0) - F(x_{N, K + 1} - 0)) + (F(X_{N, K + 1} - 0) - F(x_{N, K})) \le
+			(F_n^*(x_{N, K + 1} - 0) - F(x_{N, K + 1} - 0)) + (F(x_{N, K + 1} - 0) - F(x_{N, K})) \le
 			\\
 			F_n^*(x_{N, K + 1} - 0) - F(x_{N, K + 1} - 0) + \frac{1}{N}
 		\end{multline*}

Lectures/5_Semester/Statistics/2023_Savelov/lectures/4lecture.tex

@@ -207,7 +207,7 @@ \subsubsection*{Метод выборочных квантилей}
 \end{reminder}
 
 \begin{proof}
-	Сходимость по распределению эквивалентна тому, что функции распределения сходятся во всех точках непрерывности своего предела. Мы пронормируем доказываемую сходимость так, чтобы при доказательстве получить справа $N(0, 1)$ (к результату теоремы же вернёмся просто при помощи теоремы о наследовании):
+	Сходимость по распределению эквивалентна тому, что функции распределения сходятся во всех точках непрерывности своего предела. Мы пронормируем доказываемую сходимость так, чтобы при доказательстве получить справа $N(0, 1)$ (к результату теоремы вернёмся обратным действием):
 	\[
 		\eta_n = \frac{\sqrt{n}(z_{n, p} - z_p)}{\sqrt{\frac{p(1 - p)}{f^2(z_p)}}}
 	\]
@@ -233,7 +233,7 @@ \subsubsection*{Метод выборочных квантилей}
 		\end{itemize}
 		Покажем, что при стремлении $n \to \infty$ каждая из этих частей даст нам сомножитель из плотности $N(0, 1)$:
 		\begin{itemize}
-			\item $A_1(n) \to \frac{1}{\sqrt{2\pi}}$ --- просто применение формулы Стирлинга
+			\item $A_1(n) \to \frac{1}{\sqrt{2\pi}}$. Просто применение формулы Стирлинга (а точнее, её следствия $C_{n - 1}^k \sim (p^{-p}(1 - p)^{-(1 - p)} + o(1))^{n - 1}$)
 
 			\item $A_2(n) \to 1$. Действительно, ведь $f$ непрерывна, а $\lim_{n \to \infty} t_n(x) = z_p$
 
@@ -285,7 +285,7 @@ \subsubsection*{Метод выборочных квантилей}
 			\\
 			2\eps + \int_{[-N; x]} |p(x) - p_{\eta_n}(x)|d\mu(x)
 		\end{multline*}
-		В силу равномерной оценки, можем найти такой номер $n_0$, что при $n \ge n_0$ верна оценка $|p(x) - p_{\eta_n}(x)| \le \frac{\eps}{x - (-N)}$. Тогда приходим к нужному результату:
+		В силу равномерной оценки, можем найти такой номер $n_1 \ge n_0$, что при $n \ge n_1$ верна оценка $|p(x) - p_{\eta_n}(x)| \le \frac{\eps}{x - (-N)}$. Тогда приходим к нужному результату:
 		\[
 			\md{F(x) - F_{\eta_n}(x)} \le 2\eps + \int_{[-N; x]} |p(x) - p_{\eta_n}(x)|d\mu(x) \le 2\eps + (x + N) \cdot \frac{\eps}{x + N} = 3\eps
 		\]

Lectures/5_Semester/Statistics/2023_Savelov/lectures/5lecture.tex

@@ -35,7 +35,7 @@ \subsection{Сравнение оценок}
 \end{definition}
 
 \begin{definition}
-	Пусть $\Theta \subseteq \R^m$ и $g$ --- функция потерь из $\R^m \times \R^m$. Тогда, если $\theta_n^*$ --- оценка параметра $\theta$, то функция $g(\theta^*(X), \theta)$ называется \textit{величиной потерь}.
+	Пусть $\Theta \subseteq \R^m$ и $g$ --- функция потерь из $\R^m \times \R^m$. Тогда, если $\theta_n^*$ --- оценка параметра $\theta$, то функция $g(\theta_n^*(X), \theta)$ называется \textit{величиной потерь}.
 \end{definition}
 
 \begin{example}
@@ -75,14 +75,28 @@ \subsubsection{Равномерный подход к сравнению оце
 \end{note}
 
 \begin{definition}
-	Оценка $\hat{\theta}$ называется \textit{наилучшей в классе оценок $\cK$}, если она лучше любой другой оценки $\theta^* \in \cK$.
+	Оценка $\hat{\theta}$ называется \textit{наилучшей в классе оценок $\cK$}, если она не хуже любой другой оценки $\theta^* \in \cK$.
 \end{definition}
 
 \begin{note}
 	Наилучшая оценка не всегда существует.
 \end{note}
 
-\textcolor{red}{Доказать, что в классе всех оценок нет наилучшей}
+\begin{proposition}
+	В классе всех оценок не существует наилучшей с квадратичной функцией потерь
+\end{proposition}
+
+\begin{proof}
+	Предположим, что $\theta^*$ --- наилучшая оценка. Тогда:
+	\[
+		\forall \wh{\theta}\ \forall \theta \in \Theta\ \ \E_\theta (\theta^*(X) - \theta)^2 \le \E_\theta (\wh{\theta}(X) - \theta)^2
+	\]
+	В частности, это так для $\wh{\theta}(X) = \theta_1$ --- некоторый произвольно выбранный параметр из $\Theta$. Стало быть, при $\theta = \theta_1$ имеем
+	\[
+		\E_{\theta_1} (\theta^*(X) - \theta_1)^2 \le \E_{\theta_1} (\theta_1 - \theta_1)^2 = 0 \Lora \E_{\theta_1} (\theta^*(X) - \theta_1)^2 = 0
+	\]
+	Такое возможно тогда и только тогда, когда $\theta^*(X) =^{\aal{P_{\theta_1}}} \theta_1$, то есть оценка заранее знает то, что оценивает, противоречие.
+\end{proof}
 
 \subsubsection{Минимаксный подход}
 
@@ -119,7 +133,7 @@ \subsubsection{Байесовский подход}
 \end{definition}
 
 \begin{definition}
-	Оценка $\theta^*(X)$ называется \textit{наилучшей в байесовском подходе}, если выполнено равенство:
+	Оценка $\theta^*(X)$ называется \textit{наилучшей в байесовском подходе}, если её риск минимален:
 	\[
 		R(\theta^*(X)) = \min_{\hat{\theta} \in \cK} R(\hat{\theta}(X))
 	\]