LR and SGD implementation.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Линейная регрессия и стохастический градиентный спуск"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Задание основано на материалах лекций по линейной регрессии и градиентному спуску. Вы будете прогнозировать выручку компании в зависимости от уровня ее инвестиций в рекламу по TV, в газетах и по радио."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Вы научитесь:\n",
    "- решать задачу восстановления линейной регрессии\n",
    "- реализовывать стохастический градиентный спуск для ее настройки\n",
    "- решать задачу линейной регрессии аналитически"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Введение\n",
    "Линейная регрессия - один из наиболее хорошо изученных методов машинного обучения, позволяющий прогнозировать значения количественного признака в виде линейной комбинации прочих признаков с параметрами - весами модели. Оптимальные (в смысле минимальности некоторого функционала ошибки) параметры линейной регрессии можно найти аналитически с помощью нормального уравнения или численно с помощью методов оптимизации.  "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Линейная регрессия использует простой функционал качества - среднеквадратичную ошибку. Мы будем работать с выборкой, содержащей 3 признака. Для настройки параметров (весов) модели решается следующая задача:\n",
    "$$\\Large \\frac{1}{\\ell}\\sum_{i=1}^\\ell{{((w_0 + w_1x_{i1} + w_2x_{i2} +  w_3x_{i3}) - y_i)}^2} \\rightarrow \\min_{w_0, w_1, w_2, w_3},$$\n",
    "где $x_{i1}, x_{i2}, x_{i3}$ - значения признаков $i$-го объекта, $y_i$ - значение целевого признака $i$-го объекта, $\\ell$ - число объектов в обучающей выборке."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Градиентный спуск\n",
    "Параметры $w_0, w_1, w_2, w_3$, по которым минимизируется среднеквадратичная ошибка, можно находить численно с помощью градиентного спуска.\n",
    "Градиентный шаг для весов будет выглядеть следующим образом:\n",
    "$$\\Large w_0 \\leftarrow w_0 - \\frac{2\\eta}{\\ell} \\sum_{i=1}^\\ell{{((w_0 + w_1x_{i1} + w_2x_{i2} +  w_3x_{i3}) - y_i)}}$$\n",
    "$$\\Large w_j \\leftarrow w_j - \\frac{2\\eta}{\\ell} \\sum_{i=1}^\\ell{{x_{ij}((w_0 + w_1x_{i1} + w_2x_{i2} +  w_3x_{i3}) - y_i)}},\\ j \\in \\{1,2,3\\}$$\n",
    "Здесь $\\eta$ - параметр, шаг градиентного спуска."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Стохастический градиентный спуск\n",
    "Проблема градиентного спуска, описанного выше, в том, что на больших выборках считать на каждом шаге градиент по всем имеющимся данным может быть очень вычислительно сложно. \n",
    "В стохастическом варианте градиентного спуска поправки для весов вычисляются только с учетом одного случайно взятого объекта обучающей выборки:\n",
    "$$\\Large w_0 \\leftarrow w_0 - \\frac{2\\eta}{\\ell} {((w_0 + w_1x_{k1} + w_2x_{k2} +  w_3x_{k3}) - y_k)}$$\n",
    "$$\\Large w_j \\leftarrow w_j - \\frac{2\\eta}{\\ell} {x_{kj}((w_0 + w_1x_{k1} + w_2x_{k2} +  w_3x_{k3}) - y_k)},\\ j \\in \\{1,2,3\\},$$\n",
    "где $k$ - случайный индекс, $k \\in \\{1, \\ldots, \\ell\\}$."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Нормальное уравнение \n",
    "Нахождение вектора оптимальных весов $w$ может быть сделано и аналитически.\n",
    "Мы хотим найти такой вектор весов $w$, чтобы вектор $y$, приближающий целевой признак, получался умножением матрицы $X$ (состоящей из всех признаков объектов обучающей выборки, кроме целевого) на вектор весов $w$. То есть, чтобы выполнялось матричное уравнение:\n",
    "$$\\Large y = Xw$$\n",
    "Домножением слева на $X^T$ получаем:\n",
    "$$\\Large X^Ty = X^TXw$$\n",
    "Это хорошо, поскольку теперь матрица $X^TX$ - квадратная, и можно найти решение (вектор $w$) в виде:\n",
    "$$\\Large w = {(X^TX)}^{-1}X^Ty$$\n",
    "Матрица ${(X^TX)}^{-1}X^T$ - [*псевдообратная*](https://ru.wikipedia.org/wiki/Псевдообратная_матрица) для матрицы $X$. В NumPy такую матрицу можно вычислить с помощью функции [numpy.linalg.pinv](http://docs.scipy.org/doc/numpy-1.10.0/reference/generated/numpy.linalg.pinv.html).\n",
    "\n",
    "Однако, нахождение псевдообратной матрицы - операция вычислительно сложная и нестабильная в случае малого определителя матрицы $X$ (проблема мультиколлинеарности). \n",
    "На практике лучше находить вектор весов $w$ решением матричного уравнения \n",
    "$$\\Large X^TXw = X^Ty$$Это может быть сделано с помощью функции [numpy.linalg.solve](http://docs.scipy.org/doc/numpy-1.10.1/reference/generated/numpy.linalg.solve.html).\n",
    "\n",
    "Но все же на практике для больших матриц $X$ быстрее работает градиентный спуск, особенно его стохастическая версия."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Инструкции по выполнению"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "В начале напишем простую функцию для записи ответов в текстовый файл. Ответами будут числа, полученные в ходе решения этого задания, округленные до 3 знаков после запятой. Полученные файлы после выполнения задания надо отправить в форму на странице задания на Coursera.org."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "def write_answer_to_file(answer, filename):\n",
    "    with open(filename, 'w') as f_out:\n",
    "        f_out.write(str(round(answer, 3)))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**1. Загрузите данные из файла *advertising.csv* в объект pandas DataFrame. [Источник данных](http://www-bcf.usc.edu/~gareth/ISL/data.html).**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "import pandas as pd\n",
    "adver_data = pd.read_csv('advertising.csv')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "collapsed": true
   },
   "source": [
    "**Посмотрите на первые 5 записей и на статистику признаков в этом наборе данных.**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>TV</th>\n",
       "      <th>Radio</th>\n",
       "      <th>Newspaper</th>\n",
       "      <th>Sales</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>230.1</td>\n",
       "      <td>37.8</td>\n",
       "      <td>69.2</td>\n",
       "      <td>22.1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>44.5</td>\n",
       "      <td>39.3</td>\n",
       "      <td>45.1</td>\n",
       "      <td>10.4</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>17.2</td>\n",
       "      <td>45.9</td>\n",
       "      <td>69.3</td>\n",
       "      <td>9.3</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>151.5</td>\n",
       "      <td>41.3</td>\n",
       "      <td>58.5</td>\n",
       "      <td>18.5</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5</th>\n",
       "      <td>180.8</td>\n",
       "      <td>10.8</td>\n",
       "      <td>58.4</td>\n",
       "      <td>12.9</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "      TV  Radio  Newspaper  Sales\n",
       "1  230.1   37.8       69.2   22.1\n",
       "2   44.5   39.3       45.1   10.4\n",
       "3   17.2   45.9       69.3    9.3\n",
       "4  151.5   41.3       58.5   18.5\n",
       "5  180.8   10.8       58.4   12.9"
      ]
     },
     "execution_count": 5,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "adver_data.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "TV           147.0425\n",
       "Radio         23.2640\n",
       "Newspaper     30.5540\n",
       "Sales         14.0225\n",
       "dtype: float64"
      ]
     },
     "execution_count": 6,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "adver_data.mean()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Создайте массивы NumPy *X* из столбцов TV, Radio и Newspaper и *y* - из столбца Sales. Используйте атрибут *values* объекта pandas DataFrame.**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "import numpy as np\n",
    "X = np.array([adver_data['TV'].values, adver_data['Radio'].values, adver_data['Newspaper'].values])\n",
    "y = np.array(adver_data['Sales'].values)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Отмасштабируйте столбцы матрицы *X*, вычтя из каждого значения среднее по соответствующему столбцу и поделив результат на стандартное отклонение. Для определенности, используйте методы mean и std векторов NumPy (реализация std в Pandas может отличаться). Обратите внимание, что в numpy вызов функции .mean() без параметров возвращает среднее по всем элементам массива, а не по столбцам, как в pandas. Чтобы произвести вычисление по столбцам, необходимо указать параметр axis.**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "means = X.mean(1)\n",
    "stds = X.std(1)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "X = map(lambda x, mean, std: (x - mean) / std, X, means, stds)\n",
    "X = np.array(X)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "X = X.T"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Добавьте к матрице *X* столбец из единиц, используя методы *hstack*, *ones* и *reshape* библиотеки NumPy. Вектор из единиц нужен для того, чтобы не обрабатывать отдельно коэффициент $w_0$ линейной регрессии.**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "X_new = np.hstack([np.ones((200,1)), X])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "X = X_new"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**2. Реализуйте функцию *mserror* - среднеквадратичную ошибку прогноза. Она принимает два аргумента - объекты Series *y* (значения целевого признака) и *y\\_pred* (предсказанные значения). Не используйте в этой функции циклы - тогда она будет вычислительно неэффективной.**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "28.345749999999995"
      ]
     },
     "execution_count": 13,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "def mserror(y, y_pred):\n",
    "    return np.dot(y - y_pred, (y - y_pred).T) / np.size(y)\n",
    "\n",
    "mserror(y, np.ones(200) * np.median(y))\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Какова среднеквадратичная ошибка прогноза значений Sales, если всегда предсказывать медианное значение Sales по исходной выборке? Запишите ответ в файл '1.txt'.**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**3. Реализуйте функцию *normal_equation*, которая по заданным матрицам (массивам NumPy) *X* и *y* вычисляет вектор весов $w$ согласно нормальному уравнению линейной регрессии.**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "def normal_equation(X, y):\n",
    "    return np.linalg.inv(np.dot(X.T, X)).dot(np.transpose(X)).dot(y)\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[ 14.0225       3.91925365   2.79206274  -0.02253861]\n",
      "[   1.      147.0425   23.264    30.554 ]\n"
     ]
    }
   ],
   "source": [
    "norm_eq_weights = normal_equation(X, y)\n",
    "print(norm_eq_weights)\n",
    "print(np.hstack([1, means]))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Какие продажи предсказываются линейной моделью с весами, найденными с помощью нормального уравнения, в случае средних инвестиций в рекламу по ТВ, радио и в газетах? (то есть при нулевых значениях масштабированных признаков TV, Radio и Newspaper). Запишите ответ в файл '2.txt'.**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "14.022500000000001"
      ]
     },
     "execution_count": 16,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "norm_eq_weights.dot(np.hstack([1, np.zeros(3)]))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**4. Напишите функцию *linear_prediction*, которая принимает на вход матрицу *X* и вектор весов линейной модели *w*, а возвращает вектор прогнозов в виде линейной комбинации столбцов матрицы *X* с весами *w*.**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "array([ 20.52397441,  12.33785482,  12.30767078,  17.59782951,\n",
       "        13.18867186,  12.47834763,  11.72975995,  12.12295317,\n",
       "         3.72734086,  12.55084872,   7.0322992 ,  17.28512918,\n",
       "        10.57712073,   8.82630048,  18.43436638,  20.81929952,\n",
       "        12.82365674,  23.22495716,   9.95168206,  14.16607293,\n",
       "        18.10076728,  14.7405382 ,   6.4891503 ,  16.5459329 ,\n",
       "         8.14651887,  15.6100386 ,  14.98951429,  17.05167344,\n",
       "        19.41053803,   9.14402389,  21.6339338 ,  11.3460929 ,\n",
       "         7.63888314,  18.86426829,   7.57483051,  17.00682618,\n",
       "        23.40590052,  15.62347779,   9.90868103,  20.44761039,\n",
       "        16.37766467,  17.2959832 ,  21.59580326,  13.96385684,\n",
       "         8.88787996,  15.16152314,   8.87338673,  21.7226299 ,\n",
       "        16.26362018,   8.1681656 ,  12.63121132,   9.33981296,\n",
       "        20.66297563,  19.94469957,  20.37443008,  21.2926106 ,\n",
       "         8.52771254,  12.77458802,  21.89805198,  18.13348698,\n",
       "         5.74215558,  22.89067208,  16.78426073,  13.21069202,\n",
       "        16.97773556,   7.84904532,   9.01603163,  12.0370073 ,\n",
       "        18.97657924,  21.10891244,  17.77949782,  10.62693815,\n",
       "        10.36684881,   9.90298206,  17.32931197,  11.85832174,\n",
       "         4.47758904,  13.81190223,   8.81331353,   9.67530328,\n",
       "        11.44592364,  14.64794093,  10.17840799,  14.42184212,\n",
       "        20.78136464,  15.18140789,  11.59870739,  15.59378475,\n",
       "        11.71127101,  16.92225511,   9.99922965,   4.49631598,\n",
       "        19.15639616,  21.22757378,  10.48212385,  16.31492112,\n",
       "        12.63571716,  15.33707782,  24.11860723,  16.94035021,\n",
       "        13.87595844,  23.24248685,  17.64409385,  14.76221142,\n",
       "        20.30110878,  17.93641467,   6.12602215,   7.10850249,\n",
       "         3.58725841,  19.69293106,  14.7598741 ,  21.14027498,\n",
       "        13.88060985,  16.40377623,  15.30509593,  12.91968895,\n",
       "        11.97874744,   6.5707774 ,  15.56609348,   6.82006767,\n",
       "        14.41010605,   7.83807642,  13.6264571 ,  15.0827909 ,\n",
       "        19.45441306,   9.12734958,  10.57717411,   6.599669  ,\n",
       "        22.25549161,   7.88410649,  10.4276871 ,  15.57779819,\n",
       "         8.44915012,  19.26692307,  11.8368039 ,  14.00141385,\n",
       "        11.45348627,  20.85125198,   9.76842795,  19.67547632,\n",
       "         9.48964097,  18.39902932,  19.24986927,   8.76480262,\n",
       "        10.09133403,   9.70853872,  15.29422368,  23.26086103,\n",
       "        12.26335941,   9.8272711 ,  18.36720534,  10.0095377 ,\n",
       "        16.3600003 ,  18.22390132,  15.50161696,   5.3075589 ,\n",
       "        15.38485192,  10.0143112 ,  10.38419866,  12.39914823,\n",
       "        14.21383298,  13.55914568,  14.94678206,  17.35163608,\n",
       "        11.0682946 ,  14.22372138,  10.82439531,  13.36324677,\n",
       "        17.1861428 ,  17.9415563 ,   7.39497997,  14.35827373,\n",
       "         7.60769238,  11.97093887,  13.74435742,  24.78687031,\n",
       "        19.9793727 ,  12.1620464 ,  16.01099722,  12.38455495,\n",
       "        10.5871997 ,  13.92809918,   6.55467   ,  24.13310013,\n",
       "        18.53852096,  20.80301059,   9.69137313,  17.07644223,\n",
       "        18.64430648,   6.05162411,  12.4891591 ,   8.42401933,\n",
       "         4.46622956,  18.48695797,  16.49530044,   5.37034248,\n",
       "         8.16531236,  12.78592082,  23.76732149,  15.17319554])"
      ]
     },
     "execution_count": 17,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "def linear_prediction(X, w):\n",
    "    return X.dot(w)\n",
    "    # Ваш код здесь\n",
    "linear_prediction(X, norm_eq_weights)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Какова среднеквадратичная ошибка прогноза значений Sales в виде линейной модели с весами, найденными с помощью нормального уравнения? Запишите ответ в файл '3.txt'.**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "2.78412631451\n"
     ]
    }
   ],
   "source": [
    "answer3 = mserror(y, linear_prediction(X, norm_eq_weights))\n",
    "print(answer3)\n",
    "write_answer_to_file(answer3, '3.txt')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**5. Напишите функцию *stochastic_gradient_step*, реализующую шаг стохастического градиентного спуска для линейной регрессии. Функция должна принимать матрицу *X*, вектора *y* и *w*, число *train_ind* - индекс объекта обучающей выборки (строки матрицы *X*), по которому считается изменение весов, а также число *$\\eta$* (eta) - шаг градиентного спуска (по умолчанию *eta*=0.01). Результатом будет вектор обновленных весов. Наша реализация функции будет явно написана для данных с 3 признаками, но несложно модифицировать для любого числа признаков, можете это сделать.**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "def stochastic_gradient_step(X, y, w, train_ind, eta=0.01):\n",
    "    l = np.size(X,1)\n",
    "    grad = 2 * (X[train_ind].dot(w) - y[train_ind]) * X[train_ind] / l\n",
    "    #grad0 = 2 * (X[train_ind].dot(w) - y) / l\n",
    "    #grad1 = 2 * (X[train_ind].dot(w) - y) * X[train_ind][1] / l\n",
    "    #grad2 = 2 * (X[train_ind].dot(w) - y) * X[train_ind][2] / l\n",
    "    #grad3 = 2 * (X[train_ind].dot(w) - y) * X[train_ind][3] / l\n",
    "    return  w - eta * np.array([grad[0], grad[1], grad[2], grad[3]])"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**6. Напишите функцию *stochastic_gradient_descent*, реализующую стохастический градиентный спуск для линейной регрессии. Функция принимает на вход следующие аргументы:**\n",
    "- X - матрица, соответствующая обучающей выборке\n",
    "- y - вектор значений целевого признака\n",
    "- w_init - вектор начальных весов модели\n",
    "- eta - шаг градиентного спуска (по умолчанию 0.01)\n",
    "- max_iter - максимальное число итераций градиентного спуска (по умолчанию 10000)\n",
    "- max_weight_dist - минимальное евклидово расстояние между векторами весов на соседних итерациях градиентного спуска,\n",
    "при котором алгоритм прекращает работу (по умолчанию 1e-8)\n",
    "- seed - число, используемое для воспроизводимости сгенерированных псевдослучайных чисел (по умолчанию 42)\n",
    "- verbose - флаг печати информации (например, для отладки, по умолчанию False)\n",
    "\n",
    "**На каждой итерации в вектор (список) должно записываться текущее значение среднеквадратичной ошибки. Функция должна возвращать вектор весов $w$, а также вектор (список) ошибок.**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": 48,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "def stochastic_gradient_descent(X, y, w_init, eta=1e-2, max_iter=1e4,\n",
    "                                min_weight_dist=1e-8, seed=42, verbose=False):\n",
    "    # Инициализируем расстояние между векторами весов на соседних\n",
    "    # итерациях большим числом. \n",
    "    weight_dist = np.inf\n",
    "    # Инициализируем вектор весов\n",
    "    w = w_init\n",
    "    # Сюда будем записывать ошибки на каждой итерации\n",
    "    errors = []\n",
    "    # Счетчик итераций\n",
    "    iter_num = 0\n",
    "    # Будем порождать псевдослучайные числа \n",
    "    # (номер объекта, который будет менять веса), а для воспроизводимости\n",
    "    # этой последовательности псевдослучайных чисел используем seed.\n",
    "    np.random.seed(seed)\n",
    "        \n",
    "    # Основной цикл\n",
    "    while weight_dist > min_weight_dist and iter_num < max_iter:\n",
    "        # порождаем псевдослучайный \n",
    "        # индекс объекта обучающей выборки\n",
    "        ri = np.random.randint(X.shape[0])\n",
    "        errors.append(mserror(y, linear_prediction(X, w)))\n",
    "        #print mserror(y[ri], linear_prediction(X[ri], w))\n",
    "        w = stochastic_gradient_step(X, y, w, ri, eta)\n",
    "        \n",
    "        iter_num = iter_num + 1\n",
    "        \n",
    "    return w, errors"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    " **Запустите $10^5$ итераций стохастического градиентного спуска. Укажите вектор начальных весов *w_init*, состоящий из нулей. Оставьте параметры  *eta* и *seed* равными их значениям по умолчанию (*eta*=0.01, *seed*=42 - это важно для проверки ответов).**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 49,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "stoch_grad_desc_weights, stoch_errors_by_iter = stochastic_gradient_descent(X, y, [0,0,0,0], eta=1e-2, max_iter=1e3,\n",
    "                                min_weight_dist=1e-8, seed=42, verbose=False)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Посмотрим, чему равна ошибка на первых 50 итерациях стохастического градиентного спуска. Видим, что ошибка не обязательно уменьшается на каждой итерации.**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 50,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Populating the interactive namespace from numpy and matplotlib\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "<matplotlib.text.Text at 0x1068cdd8>"
      ]
     },
     "execution_count": 50,
     "metadata": {},
     "output_type": "execute_result"
    },
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAiMAAAF5CAYAAABN1yq9AAAABHNCSVQICAgIfAhkiAAAAAlwSFlz\nAAAPYQAAD2EBqD+naQAAIABJREFUeJzs3Xu8VXP+x/HXp/tNZTSVUpJLMSjnKCVFQoQwuXQwVBip\nMAfjOvi5DmYUo1zGNTLH0IUYEwpJIc6pYUhMSkiRSxemqD6/P77rjN12upzaZ699eT8fj/U4Z6+1\n9tqfvR496t13fS/m7oiIiIjEpVrcBYiIiEh+UxgRERGRWCmMiIiISKwURkRERCRWCiMiIiISK4UR\nERERiZXCiIiIiMRKYURERERipTAiIiIisVIYERERkVjFHkbM7DIzm2lmy81siZlNMLPdks652szm\nmNlKM/vazF4ws85J59Q2s1FmttTMVpjZWDNrmt5vIyIiIpUVexgBugN3APsBhwA1gefNrG7COXOB\nocCeQDdgQXTOdgnn3AYcCfQDegAtgHFVXbyIiIhsHcu0hfLMrAnwBdDD3V/dwDnbAMuAXu7+kpk1\nBL4E+rv7hOicdsAcoIu7z0xP9SIiIlJZmdAykqwx4MDXFR00s5rA2cC3wL+i3YVADWBK+XnuPhdY\nCHStymJFRERk62RUGDEzIzxuedXd30s6dqSZrQBWAecDh7p7eWBpDvzg7suTLrkkOlbRZ9UzswIz\nq5fSLyEiIpLjUv1vaI1UXCSF7gT2IPQLSfYi0AFoApwFPGFmnd196RZ+VkdgOlBmZiuTjk0CntvC\n64qIiOSS3sDhSfsaAAWEf69nbO0HZEwYMbORQB+gu7t/nnzc3f8LfBRtM83sA+AM4GZgMVDLzBom\ntY40i45VpE30s6CCYz2AG7fke4iIiOSRNuRKGImCyDHAge6+cDPfVg2oHf1eCqwBegGJHVhbA69t\n4P0LAMaMGcPuu+++ZYVLpRUXFzNixIi4y8gruufpp3uefrrn6TVnzhxOPfVUiP4t3VqxhxEzuxMo\nAvoC35lZs+jQMndfFT2PugKYCHxOeEwzjDB09wkAd19uZvcDw83sG2AF8Bdg+kZG0qwC2H333Sko\nqKhxRKpCo0aNdL/TTPc8/XTP00/3PDarUnGR2MMIMJgweublpP0DgYeBtUB74DRCEPkKeBM4wN3n\nJJxfHJ07ltBiMokwN4mIiIhksNjDiLtvdESPu68mTGS2qeusBs6NNhEREckSGTW0V0RERPKPwoik\nVVFRUdwl5B3d8/TTPU8/3fPslnHTwaeLmRUApaWlper0JCIiUgllZWUUFhYCFLp72dZeTy0jIiIi\nEiuFEREREYmVwoiIiIjESmFEREREYqUwIiIiIrFSGBEREZFYKYyIiIhIrBRGREREJFYKIyIiIhIr\nhRERERGJlcKIiIiIxEphRERERGKlMCIiIiKxyvswMnIk5OnCxSIiIhkh78PIgw/C0KGwbl3clYiI\niOSnvA8jV10F99wDp54KP/4YdzUiIiL5p0bcBcTtmGNg772hqAiWL4cnnoC6deOuSkREJH/kfcsI\nQL9+8I9/wEsvweGHw7JlcVckIiKSPxRGIoceCpMnw9tvw8EHw5dfxl2RiIhIflAYSdC1K0ydCp99\nBt27wyefxF2RiIhI7os9jJjZZWY208yWm9kSM5tgZrslHK9hZjeb2dtmttLMPjOz0Wa2fdJ1apvZ\nKDNbamYrzGysmTWtbD177w2vvgqrV8MBB8AHH6TiW4qIiMiGxB5GgO7AHcB+wCFATeB5MyvvRloP\n6AhcA+wDHAe0A55Kus5twJFAP6AH0AIYtyUF7bJLCCT160O3bnD33fDDD1tyJREREdmU2MOIu/dx\n90fcfY67vwMMAFoDhdHx5e7e293HufuH7j4TGAYUmtkOAGbWEBgEFLv7VHefBQwEuplZ5y2pq2VL\neOUV6N0bhgyB9u1h9GhYu3brv7OIiIj8JPYwUoHGgANfb8Y530avCwnDlKeUn+Duc4GFQNctLaRJ\nExgzJnRq3WcfGDAA9twTHn9ck6SJiIikSkaFETMzwuOWV939vQ2cUxu4Cfibu6+MdjcHfnD35Umn\nL4mObZU994Rx4+Ctt2CnneCkk6CgAJ5+WlPJi4iIbK2MCiPAncAeQP+KDppZDeAJQqvIkDTWBUBh\nITz7LEybBo0bQ9++YQTO5MkKJSIiIlsqY2ZgNbORQB+gu7t/XsHx8iDSCjg4oVUEYDFQy8waJrWO\nNIuObVBxcTGNGjVab19RURFFRUUbfM8BB4QJ0qZMgSuuCHOU3HIL/P73m/iSIiIiWaakpISSkpL1\n9i1L8eyg5hnwX/ooiBwDHOjuH1VwvDyItAV6uvvXSccbAl8C/d19QrSvHTAH6BJ1ek2+ZgFQWlpa\nSkFBwRbX7g4XXRRW/y0tDY90REREcllZWRmFhYUAhe5etrXXi/0xjZndCZwCnAx8Z2bNoq1OdLwG\nYYhuAXAqUDPhnJoQRtwA9wPDzewgMysEHgCmVxREUls/3HBDGA48YIAW2xMREams2MMIMBhoCLwM\nLErYToyOtwSOAnYAZkfHPo9+Jo6UKQaeAcYmXKtfVRcPUKcOPPQQzJ4NN9+cjk8UERHJHbH3GXH3\njQYid/8YqL4Z11kNnBttadepE1x6KVx7LRx9NHToEEcVIiIi2ScTWkZyxpVXhsnRTj9dM7aKiIhs\nLoWRFKpdOzyueffd0I9ERERENk1hJMUKCsJw3xtugLKt7l8sIiKS+xRGqsDll8Nee4XHNatXx12N\niIhIZlMYqQK1aoVF9ebODR1aRUREZMMURqrI3nvD1VfDTTfBm2/GXY2IiEjmUhipQpdcElb7Pf10\nWLUq7mpEREQyk8JIFapRIzyumTcvtJKIiIjIzymMVLFf/Sr0G/nzn+G11+KuRkREJPMojKTBhReG\nGVpPPRW+/TbuakRERDKLwkga1KgBf/sbfPUVDBwYVvoVERGRQGEkTdq2hYcfhiefhBEj4q5GREQk\ncyiMpFHfvvD734dRNtOnx12NiIhIZlAYSbMbboAuXeCkk+DLL+OuRkREJH4KI2lWsyY89lhY1feU\nU2Dt2rgrEhERiZfCSAxatoSSEpg8Ga6/Pu5qRERE4qUwEpNeveCaa8L2wgtxVyMiIhIfhZEYXXEF\nHHYYnHwyfPpp3NWIiIjEQ2EkRtWqwZgxUKdO6ND6449xVyQiIpJ+CiMxa9IEHn8cZs6Eyy6LuxoR\nEZH0UxjJAF27wp/+BLfeChMmxF2NiIhIetWIuwAJzj8fXn0Vjj8edtoJ2rWD9u3X/9m0KZjFXamI\niEhqKYxkCLMwXfxjj8F778HcuTBxInz0EaxbF85p3DgEk913D51ee/VSOBERkeynMJJB6tWDQYPW\n37d6NcybB++/H7a5c+H11+HBB6FjxzC9/IknhsX4REREslHsfUbM7DIzm2lmy81siZlNMLPdks45\nzsyeM7OlZrbOzPau4Dq1zWxUdM4KMxtrZk3T902qRu3asMce8Otfw+WXw+jR8O678Pzz8Mtfhllc\nd9kFbr8dVq6Mu1oREZHKiz2MAN2BO4D9gEOAmsDzZlY34Zz6wDTgYsA3cJ3bgCOBfkAPoAUwropq\njpUZHHpoCCSzZsEBB8CFF0Lr1mHuksWL465QRERk88UeRty9j7s/4u5z3P0dYADQGihMOGeMu18P\nTAF+1kvCzBoCg4Bid5/q7rOAgUA3M+ucju8Rl44dw1wlH30EAwbAX/4CbdrAWWfBxx/HXZ2IiMim\nxR5GKtCY0PrxdSXeU0jo/zKlfIe7zwUWAl1TWl2Gat0ahg+HTz6B//s/eOYZ6NwZZs+OuzIREZGN\ny6gwYmZGeNzyqru/V4m3Ngd+cPflSfuXRMfyRuPGcOml8M47sOOOcOCBMG1a3FWJiIhsWKaNwbgT\n2APolq4PLC4uplGjRuvtKyoqoqioKF0lVIkmTWDKFDjmmLD+zbhx0KdP3FWJiEi2KSkpoaSkZL19\ny5YtS+lnmPuG+oOml5mNBI4Gurv7wg2csyMwH+jo7m8n7O8JTAa2TWwdMbMFwAh3v72CaxUApaWl\npRQUFKT0u2SSVaugf3/4xz/CPCZZnrFERCQDlJWVUVhYCFDo7mVbe72MeEwTBZFjgJ4bCiIJKkpP\npcAaoFfCNdsROsK+lqo6s1GdOjB2bJgk7ZRT4K674q5IRERkfbE/pjGzO4EioC/wnZk1iw4tc/dV\n0TnbEoJFS8JomvZR/5LF7r7E3Zeb2f3AcDP7BlgB/AWY7u4z0/yVMk6NGmGStMaNYcgQ+OabsCif\nZm8VEZFMEHsYAQYTWjteTto/EHg4+r0v8GB0ngPlD6+uAa6Nfi8G1gJjgdrAJGBoVRWdbapVg9tu\ng+22C3ORfPMN3HKLAomIiMQv9jDi7pt8VOTuo4HRmzhnNXButEkFzOCqq0ILyfnnh0Byzz1QvXrc\nlYmISD6LPYxI+p13Hmy7LQwcCCtWwN/+pkAiIiLxURjJU7/5DTRoAMcfH+YjueWWuCsSEZF8lRGj\naSQexx0Ht94Kf/pT6OAqIiISB7WM5Lnzz4c5c+Dss6Ft2zBjq4iISDqpZSTPmcHIkdC9O/TrB/Pm\nxV2RiIjkG4URoWZNeOIJ+MUv4OijIcWz/IqIiGyUwogAIYg88wx8/jmceCKsWRN3RSIiki8URuR/\ndtstTB0/ZQpccEHc1YiISL5QGJH19OoV+pDccYfWsRERkfTQaBr5mcGDwwibc8+FXXaBQw+NuyIR\nEcllahmRCt16awghJ5wA778fdzUiIpLLFEakQjVqwGOPQcuWYYTNZ5/FXZGIiOQqhRHZoEaN4Omn\nYdUqKCyEV1+NuyIREclFCiOyUW3bQmkptGsHPXvCnXeCe9xViYhILlEYkU1q2hQmT4ZzzoGhQ+HM\nM0NriYiISCoojMhmqVkT/vIXeOghePTRsIbNp5/GXZWIiOQChRGplNNPh+nTw0ythYUwbVrcFYmI\nSLZTGJFKKyyEt96C3XeHgw+GUaPUj0RERLacwohskaZN4YUXYMgQGDYMBg2C5cvjrkpERLKRwohs\nsZo14fbbYfToMCfJtttCx44hoDzyCPznP2oxERGRTdN08LLVTjsNevQII25mzICXXvppXZtf/hK6\ndIGuXWH//aFzZ6hbN956RUQksyiMSEq0aROG/J55Znj99dfwxhvw2mshoNx4I6xcCTvuCM89F+Yt\nERERAT2mkSryi1/AEUfAtdeGFpNvvw2TpzVoAAccEH4XERGBDAgjZnaZmc00s+VmtsTMJpjZbhWc\nd62ZLTKz783sBTPbJel4bTMbZWZLzWyFmY01s6bp+yayMdWrQ0EBvPJKWAn4oIPgxRfjrkpERDJB\n7GEE6A7cAewHHALUBJ43s//1LDCzS4BhwG+BzsB3wHNmVivhOrcBRwL9gB5AC2BcOr6AbL5f/CK0\nlHTrFlpOxo+PuyIREYlb7GHE3fu4+yPuPsfd3wEGAK2BwoTTzgeuc/dn3P3fwGmEsHEsgJk1BAYB\nxe4+1d1nAQOBbmbWOY1fRzZD/fowcSIcdxyccALcd1/cFYmISJxiDyMVaAw48DWAme0ENAemlJ/g\n7suBN4Cu0a59CZ1xE8+ZCyxMOEcySK1aYVr5wYPhrLPg5ps1DFhEJF9l1GgaMzPC45ZX3f29aHdz\nQjhZknT6kugYQDPghyikbOgcyTDVq8PIkdCkCVx6KXz5JfzpT2AWd2UiIpJOGRVGgDuBPYBucRci\n6WEG11wTAsl558FXX8G990KNTPuTKSIiVSZj/so3s5FAH6C7u3+ecGgxYITWj8TWkWbArIRzaplZ\nw6TWkWbRsQ0qLi6mUaNG6+0rKiqiqKhoi76HbJlzzw2dWwcMCHOU/P3vUKdO3FWJiEhJSQklJSXr\n7Vu2bFlKP8M8Ax7UR0HkGOBAd/+oguOLgD+5+4jodUNCMDnN3Z+IXn8J9Hf3CdE57YA5QBd3n1nB\nNQuA0tLSUgoKCqrqq0klPfss9OsH3bvDk09CvXpxVyQiIsnKysooLCwEKHT3sq29XuwdWM3sTuAU\n4GTgOzNrFm2J/y++DfiDmR1tZnsBDwOfAk/B/zq03g8MN7ODzKwQeACYXlEQkczVp08IJDNmhN9X\nroy7IhERqWqxhxFgMNAQeBlYlLCdWH6Cu99CmIvkHsIomrrAEe7+Q8J1ioFngLEJ1+pX5dVLyvXs\nGaaMLyuD3r0hxa2BIiKSYWIPI+5ezd2rV7A9nHTe/7l7C3ev5+693f0/ScdXu/u57t7E3bdx9xPc\n/Yv0fhtJlW7dwuRo770HhxwS+pGIiEhuij2MiGxI585hyvj58+Hgg8PQXxERyT0KI5LR9tkHXn4Z\nFi8O69ks3ujYKBERyUYKI5Lx9twTpk4NK/8eeCB8+mncFYmISCopjEhWaNcurPi7ahX06AELFsRd\nkYiIpIrCiGSNnXcOgaRatRBIpk3TejYiIrlAYUSyyo47hkc2220XAsn++8P48bB2bdyViYjIllIY\nkazTsiWUlsLTT0Pt2mHG1vbt4a674L//jbs6ERGpLIURyUrVqsFRR4WRNm+8EUbdDBsGrVuHhfc0\nDFhEJHsojEjW69wZHn8cPvgA+veHm28OoWTIEHV0FRHJBgojkjN23hnuuAM++QQuvxzGjg1B5b33\n4q5MREQ2RmFEcs5228GVV4YQ0rw59OoVWk1ERCQzKYxIzmrSJKxvs+22YTr5efPirkhERCqiMCI5\nrWlTmDIF6tcPgUR9SEREMo/CiOS87bcPC+7VqBECySefxF2RiIgkUhiRvNCyZQgk69aFPiSLFsVd\nkYiIlFMYkbyx444hkPz3vyGQLFkSd0UiIgIKI5Jn2rYNgWTZMjjkEFi6NO6KREREYUTyzq67hkDy\nxRdw6KHw9ddxVyQikt8URiQvtW8fRtl88kloIfnww7grEhHJXwojkrf23DMEkuXLYe+94c9/1uq/\nIiJxUBiRvNahA7z9dljH5uKLYf/94d13465KRCS/KIxI3qtXD269FWbMgBUrwgrA110HP/4Yd2Ui\nIvlBYUQk0qULzJoVWkiuuQY6dYKysrirEhHJfQojIglq14brr4c33wSzsOrv5ZfDqlVxVyYikrsy\nIoyYWXczm2hmn5nZOjPrm3S8qZk9FB3/zsyeNbNdks6pbWajzGypma0ws7Fm1jS930RyxT77wMyZ\noYXk1lvD69Gj4bvv4q5MRCT3ZEQYAeoDs4EhgFdw/CmgDXA00BFYCEw2s7oJ59wGHAn0A3oALYBx\nVVey5LqaNeGKK8Kjm1atYMAAaN4czjgDXn0VvKI/qSIiUmkZEUbcfZK7X+XuTwGWeMzMdgX2Awa7\ne5m7fwicA9QFiqJzGgKDgGJ3n+rus4CBQDcz65zO7yK5Z4894PnnYf58uOiiMGFa9+7Qrh3ceCN8\n+mncFYqIZLeMCCObUJvQWrK6fIe7l78+INq1L1ADmJJwzlxCC0rXtFUqOa1NG7j6apg3LwSSLl1C\n/5Idd4TDD4e//z0swLdypVpNREQqo0bcBWyG94FPgD+a2WDge6AY2AHYPjqnGfCDuy9Peu8SoHm6\nCpX8UK0a9OwZtpEj4fHH4YEHoH//9c9p0AAaNvxp22ab8HOHHaBPHzjoIKhVK7avISKSMTI+jLj7\nGjM7Drgf+BpYA0wGniXpkc6WKC4uplGjRuvtKyoqoqioaGsvLXmgYUM488ywffghfPBBmNF1xYrw\ns6LfJ0yA228P7z3iCOjbN4STxo3j/jYiIj9XUlJCSUnJevuWLVuW0s8wz7D2ZDNbBxzr7hMrOLYN\nUMvdvzKz14E33f1cM+tJCCjbJraOmNkCYIS7317BtQqA0tLSUgoKCqrq64j8jHuY9fWpp2DiRCgt\nhRo1oEcPOOaYEE7atIm7ShGRDSsrK6OwsBCg0N23ekambOgz8j/uviIKIrsS+ok8GR0qJbSY9Co/\n18zaAa2B19JeqMhGmIVp6K+6Ct56KyzWd/vtYfTORRfBTjtBYSF8/HHclYqIpEdGhBEzq29mHcys\nY7SrbfS6VXT8eDM70Mx2MrNjgOeB8e4+BSBqDbkfGG5mB5lZIfAAMN3dZ8bwlUQ22w47hLVxJk2C\npUtDH5QvvoCzzlJHWBHJD5nSZ2Rf4CXCqBkHbo32jyYM2d0eGA40BT6P9l+fdI1iYC0wljACZxIw\ntKoLF0mlhg3hhBNC59c+fcJEawMGxF2ViEjVyogw4u5T2UgrjbvfAdyxiWusBs6NNpGsdsQR8Jvf\nQHEx9O4N22+/6feIiGSrjHhMIyI/N2JEGPo7bFjclYiIVK1KhREzuzhxCnYz62ZmtRNeb2Nmd6ay\nQJF8td12YR6T8eNhnBY2EJEcVtmWkT8C2yS8/ifQMuF1PeDsrS1KRILjj4djj4WhQ+Hrr+OuRkSk\nalQ2jCRPMrbVk46JyIaZwahRsGoVXHBB3NWIiFQN9RkRyXAtWsDw4WFkzXPPxV2NiEjqKYyIZIGB\nA6FXL/jtb8OU8iIiuWRLhvaeaWYrE94/wMyWRq+32cB7RGQrmMG998Kee8Lll8MdGx3oLiKSXSob\nRhYCZyW8Xgz8poJzRCTFdtoJbrwxzD1y0klwwAFxVyQikhqVCiPu3qaK6hCRzTBsGDz2WFglePZs\nqFMn7opERLae+oyIZJHq1eH++2H+fLj22rirERFJjcpOetbVzI5K2neamc03sy/M7K+Jk6CJSOrt\nsQdceSXccktYXE+L6YlItqtsy8hVwK/KX5jZXoTVcicDNwFHA5elrDoRqdAll8B++4U1bPbZB+67\nD77/Pu6qRES2TGXDSEdgSsLr/sAb7n6Wuw8HzgNOTFVxIlKxmjVh2rTQMtKqVRjy27IlXHQRzJsX\nd3UiIpVT2TCyLbAk4fWBhCnhy70JtNraokRk06pVCyv6Pv10CCBnnQUPPgi77gpHHgn//CesWxd3\nlSIim1bZMLIE2AnAzGoBBcDrCce3AX5MTWkisrl22in0Ifn009DB9fPPoU8f2G23MD+J+pWISCar\nbBh5FrjJzLoTFs37HpiWcHxvQI3EIjGpWzfM1lpaCjNmwL77hkc4AweG9W1ERDJRZcPIlcAaYCph\n8rPfuvsPCccHAc+nqDYR2UJm0LVrmJPkkUfCz549Q4uJiEimqVQYcfel7t6D0HdkW3cfn3TKCcD/\npag2EUmBU0+FV16BhQuhUyd48824KxIRWV+lZmA1sweSXm/o1EFbWpCIpF7nziGEHHcc9OgR+pWc\nfHLcVYmIBJV9TDMA6Ak0Jmod2cAmIhmmRQuYOhVOPBFOOSXMVbJ2bdxViYhUfqG8u4AiwoiaB4Ex\n7v51yqsSkSpRpw489BB06AC//z38+9/wt79Bo0ZxVyYi+ayyfUaGAtsDtxBmW/3EzB43s962kWc2\nIpI5zOCCC+DZZ2H6dOjSBT74IO6qRCSfVXqhPHdf7e4l7n4osAfwLnAnsMDMGqS6QBGpGr17w8yZ\nYQ6SggLo3x8efhi++CLuykQk32ztqr3rAAcMqL6lFzGz7mY20cw+M7N1ZtY36Xh9MxtpZp+Y2fdm\n9q6ZnZ10Tm0zG2VmS81shZmNNbOmW1qTSD7YbTd4443wyOajj+D006F587DuzTXXhE6vmsVVRKpa\npcNI9I9+kZm9AHwA7AUMA1q7+8otrKM+MBsYQgg3yUYAhwEnA+2j1yOTVhC+DTgS6Af0AFoA47aw\nHpG80agRXH11aCVZvDhMKd+mDYwYEUbhbL89DBgAjz8Oq1fHXa2I5KLKDu29k7A43ifAA0CRuy/d\n2iLcfRIwKfqMivqedAVGu3v5bK/3mdlgoDPwjJk1JAwn7u/uU6PrDATmmFlnd5+5tTWK5INmzULr\nyOmnw48/wmuvhb4l//gHjB4Ne+0Fjz4afoqIpEplW0YGA8uBjwiL5P3VzMYnbymvEmYAfc2sBYCZ\n9QR2BZ6LjhcSgtX/VhR297nAQkKQEZFKqlkzzEly003wzjswa1boX9KpE9x2mx7fiEjqVDaMPAy8\nBHwLLNvIlmrnAnOAT83sB8IaOUPdfXp0vDnwg7svT3rfkuiYiGyljh1DH5LBg6G4GA4/HBYtirsq\nEckFlXpM4+4DqqiOTTkP2A84itDa0QO408wWufuLMdUkknfq1AmtIkccEfqR7L13WBX4uOPirkxE\nslllJz1LOzOrA9wAHOvu/4x2/9vM9gEuAl4EFgO1zKxhUutIs+jYBhUXF9MoacanoqIiioqKUvUV\nRHJO797h0c1ZZ8Gvfw1nnBFCSgMN7hfJOSUlJZSUlKy3b9my1D4EMfeKBq/Ex8zWEYLHxOj1NoRH\nP4e7+/MJ590NtHH3w6MOrF8SOrBOiI63Izza6VJRB1YzKwBKS0tLKSgoqPLvJZKL3MM6N+efH6ab\nf/TRMAJHRHJbWVkZhYWFAIXuXra119vaeUZSIppHpIOZdYx2tY1et3L3FcBU4M9mdqCZtTGzAcBp\nwHiAqDXkfmC4mR1kZoWE0T7TNZJGpOqYwZlnwuzZsO22sP/+8Nvfhinm588PYUVEZFMy5THNvoSO\nsR5tt0b7RxOG7J4E/BEYA/wC+Bi4zN3/mnCNYmAtMBaoTRgqPDQdxYvku113DVPL//GPoXXk3nvD\n/ubNQ0Dp2jX8LCgI/U5ERBJl3GOadNFjGpGqs3QpvP46zJgRtjffhO+/h1q1QiDp2jVsXbrADjuE\nFhYRyR6pfkyTKS0jIpJDmjSBo44KG4QJ1N5+O0yiNmMGTJgQZniF0NekS5eftsJCqFcvvtpFJP0U\nRkSkytWsGUJGYSEMGxb2LV4c1sV5/fWwXXMNfPcdVK8ehgzvvz9ccgm0ahVv7SJS9RRGRCQWzZvD\nMceEDWDNGnj33Z8CytixoQXlmWdgn33irVVEqlZGjKYREalRAzp0CKNxHnggjNBp0QK6dw/r44hI\n7lIYEZGM1Lw5vPwy9OoFRx8Nd98dd0UiUlUURkQkY9WvD+PHh34m55wDF1+sBfpEcpH6jIhIRqte\nHW6/Hdq2DQv0zZ8PDz8MdevGXZmIpIpaRkQkK5x/fmgl+cc/wqObL7+MuyIRSRWFERHJGsceG/qR\nzJsXJk0n1pi6AAAdvUlEQVT74IO4KxKRVFAYEZGs0rlzGPpbq1YIJNOnx12RiGwthRERyTo77RRC\nyF57wWGHwUsvxV2RiGwNhRERyUrbbhvmH+nWDY48EiZPjrsiEdlSCiMikrXq1YOJE+HAA8NcJM89\nF3dFIrIlFEZEJKvVqQNPPgmHHAJ9+4bRNiKSXRRGRCTr1a4N48ZBnz5w3HHw1FNxVyQilaEwIiI5\noVYtePzxsPDe8ceHOUlEJDsojIhIzqhZE0pKQhg58cQQTkQk82k6eBHJKTVqwCOPhJ9FRbBmDZx8\nctxVicjGKIyISM6pUQMeeij8/M1vYNUqGDgQzOKuTEQqosc0IpKTqleH+++HM84I2xFHwPvvx12V\niFREYUREcla1anDPPWHo74cfhhlbL7gAvv027spEJJHCiIjkNLMwwubdd+Haa+Gvf4XddoP77oO1\na+OuTkRAYURE8kSdOnDZZTB3LvTuDWedFRbd00J7IvFTGBGRvNKyZRhtM2NGeIxzwAFhtM2nn8Zd\nmUj+yogwYmbdzWyimX1mZuvMrG/S8XVmtjb6mbhdmHBObTMbZWZLzWyFmY01s6bp/zYikg26doU3\n3gidXKdMgXbt4He/g48/jrsykfyTEWEEqA/MBoYAXsHx5sD20c/mwCBgHTA24ZzbgCOBfkAPoAUw\nrupKFpFsV60aDBoUOrdeeCE8/DDsvDOceir8619xVyeSPzIijLj7JHe/yt2fAn42E4C7f5G4AccC\nL7n7xwBm1pAQUIrdfaq7zwIGAt3MrHMav4qIZKGGDUPn1oULYfhwmDYNOnaEww+HF18Er+i/SCKS\nMhkRRiojevTSB7gvYXchYQK3KeU73H0usBDomtYCRSRrNWgA550H//kPPPooLF4MvXpBp05havk1\na+KuUCQ3ZV0YAQYAy4EJCfuaAz+4+/Kkc5dEx0RENlvNmqFT66xZ8Nxz0LgxnHRS6Fdy992wenXc\nFYrklmycDn4gMMbdf0jFxYqLi2nUqNF6+4qKiigqKkrF5UUki5nBYYeFrawMbr4ZhgyB66+HSy6B\nM8+EunXjrlKkapWUlFBSUrLevmXLlqX0M8wz7GGoma0DjnX3iRUc6w68DHRw938n7O8JTAa2TWwd\nMbMFwAh3v72CaxUApaWlpRQUFKT8e4hIbnr/fbjxxvAYp2lT+P3v4eyzoX79uCsTSZ+ysjIKCwsB\nCt29bGuvl22Pac4AShODSKQUWAP0Kt9hZu2A1sBr6StPRHJd+/Zh1M3cudCnT2gh2Wmn0GqyYkXc\n1Ylkp4wII2ZW38w6mFnHaFfb6HWrhHMaAscD9ya/P2oNuR8YbmYHmVkh8AAw3d1npuEriEie2WWX\nMEfJhx/Cr38NV14JbdqERzgpbsEWyXkZEUaAfYFZhBYOB24FyoBrEs45Kfr52AauUQw8Q5h75GVg\nEWHOERGRKtOmTejUOm9e6PR6/fXQqlVYkG/BgrirE8kOGRFGorlBqrl79aRtUMI597p7A3evsCHU\n3Ve7+7nu3sTdt3H3E6I5SUREqlyrVnDHHTB/PgwbBg89FCZQO+EEeE0Pi0U2KiPCiIhIrth++9DB\n9ZNPYORIePtt2H9/6NJFc5WIbIjCiIhIFahfH845B+bMgaefDq9POim0lvz5z/Dtt3FXKJI5FEZE\nRKpQtWpw1FFhMb5Zs6BnT7j8cmjdGu66C9ati7tCkfgpjIiIpEnHjqEvyccfQ//+YQK1gw8O08+L\n5DOFERGRNNt+e/jrX2Hy5BBM9t4bRoyAtWvjrkwkHgojIiIx6dUL3nkHzjoLLrwQDjgg9DERyTcK\nIyIiMWrQAG6/HaZNg6+/Do9ybrwRfvwx7spE0kdhREQkA3TrBrNnQ3FxmM11v/3Ca5F8oDAiIpIh\n6taFm26CN94I85F06gRjx8ZdlUjVUxgREckw++4Lb70FffuGFYEXL467IpGqpTAiIpKBatWCe+6B\n6tXD5GnucVckUnUURkREMlSTJmFitCefhL//Pe5qRKqOwoiISAbr1w9OPDEsvrdkSdzViFQNhRER\nkQw3ciSYhRlb9bhGcpHCiIhIhvvlL+HOO2H8+LDyr0iuURgREckCJ5wAxx8PQ4fCF1/EXY1IaimM\niIhkiVGjwuOaoUPjrkQktRRGRESyRNOmIZCMHQtPPBF3NSKpozAiIpJFTjghjLAZMgS+/DLuakRS\nQ2FERCSLmIXWEXc9rpHcoTAiIpJlmjULw32feEKPayQ3KIyIiGShk06C444LrSN6XCPZTmFERCQL\nmYW5R9auDf1IPv887opEtlxGhBEz625mE83sMzNbZ2Z9KzhndzN7ysy+NbOVZvaGme2QcLy2mY0y\ns6VmtsLMxppZ0/R+ExGR9GneHMaNg7lzYa+9YMKEuCsS2TIZEUaA+sBsYAjws8mOzWxnYBrwHtAD\n2Au4DliVcNptwJFAv+icFsC4Kq1aRCRmBx0E77wDPXrAr38NgwbBihVxVyVSOTXiLgDA3ScBkwDM\nzCo45XrgH+5+WcK++eW/mFlDYBDQ392nRvsGAnPMrLO7z6yy4kVEYtakSWgheeghOO88ePlleOQR\n6NYt7spENk+mtIxsUBROjgQ+NLNJZrbEzF43s2MSTiskBKsp5TvcfS6wEOia1oJFRGJgBgMHwr/+\nBS1ahJaSK66AH36IuzKRTcv4MAI0BRoAlwDPAocCE4DxZtY9Oqc58IO7L09675LomIhIXmjbFqZO\nheuug1tuga5dYc6cuKsS2bhsCCPlNT7p7n9x97fd/WbgGWBwjHWJiGSk6tXh8svh9dfh+++hoOCn\nidJEMlFG9BnZhKXAGiA5288Byp+ILgZqmVnDpNaRZtGxDSouLqZRo0br7SsqKqKoqGirihYRiVth\nIZSWwsUXw7Bh8MorcP/90KBB3JVJNikpKaGkpGS9fcuWLUvpZ5hnWFQ2s3XAse4+MWHfdOA/7n56\nwr7xwPfufmrUgfVLQgfWCdHxdoTA0qWiDqxmVgCUlpaWUlBQULVfSkQkZmPHhj4lrVvD+PHQrl3c\nFUk2Kysro7CwEKDQ3cu29noZ8ZjGzOqbWQcz6xjtahu9bhW9/hNwkpmdaWY7m9kw4ChgFEDUGnI/\nMNzMDjKzQuABYLpG0oiIwPHHw8yZsG4ddOoUAolIpsiIMALsC8wCSgnzjNwKlAHXALj7k4T+IRcD\nbxOG8f7a3V9LuEYxoR/JWOBlYBFhzhEREQF23z0EksMOCyv/XnoprFkTd1UiGdJnJJobZKPByN0f\nAh7ayPHVwLnRJiIiFdhmm7C43q23wiWXwJtvQkkJNNV81RKjTGkZERGRNDGDiy6CyZPD7K2FhfDG\nG3FXJflMYUREJE/17AllZbDDDtC9O9x9t4b/SjwURkRE8tgOO4RJ0n77WzjnHCguDp1cRdIpI/qM\niIhIfGrVgpEjQwfXYcNg2TK4916ooX8hJE30R01ERAAYOhQaN4bTT4dvvw0dW+vUibsqyQd6TCMi\nIv9zyinw5JMwaRIceSSsWBF3RZIPFEZERGQ9Rx0Vwsibb8Ihh8BXX8VdkeQ6hREREfmZAw+El1+G\njz4Kvy9aFHdFkssURkREpEIFBTBtGixfDt26wbx5cVckuUphRERENqh9e3j11TDi5oAD4O23465I\ncpHCiIiIbFTr1qGFZPvtwyObO+6AiRPhrbfC4xutbyNbS0N7RURkk5o2hZdegv79w8Roa9f+dMwM\nmjWDFi1CYCn/Wb41bx5+NmsGtWvH9x0kcymMiIjIZmnUCP75zxBEli4NrSKLFsHnn//0+6JFYYr5\nRYvgiy/WDy0Av/jFTwGlVSvo2xf69FFIyXcKIyIiUinVq4dWjmbNYJ99NnxeeWhZvDgElvKf5b+X\nlcFDD4WA0r8/nHYadO4cWlokvyiMiIhIlUgMLR06VHzOu+/CI4/AmDFw552w224hlJx6Kuy4Y3rr\nlfioA6uIiMTmV7+Cm26Cjz+GF16A/faDG2+ENm3g4INDy8n778M332hF4VymlhEREYld9ephttdD\nDgktJOPHw+jRMGjQTyGkVq3Qkba8taVZs59et28fwov6nmQnhREREckoDRqERzWnnRb6l3z4ISxZ\nErYvvvjp9zlzwiyxS5bA999Dw4ahQ2y/ftC7N9StG/c3kc2lMCIiIhmrfHjwxrjDe+/B2LFhGzMG\n6tcPa+wcfzwccUR4LZlLYURERLKaWeh78qtfwdVXw9y5MG5cCCYnnBBaSI44Ao45BnbfPfRHadJE\no3YyicKIiIjklHbt4PLLwzZv3k/B5PTTfzqnXr0QSpK3tm3DcOVqGt6RVgojIiKSs3beGS6+OGzf\nfAPz58OCBetv06bBww/DypXhPSedBI8+GjrVSnoojIiISF7YdtuwFRT8/Jh7CCvPPBNG8NSpAw88\noBaSdFEYERGRvGcWZoI97TSoUSNMula3bhhmrL4lVS8jMp+ZdTeziWb2mZmtM7O+SccfjPYnbs8m\nnVPbzEaZ2VIzW2FmY82saXq/iYiIZLuTT4b77oO774YLLtBka+mQKS0j9YHZwP3A+A2c809gAFCe\nUVcnHb8NOALoBywHRgHjgO4prlVERHLcoEHw3//CsGGhs+sNN8RdUW7LiDDi7pOASQBmG2wQW+3u\nX1Z0wMwaAoOA/u4+Ndo3EJhjZp3dfWYVlC0iIjls6FBYtQouuig8svnDH+KuKHdlRBjZTAeZ2RLg\nG+BF4A/u/nV0rJDwXaaUn+zuc81sIdAVUBgREZFKu/DCMLvrlVeGQHLhhXFXlJuyJYz8k/DIZT6w\nM/BH4Fkz6+ruDjQHfnD35UnvWxIdExER2SJ/+EN4ZFPeQjJkSNwV5Z6sCCPu/njCy3fN7B1gHnAQ\n8NLWXLu4uJhGjRqtt6+oqIiioqKtuayIiOQIs9Bn5Pvvw6ObOnVCn5J8UVJSQklJyXr7li1bltLP\nyIowkszd55vZUmAXQhhZDNQys4ZJrSPNomMbNGLECAoqGnQuIiISMYMRI0IfkjPPDBOknX12fqwS\nXNF/0MvKyigsLEzZZ2TE0N7KMrMdgO2Az6NdpcAaoFfCOe2A1sBraS9QRERyjlmYd+Tss+H888P0\n8TfcAF99FXdl2S8jwoiZ1TezDmbWMdrVNnrdKjp2i5ntZ2Y7mlkv4EngA+A5gKg15H5guJkdZGaF\nwAPAdI2kERGRVKlWDe66C+bMgb594frroVWr8Pjmww/jri57ZUQYAfYFZhFaOBy4FSgDrgHWAnsD\nTwFzgXuBN4Ee7v5jwjWKgWeAscDLwCLCnCMiIiIp1b493HMPLFwIl14KTzwRFug79tiw1o0mSqsc\n8zy9Y2ZWAJSWlpaqz4iIiGyVVatgzBgYPjy0muy7b+hb0qhRaE3Z0FazJnTqBI0bx/0NKiehz0ih\nu5dt7fWysgOriIhIJqlTJ4SPQYPguefg1lth8ODNe2+NGtC9e3jsc/TRYaXhfKMwIiIikiLVqsER\nR4Rt1SpYuxbWrdvwtnIlTJkCEyeGxz3FxbDHHiGY9O0LnTtD9epxf6uqpzAiIiJSBerU2bzzdt01\ntKKsXAkvvBCCyf33w003wS9/CUcdBccdB4cdlrtDiTOlA6uIiEhea9AghI4HH4TPP4fp08Njn9df\nD60kzZvDGWfA88/DmjVxV5taCiMiIiIZpnp12H//0Dry3nvwzjthBeFXXoHevaFFCzjnHJg6NTwK\nynYKIyIiIhluzz3huuvggw+gtBQGDIBnn4WDDoLWreF3v4PZs+OucsspjIiIiGQJMygogFtugQUL\nYMYMOP54ePxxKCwMU9Zn44wdCiMiIiJZyAy6doXbbw+Tr114IVxwQWg1WbUq7uoqR2FEREQky9Wo\nEVpLxowJrSQ9esBnn8Vd1eZTGBEREckRp5wCr74aRuPsuy+8liVLxSqMiIiI5JDCQnjrrTCT60EH\nwQMPxF3RpimMiIiI5JhmzeDFF0P/kTPOgHPPhR9/3OTbYqMwIiIikoNq1QorC991F9x9d5jBdenS\nuKuqmMKIiIhIDhs8OKx/8+67YVjw738fOrkuWJA5w4C1No2IiEiO69Ej9CO59FJ44gn485/D/iZN\noFOnsCBfp05ha9o0/fUpjIiIiOSB1q3hb38Lv3/xBbz5JsycGX6OHAlffRWO7bgjXHwxDBmSvtoU\nRkRERPJM06Zw5JFhg/C4ZsGCnwJKy5bprUdhREREJM+ZwU47he3EE9P/+erAKiIiIrFSGBEREZFY\nKYyIiIhIrBRGREREJFYKIyIiIhKrjAgjZtbdzCaa2Wdmts7M+m7k3Lujc85L2l/bzEaZ2VIzW2Fm\nY80shqlbZGNKSkriLiHv6J6nn+55+umeZ7eMCCNAfWA2MATY4OS0ZnYcsB/wWQWHbwOOBPoBPYAW\nwLiUVypbRX9hpJ/uefrpnqef7nl2y4h5Rtx9EjAJwMysonPMrCVwO9AbeDbpWENgENDf3adG+wYC\nc8yss7vPrMLyRUREZCtkSsvIRkUB5WHgFnefU8EphYRgNaV8h7vPBRYCXdNSpIiIiGyRrAgjwKXA\nD+4+cgPHm0fHlyftXxIdExERkQyVEY9pNsbMCoHzgH1SfOk6AGeeeSbbbLPNegd69+7N4YcfnuKP\nE4Bly5ZRVlYWdxl5Rfc8/XTP00/3vOpMmjSJ5557br19K1asKP+1Tio+w9w32F80Fma2DjjW3SdG\nr88HbmX9jq3VgXXAQndva2Y9gcnAtomtI2a2ABjh7rdX8Dn7A9Or7IuIiIjkvm7uPmNrL5LxLSOE\nviIvJO17Ptr/YPS6FFgD9AImAJhZO6A18NoGrjub0NdEREREtsz7qbhIRoQRM6sP7AKUj6Rpa2Yd\ngK/d/RPgm6TzfwQWu/uHAO6+3MzuB4ab2TfACuAvwPQNjaRx9+8BtemJiIjELCPCCLAv8BLhUYwT\nHssAjCYM2U1W0bOlYmAtMBaoTRgqPDTllYqIiEhKZVyfEREREckv2TK0V0RERHKUwoiIiIjEKm/D\niJkNNbP5ZvZfM3vdzDrFXVOu2JyFD83sWjNbZGbfm9kLZrZLHLXmAjO7zMxmmtlyM1tiZhPMbLcK\nztM9TxEzG2xm/zKzZdE2w8wOTzpH97sKmdml0d8vw5P2676niJldHd3jxO29pHNScr/zMoyY2UmE\nTrJXEyZT+xfwnJk1ibWw3LHRhQ/N7BJgGPBboDPwHeH+10pnkTmkO3AHYRHJQ4CawPNmVrf8BN3z\nlPsEuAQoIEwR8CLwlJntDrrfVS36z+NvCX93J+7XfU+9fwPNCLOZNwcOKD+Q0vvt7nm3Aa8Dtye8\nNuBT4OK4a8u1jTA5Xd+kfYuA4oTXDYH/AifGXW8ubECT6L4foHue1vv+FTBQ97vK73MDYC5wMGEU\n5vCEY7rvqb3XVwNlGzmesvuddy0jZlaT8D+ZxEX1nDCDqxbVq2JmthMhXSfe/+XAG+j+p0pjQovU\n16B7XtXMrJqZ9QfqATN0v6vcKOBpd38xcafue5XZNXrkPs/MxphZK0j9/c6UeUbSqQlhOvklSfuX\nAO3SX07eaU74h7Ki+69FDbdStML1bcCr7l7+bFf3vAqY2Z6EGZ7rECZaPM7d55pZV3S/q0QU+joS\n5qZKpj/nqfc6MIDQErU98H/AK9Gf/ZTe73wMIyK57E5gD6Bb3IXkgfeBDkAj4HjgYTPrEW9JucvM\ndiAE7UPc/ce468kH7p64Ot6/zWwm8DFwIimaBr5c3j2mAZYSZmptlrS/GbA4/eXkncWEPjq6/ylm\nZiOBPsBB7v55wiHd8yrg7mvc/SN3n+XuVxA6U56P7ndVKQR+CZSZ2Y/RsiAHAueb2Q+E/5Hrvlch\nd18GfEBYviWlf87zLoxEibqUsKge8L+m7V7AVq88KBvn7vMJf1AT739DwkgQ3f8tFAWRY4Ce7r4w\n8ZjuedpUA2rrfleZycBehMc0HaLtLWAM0MHdP0L3vUqZWQNCEFmU6j/n+fqYZjjwkJmVAjMJ69rU\nAx6Ks6hcsRkLH94G/MHM/gMsAK4jjGZ6KoZys56Z3QkUAX2B78ys/H8qy9x9VfS77nkKmdmNwD+B\nhcA2wCmE/6UfFp2i+51i7v4dkDzHxXfAV+4+J9ql+55CZvYn4GnCo5mWwDXAj8Bj0Skpu995GUbc\n/fFoTpFrCU1Ks4He7v5lvJXljI0ufOjut5hZPeAewsiPacAR7v5DHMXmgMGE+/xy0v6BwMMAuucp\n15Tw53l7YBnwNnBY+QgP3e+0WW8eI933lNsB+BuwHfAl8CrQxd2/gtTeby2UJyIiIrHKuz4jIiIi\nklkURkRERCRWCiMiIiISK4URERERiZXCiIiIiMRKYURERERipTAiIiIisVIYERERkVgpjIiIiEis\nFEZEJGXMbL6ZnRd3HVXFzE43s2/irkMk1yiMiGQhM3vQzMYnvH7JzIan8fM39I/yvsBf01VHTLSG\nhkiKKYyIyP+YWc3NPZUK/lF2968SVgqWzWRmebloqUg5hRGRLGdmDxKWrz/fzNaZ2Vozax0d29PM\nnjWzFWa22MweNrPtEt77kpndYWYjzOxLYFK0v9jM3jazlWa20MxGRatzYmYHAg8AjRI+76ro2HqP\nacyslZk9FX3+MjP7u5k1TTh+tZnNMrNTo/d+a2YlZlZ/I9/3dDP7xswOM7P3omv/08yaJX2v4Unv\nm2BmDyS8nm9mV5jZ6OgaC8zsaDNrYmZPRvv+ZWaFFdRwjJl9YGb/NbNJZrZDBcdLo+P/MbOrzKx6\nwvF1Zja4/N4Al2/o+4rkA4URkex3PvAacC/QjLCs/Sdm1giYApQCBUBvoCnweNL7TwNWA/sDg6N9\na4FzgT2i4z2BW6JjM4DfAcsTPu/PyUWZmQETCUuLdwcOAdoCjyWdujNwDNAHOJIQrC7dxHeuB1wI\nnBJdu3VFNWyG3xGWPe8IPAM8AoyOfu4DzIteJ6pPCA+nEu5ZY6Ck/KCZdY/eMwJoD5wNnM7PA8fV\nwHhgL0K4E8lbahoUyXLuvtzMfgC+d/cvy/eb2TCgzN2vTNh3JrDQzHZx9/9Euz9090uTrvmXhJcL\nzexK4C5gmLv/aGbLwmk/fV4FDgF+BbRx90XR558GvGtmhe5eWl4WcLq7fx+d8wjQC7iygmuWqwGc\n7e4LoveM3MT5G/IPd78vusZ1wBBgpruPi/bdDMwws6bu/kXCZw9197eic04H5pjZvtG+q4A/uvuY\n6PyPo5ajW4DrEj77UXdPDjoieUlhRCR3dQAOjh4DJHJCa0R5GClNOo6ZHUJonWgPNCT8XVHbzOpU\nok9Ie+CT8iAC4O5zzOxbYPeEz11QHkQinxNacDbm+/IgUon3VOSdhNqWhMYc/p1wfAkhLDUFysPI\nmvIgEr1vbsJ3eotw3/c3sz8kXKc6UCvp/v3svovkK4URkdzVgPCY5GLCP6iJPk/4/bvEA2a2I/A0\nMIrwaOFrwqOQ+4BaQKo7qP6Y9NrZ9CPkit6T+B3X8fPvXFHn3OTrJO8r76RbmUfaDQitI+P/v537\nebExiuM4/v6IhbJiKcRmNNmIxsJOSSELGyz4EyTxD9gp2UisRhbEn0DyY0NZjBoZG4mFFIspNRvJ\n1+Lcye1phhmGp2ber+Vz6px7Fvf2ued8v093oBPkZrrj0kplGJGWh6+0f9/DJoCjwPuq+r6IuXYB\nqapzsw+SHF/Ael2vgU1JNlbVh8E8o7Qai1eL+Dx/4jOtloXBuquAHcDDJZh79dCVDElGaHuaGoxP\nACNV9XYJ1pJWBAtYpeXhHbAnyZahbpmrwHrgTpLdSbYlOZBkfFBcOp83wJokp5NsTXKSVoTZXW9d\nkn1JNiRZ252kqh7QrjxuJdmZZIxW2Pmoql781W5/7yFwKMnBQVi4RgsMS+EbcCXJ2KDT5gbwdKgG\n5gJwatBBM5pke5Jjg5oUSXMwjEjLwyVaB8wU8CnJ5qr6COylfc/vAZPAZWC6qmavH+Z6V8gkcJZ2\nvfMSOEGnu6WqngHXgbu0Worz88x3BJgGngD3aUGne8ryL4zTgs9N4DGtK6Z7KjLXy8sW8mwGuAjc\npnXifGFoT1V1HzgM7Aee0zqdztAC3K/WkVas/PxNkiRJ+v88GZEkSb0yjEiSpF4ZRiRJUq8MI5Ik\nqVeGEUmS1CvDiCRJ6pVhRJIk9cowIkmSemUYkSRJvTKMSJKkXhlGJElSr34AEx0QYlk+wdMAAAAA\nSUVORK5CYII=\n",
      "text/plain": [
       "<matplotlib.figure.Figure at 0xc211c88>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "%pylab inline\n",
    "plot(range(50), stoch_errors_by_iter[:50])\n",
    "xlabel('Iteration number')\n",
    "\n",
    "ylabel('MSE')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Теперь посмотрим на зависимость ошибки от номера итерации для $10^5$ итераций стохастического градиентного спуска. Видим, что алгоритм сходится.**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 51,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Populating the interactive namespace from numpy and matplotlib\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "<matplotlib.text.Text at 0xee6a358>"
      ]
     },
     "execution_count": 51,
     "metadata": {},
     "output_type": "execute_result"
    },
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAisAAAF5CAYAAABeAGpJAAAABHNCSVQICAgIfAhkiAAAAAlwSFlz\nAAAPYQAAD2EBqD+naQAAIABJREFUeJzt3Xm8XfO9//HXJzMhQSoJNU+REDQJEmqmWqrVonU6pLit\nKnUr99dq3dZ867Z6i1JaVbSGxkWrhipVVM0qQQ0xJxUikRgSBJHk+/vju8+17Zxz5CRnn7WH1/Px\nWI999lrfvdZnf0XOO2t9v2tFSglJkqRa1aPoAiRJkjpiWJEkSTXNsCJJkmqaYUWSJNU0w4okSapp\nhhVJklTTDCuSJKmmGVYkSVJNM6xIkqSaZliRJEk1rfCwEhHHRMR9ETEvImZFxFURsUlFmwsjYnHF\ncn1Fm74RcXZEzImI1yPiyogY3L3fRpIkdbXCwwqwA3AWsC2wO9Ab+EtErFDR7s/AEGBoaWmp2H4G\nsDewH7AjsCbw++qVLUmSukPU2oMMI+JDwEvAjimlO0rrLgQGppQ+285nBgCzgQNTSleV1g0DpgBj\nU0r3dUvxkiSpy9XCmZVKqwAJeKVi/c6ly0SPR8Q5EbFa2bbRQC/g5tYVKaUngOeAcdUuWJIkVU+v\nogsoFxFBvpxzR0rpsbJNfyZf0pkKbAj8N3B9RIxL+dTQUGBBSmlexS5nlbZJkqQ6VVNhBTgHGAFs\nX74ypXR52dtHI+Jh4BlgZ+DWZTlQRAwC9gSmAW8vyz4kSWpS/YD1gBtTSi9X+2A1E1Yi4ufAXsAO\nKaUXO2qbUpoaEXOAjchhZSbQJyIGVJxdGVLa1pY9gUuXv3JJkprWF4HfVfsgNRFWSkHl08BOKaXn\nlqL9WsAgoDXUTAIWArsB5QNs1wHubmc30wAuueQShg8fvjzlqxMmTJjA6aefXnQZTcU+7372efez\nz7vXlClT+NKXvgSl36XVVnhYiYhzyNOQPwW8GRFDSpvmppTejoj+wPHkMSszyWdTfgw8CdwIkFKa\nFxHnA6dFxKvA68CZwJ0dzAR6G2D48OGMGjWqOl9OSxg4cKD93c3s8+5nn3c/+7ww3TKMovCwAhxG\nnv3zt4r1BwMXAYuALYDx5JlCM8gh5biU0rtl7SeU2l4J9AVuAI6oZuGSJKn6Cg8rKaUOp0+nlN4G\nPr4U+3kHOLK0SJKkBlGL91mRJEn6P4YVdauWlsqnJKja7PPuZ593P/u8sdXc7fa7S0SMAiZNmjTJ\nQVmSJHXC5MmTGT16NMDolNLkah/PMyuSJKmmGVYkSVJNM6xIkqSaZliRJEk1zbAiSZJqmmFFkiTV\nNMOKJEmqaYYVSZJU0wwrkiSpphlWJElSTTOsSJKkmmZYkSRJNc2wIkmSapphRZIk1TTDiiRJqmmG\nFUmSVNMMK5IkqaYZViRJUk0zrEiSpJpmWJEkSTXNsCJJkmqaYUWSJNU0w4okSapphhVJklTTDCuS\nJKmmNX1YeeutoiuQJEkdafqwMn160RVIkqSONH1YeeyxoiuQJEkdafqwcu+9RVcgSZI60vRhZdq0\noiuQJEkdafqwMmdO0RVIkqSONH1YeeUVWLiw6CokSVJ7mj6sAMyaVXQFkiSpPYYV4MUXi65AkiS1\nx7ACzJhRdAWSJKk9TR9WIjyzIklSLWv6sDJokGFFkqRa1vRhZfXV4YUXiq5CkiS1p+nDykYbwRVX\nwMsvF12JJElqS9OHlSOOgHnz4Npri65EkiS1penDyuqrw+jRcMstRVciSZLa0vRhBWDzzeGJJ4qu\nQpIktcWwAmyySQ4rKRVdiSRJqmRYIYeVuXN9qKEkSbXIsAKsu25+fe65YuuQJElLMqwA66yTX6dP\nL7YOSZK0JMMKeUZQ376eWZEkqRYZVsjPB1pnHZg6tehKJElSpcLDSkQcExH3RcS8iJgVEVdFxCZt\ntDspImZExPyIuCkiNqrY3jcizo6IORHxekRcGRGDl7aOESPg0Ue74htJkqSuVHhYAXYAzgK2BXYH\negN/iYgVWhtExHeBbwKHAtsAbwI3RkSfsv2cAewN7AfsCKwJ/H5pixg5Ev75T6cvS5JUawoPKyml\nvVJKF6eUpqSUHgYOAtYBRpc1+xZwckrpupTSI8B4chjZFyAiBgCHABNSSrellB4ADga2j4htlqaO\nXXeFWbPg6qu77KtJkqQuUHhYacMqQAJeAYiI9YGhwM2tDVJK84B7gXGlVWOAXhVtngCeK2vToV12\ngWHD4G9/W/4vIEmSuk5NhZWICPLlnDtSSo+VVg8lh5dZFc1nlbYBDAEWlEJMe20+0CabwJNPdrps\nSZJURTUVVoBzgBHAgUUcfJNN4KmnijiyJElqT6+iC2gVET8H9gJ2SCm9WLZpJhDksyflZ1eGAA+U\ntekTEQMqzq4MKW1r14QJExg4cCAA//oXPP00XHxxC1/+cstyfR9JkhrBxIkTmThx4vvWzZ07t1tr\niFQD019KQeXTwE4ppWfb2D4D+ElK6fTS+wHk4DI+pXRF6f1s4MCU0lWlNsOAKcDYlNJ9bexzFDBp\n0qRJjBo1CsjjVXbZBR5/PI9fkSRJS5o8eTKjR48GGJ1Smlzt4xV+ZiUizgFagE8Bb0bEkNKmuSml\nt0s/nwH8ICKeBqYBJwPPA1dDHnAbEecDp0XEq8DrwJnAnW0FlfZsvHF+feopw4okSbWiFsasHAYM\nAP4GzChbPtfaIKV0KvleLOeSZwGtAHwipbSgbD8TgOuAK8v2tV9nCllzTVhtNbjnnmX8JpIkqcsV\nHlZSSj1SSj3bWC6qaHdCSmnNlNKKKaU9U0pPV2x/J6V0ZErpQymllVNKB6SUXupMLRGw117wpz91\nxTeTJEldofCwUmvGjIEpU2Dx4qIrkSRJYFhZwoYbwjvvwIwZRVciSZLAsLKEDTbIr88uMSdJkiQV\nwbBSYYMNoFcveOSRoiuRJElgWFlCv36w5ZZw31JPeJYkSdVkWGnDdtvBLbc4yFaSpFpgWGnDgQfC\n9Onw7/9edCWSJMmw0obttoOjj4Zf/hJefPGD20uSpOoxrLTj3/4NFi2CJ54ouhJJkpqbYaUdQ0pP\nKJo1q+N2kiSpugwr7RgwAPr2NaxIklQ0w0o7ImDoUJg5s+hKJElqboaVDgwZYliRJKlohpUObLEF\n3H47pFR0JZIkNS/DSgf23ReefhqeeaboSiRJal6GlQ6MGpVffU6QJEnFMax0YOhQWG01w4okSUUy\nrHQgArbfHv73fx23IklSUQwrH+DQQ/OZlalTi65EkqTmZFj5AFtvnV8nTSq2DkmSmpVh5QMMGQLr\nrgu//33RlUiS1JwMK0vhxBPzuJVbby26EkmSmo9hZSmMH5/Prlx/fdGVSJLUfAwrSyEi383WKcyS\nJHU/w8pS2nxzw4okSUUwrCylzTeH55+H114ruhJJkpqLYWUpbb55fn300WLrkCSp2RhWltKwYdCz\np5eCJEnqboaVpdS3L2yyiWFFkqTuZljphM02g4cfLroKSZKai2GlE7beGv7xD3j77aIrkSSpeRhW\nOmHvvWH+fO9kK0lSdzKsdMKIEbD++nDttUVXIklS8zCsdEIEfPKTcN11kFLR1UiS1BwMK520zz4w\nfbqzgiRJ6i6GlU7afvt8v5W77iq6EkmSmoNhpZNWXBFGjoT77iu6EkmSmoNhZRkMHw7PPFN0FZIk\nNQfDyjIYOhRmzSq6CkmSmoNhZRkMHQozZxZdhSRJzcGwsgyGDIHXXvNOtpIkdQfDyjIYOjS/enZF\nkqTqM6wsgw02yK9PPVVsHZIkNQPDyjLYcEPo3x8efLDoSiRJanyGlWXQowdsuaVhRZKk7mBYWUZb\nbWVYkSSpOxhWltFWW8Hjj8NbbxVdiSRJjc2wsow22wwWL3aQrSRJ1WZYWUbDhuXXJ58stg5Jkhqd\nYWUZDRoEq63mAw0lSao2w8py+MIX4Cc/gV//uuhKJElqXDURViJih4i4JiJeiIjFEfGpiu0XltaX\nL9dXtOkbEWdHxJyIeD0iroyIwdWs+8wzYd994Yc/hDlzqnkkSZKaV02EFaA/8CBwOJDaafNnYAgw\ntLS0VGw/A9gb2A/YEVgT+H01im0VAccfn4PKCSdU80iSJDWvXkUXAJBSugG4ASAiop1m76SUZre1\nISIGAIcAB6aUbiutOxiYEhHbpJSqNrJkq63gO9+BE0+EL30Jxo6t1pEkSWpOtXJmZWnsHBGzIuLx\niDgnIlYr2zaaHLxubl2RUnoCeA4YV+3Cvv996N0b7ryz2keSJKn51MSZlaXwZ/IlnanAhsB/A9dH\nxLiUUiJfFlqQUppX8blZpW1V1bMnbLIJPPtstY8kSVLzqYuwklK6vOztoxHxMPAMsDNwayFFVdhw\nQ3jmmaKrkCSp8dRFWKmUUpoaEXOAjchhZSbQJyIGVJxdGVLa1q4JEyYwcODA961raWmhpaVy/G7H\nRoyA886DRYvymRZJkhrBxIkTmThx4vvWzZ07t1triHwVpXZExGJg35TSNR20WQv4F/DplNJ1pQG2\ns8kDbK8qtRkGTAHGtjXANiJGAZMmTZrEqFGjlrvuu+6C7beHQw6B889f7t1JklSzJk+ezOjRowFG\np5QmV/t4NTHANiL6R8SWEbFVadUGpfdrl7adGhHbRsS6EbEb8EfgSeBGgNLZlPOB0yJi54gYDVwA\n3FnNmUDlxo3Ls4F+8xuYNq07jihJUnOoibACjAEeACaR77PyU2AycCKwCNgCuBp4AjgP+AewY0rp\n3bJ9TACuA64E/gbMIN9zpVtEwC9/CQMGwC9+0V1HlSSp8dXEmJXSvVE6Ck4fX4p9vAMcWVoK0b8/\nfPKT8Pe/F1WBJEmNp1bOrDSMkSPh0UehxoYCSZJUtwwrXWzkSHj9dZ/GLElSVzGsdLHddoNRo+Cg\ng/I0ZkmStHwMK12sTx846SR4/HF4/vmiq5Ekqf4ZVqpg7bXz64svFluHJEmNwLBSBWuskV8NK5Ik\nLT/DShUMGgS9ehlWJEnqCoaVKujRA4YOheeeK7oSSZLqn2GlSnbaCa66yvutSJK0vAwrVXLwwfDk\nk3DPPUVXIklSfTOsVMkuu8DgwXDddUVXIklSfTOsVEmPHvnmcA8/XHQlkiTVN8NKFY0cCffeCy+8\nUHQlkiTVL8NKFY0fDy+9BLvuWnQlkiTVL8NKFW2+OZxzTh5oO3t20dVIklSfOhVWIuLoiFih7P32\nEdG37P3KEXFOVxZY7/bcM7/ef3+xdUiSVK86e2blv4GVy97/Gfhw2fsVga8vb1GNZL31oG9feOqp\noiuRJKk+dTasxAe8V4UePWDddWHatKIrkSSpPjlmpRusvz5MnVp0FZIk1SfDSjfYYgu48UZ49tmi\nK5Ekqf70WobPfDUi3ij7/EERMaf0fuV2PtPUjj0WfvlLOP10OOusoquRJKm+dDasPAd8rez9TODL\nbbRRmZVXhq98BX7+czjwQNh++6IrkiSpfnQqrKSU1qtSHQ3vZz+Da66Biy82rEiS1BmOWekmPXrA\nXnvB7bcXXYkkSfWlszeFGxcRn6xYNz4ipkbESxHxq/KbxOn9xo6FKVNg3ryiK5EkqX509szKccBm\nrW8iYiRwPvBX4EfAPsAxXVZdgxk+HFJyGrMkSZ3R2bCyFXBz2fsDgXtTSl9LKZ0G/Dvwua4qrtF8\nuHSv3+efL7YOSZLqSWfDyqrArLL3O5Fvud/qH8Day1tUoxo6FHr2NKxIktQZnQ0rs4D1ASKiDzAK\nuKds+8rAu11TWuPp2RPWWANeeKHoSiRJqh+dDSvXAz+KiB3IDzWcD5TPb9kCeKaLamtII0bA3/9e\ndBWSJNWPzoaVY4GFwG3km8MdmlJaULb9EOAvXVRbQ/ryl+G227z1viRJS6tTYSWlNCeltCN57Mqq\nKaU/VDQ5ADihi2prSJ/9LAwYAOedV3QlkiTVh07dwTYiLqh4317TQ5a1oEa34orwta/lZwS1tOSH\nHEqSpPZ19jLQQcAuwCqUzq60s6gDxx0H66wDEyYUXYkkSbWvsw8y/AXQQp4RdCFwSUrplS6vqsEN\nGJCDymGHwRtvwEorFV2RJEm1q7NjVo4A1gBOJd+tdnpEXB4Re0YH14S0pLFjYfFiuPPOoiuRJKm2\ndfpBhimld1JKE1NKewAjgEeBc4BpEeE5gqU0YgRsuil8+9v5FvySJKlty/vU5cVAAgLoufzlNI+e\nPfMg20cegbvuKroaSZJqV6fDSkT0jYiWiLgJeBIYCXwTWCel9EZXF9jIdt0V1l8ffvWroiuRJKl2\ndSqsRMQ5wIvA94DrgLVTSgeklK5PKS2uRoGNrEcPOOoouPhieOKJoquRJKk2dXY20GHAc8Cz5IcY\n7tTWuNqU0meXv7Tm8NWv5plBd9wBw4YVXY0kSbWns5eBLgJuBV4D5nawaCmtuCIMHw6TJhVdiSRJ\ntalTZ1ZSSgdVqY6mNmoUTJ5cdBWSJNWm5Z0NpC4wahQ89BAsXFh0JZIk1R7DSg0YPRrefhumTCm6\nEkmSao9hpQZstVV+9VKQJElLMqzUgJVXhk02gfvvL7oSSZJqj2GlRmy/Pfz970VXIUlS7TGs1Ihd\nd4V//hPmzCm6EkmSaothpUaMG5dfvRQkSdL7GVZqxAYbwKqrwp13Fl2JJEm1pSbCSkTsEBHXRMQL\nEbE4Ij7VRpuTImJGRMyPiJsiYqOK7X0j4uyImBMRr0fElRExuPu+xfKJgAMOgHPOgddeK7oaSZJq\nR02EFaA/8CBwOJAqN0bEd8lPdj4U2AZ4E7gxIvqUNTsD2BvYD9gRWBP4fXXL7lonnADvvAOnnFJ0\nJZIk1Y6aCCsppRtSSsellK4GlnwyInwLODmldF1K6RFgPDmM7AsQEQOAQ4AJKaXbUkoPAAcD20fE\nNt3zLZbfGmvAd74DP/uZ91yRJKlVTYSVjkTE+sBQ4ObWdSmlecC9QGlYKmPIzzkqb/ME+QnR46gj\n3/42rLsu7LQTPPZY0dVIklS8mg8r5KCSgFkV62eVtgEMARaUQkx7bepC//75CcxrrQUTJhRdjSRJ\nxauHsNJ0Vl4ZvvxluO8+SEuM4JEkqbn0KrqApTCTPI5lCO8/uzIEeKCsTZ+IGFBxdmVIaVu7JkyY\nwMCBA9+3rqWlhZaWluWte7kMG5ZnBc2eDYPrZk6TJKnRTJw4kYkTJ75v3dy5c7u1hpoPKymlqREx\nE9gN+Cf834DabYGzS80mAQtLba4qtRkGrAPc3dH+Tz/9dEaNGlWd4pfDsGH59fHHDSuSpOK09Q/4\nyZMnM3r06G6roSbCSkT0BzbivZlAG0TElsArKaXp5GnJP4iIp4FpwMnA88DVkAfcRsT5wGkR8Srw\nOnAmcGdK6b5u/TJdZNgwWGmlfJO4HXcsuhpJkopTK2NWxpAv6UwiD6b9KTAZOBEgpXQqcBZwLnkW\n0ArAJ1JKC8r2MQG4DrgS+Bswg3zPlbrUuzfssAPceGPRlUiSVKyaCCule6P0SCn1rFgOKWtzQkpp\nzZTSiimlPVNKT1fs452U0pEppQ+llFZOKR2QUnqp+79N12lpgdtug9/9ruhKJEkqTk2EFbXtwANh\nq63grLOKrkSSpOIYVmpY7955CvNDD8HChUVXI0lSMQwrNW7sWHjrLbjhhqIrkSSpGIaVGjduHOyy\nS35m0KJFRVcjSVL3M6zUuAg45ph8v5Unnyy6GkmSup9hpQ6MGZNfH3ig43aSJDUiw0odWHVV2GAD\nuP32oiuRJKn7GVbqxP77w+WXOytIktR8DCt1Yv/94ZVX4K67iq5EkqTuZVipE6NH5wca/ulPRVci\nSVL3MqzUiR494BOfgOuuK7oSSZK6l2Gljuy3Hzz2GDz4YNGVSJLUfQwrdeTjH8+Xgi68sOhKJEnq\nPoaVOtL6rKBLL4UFC4quRpKk7mFYqTMHHwwvvwzXXlt0JZIkdQ/DSp3ZbDPYZhs49liYO7foaiRJ\nqj7DSh0644z8rKCLLiq6EkmSqs+wUofGjYNPfQp++EOYM6foaiRJqi7DSp36+c9zUDnrrKIrkSSp\nugwrdWqttfIt+E86CW67rehqJEmqHsNKHbv0Uhg+HC64oOhKJEmqHsNKHevZM49fefTRoiuRJKl6\nDCt1bvPN8y3433ij6EokSaoOw0qd22effIblpJOKrkSSpOowrNS5jTaCr30NfvEL+Mc/iq5GkqSu\nZ1hpAD/4Qb6z7V57wbRpRVcjSVLXMqw0gNVWgz/9KT/o8IQTiq5GkqSuZVhpEIMGwXe+A5dcAg8+\nWHQ1kiR1HcNKAzn0UBgxIl8Omj276GokSeoahpUG0r8/3HADLFgA//EfRVcjSVLXMKw0mDXXhOOO\ng8sugxkziq5GkqTlZ1hpQAcdBP36wRFH5LMskiTVM8NKAxowAM4+O88QOuWUoquRJGn5GFYa1Pjx\n+QzLBRfAW28VXY0kScvOsNLAjjwSXn4ZPvaxoiuRJGnZGVYa2MiR+XLQHXfA9OlFVyNJ0rIxrDS4\nvfbKr3//e7F1SJK0rAwrDW7wYPjoR+GXvyy6EkmSlo1hpQkcfDDceSe8+mrRlUiS1HmGlSawyy6Q\nUh67IklSvTGsNIH11oM11oC77y66EkmSOs+w0gQiYOxYuOeeoiuRJKnzDCtNYtw4uO8+WLiw6Eok\nSeocw0qTGDsW3nwT7r+/6EokSeocw0qT2HZb2HTT/HBDz65IkuqJYaVJ9OmTnxP04IMwZgw8/nie\nISRJUq0zrDSRcePgr3+F+fNh+HA4+eSiK5Ik6YMZVprMLrvA7bfDwIFw5pkwbVrRFUmS1DHDShMa\nMgQeeQT694eDDvJykCSpthlWmtRaa8F558Ftt8FFFxVdjSRJ7TOsNLGPfQxaWuDrX/futpKk2lUX\nYSUijo+IxRXLYxVtToqIGRExPyJuioiNiqq3npx/fp7SfNRRTmmWJNWmuggrJY8AQ4ChpeWjrRsi\n4rvAN4FDgW2AN4EbI6JPAXXWlRVWgHPOyTeL+9GPiq5GkqQl1VNYWZhSmp1Seqm0vFK27VvAySml\n61JKjwDjgTWBfQuptM5stx1897tw0klwyy1FVyNJ0vvVU1jZOCJeiIhnIuKSiFgbICLWJ59pubm1\nYUppHnAvMK6YUuvPccfBjjvC5z8PM2cWXY0kSe+pl7ByD3AQsCdwGLA+8PeI6E8OKgmYVfGZWaVt\nWgr9+sHEidCzJ+y/P7z1VtEVSZKU1UVYSSndmFL6fUrpkZTSTcBewKrA5wouraGsvjr88Y8weTJ8\n4QsOuJUk1YZeRRewLFJKcyPiSWAj4G9AkAfflp9dGQI88EH7mjBhAgMHDnzfupaWFlpaWrqs3noy\ndixccQV8+tPw05/msSySpOY1ceJEJk6c+L51c+fO7dYaItXh7UsjYiXgOeDYlNLZETED+ElK6fTS\n9gHk4DI+pXRFO/sYBUyaNGkSo0aN6q7S68bhh8OvfgU33gi77VZ0NZKkWjJ58mRGjx4NMDqlNLna\nx6uLy0AR8ZOI2DEi1o2I7YCrgHeBy0pNzgB+EBH7RMRI4CLgeeDqYiqufz/9KYwaBd/4Btx7b9HV\nSJKaWV2EFWAt4HfA4+SAMhsYm1J6GSCldCpwFnAueRbQCsAnUkoLiim3/q2wAlx4Ibz7Lnz0o3DX\nXUVXJElqVnUxZiWl9IEDSFJKJwAnVL2YJrLZZvDkk7DDDrD33nDZZbDnnkVXJUlqNvVyZkUF6d0b\n/vxn2HZb+Nzn4Pbbi65IktRsDCv6QKuuCpdfDh/5COyxB/zpT0VXJElqJoYVLZUBA+Dqq2HECPjP\n//QeLJKk7mNY0VIbODA/9PDRR+GEE4quRpLULAwr6pSxY+G//gtOOSXfg0WSpGozrKjTjj4aPv5x\n2GcfOPlkePvtoiuSJDUyw4o6rUcP+MMfcmg5/nhYbz146qmiq5IkNSrDipZJv375ctBjj8GKK8JW\nW8HBB0MdPr1BklTjDCtaLptuCvfcA0ccAb/5DTz0UNEVSZIajWFFy23w4HyWZdAgmDABXnyx6Iok\nSY3EsKIu0acPXHUV3H8/DB8O3/sevPRS0VVJkhqBYUVdZocd4Jln4LOfhbPOgq239rKQJGn5GVbU\npQYPhgsugCeeyJeFdtkFbr656KokSfXMsKKqWGstuOkm2Ggj+Ld/y+FFkqRlYVhR1QwaBBddlJ8j\nNHw4HHVU0RVJkuqRYUVVtemm8PTTcOKJ8LOf5WcLLVpUdFWSpHpiWFHV9euXn9T8xS/m+7HsvTe8\n8krRVUmS6oVhRd2iZ0+45JI8juX++2H//b3brSRp6RhW1K123x1++1u49dZ8XxZJkj6IYUXdbq+9\nYI894POfh1NOgSuvzINwJUlqS6+iC1DziYDrroODDoLvfz+vW3dduOUW2GCDQkuTJNUgz6yoEH36\nwO9+B/Pnw9135/Er+++fbyDnWBZJUjnDigq1wgowdixcdlkOKbvvDiNGwJQpRVcmSaoVhhXVhHHj\nYPLkPFto4ULYdluYNavoqiRJtcCwopoRkc+s3H57vnHcnnvmmUOSpOZmWFHNGToUbrgh367/oIPg\nm9/MT3OWJDUnw4pq0g47wF//Cv/1X3k8y8Yb5wG48+YVXZkkqbsZVlSzIvLU5unT4dxz4cYb82Dc\nU0+FN98sujpJUncxrKjmrbACfO1rOaxssQUceyyMGQOXX+7N5CSpGRhWVDe22y5fErrnHvjwh/Md\ncFdfHQ47DJ59tujqJEnVYlhR3fnIR/J4lvvvz4NvL700B5nzzoPFi4uuTpLU1QwrqlujR8PJJ8OT\nT8JGG8Ghh8I++8ALLxRdmSSpKxlWVPfWWAPuuAMuuCBfIlp3XfjWt5w5JEmNwrCihnHwwfl+LMce\nm2cP7bwzPPJI0VVJkpaXYUUNZZVV4Pjj4dZb4Y03YORI2HprmDAhr5Mk1R/DihrSuHHw4IMwcSJs\nuCFceWW+lf9xx+XnD82dW3SFkqSlZVhRw1pxRTjwwDzdeepUGD8ezjoLPvaxPOX5O9+Bf/yj6Col\nSR/EsKKm0KsXXHghvPwyTJkCRx4J558P22wDX/kK3Hln0RVKktpjWFFT6dEDNt0UfvpTmD0735vl\n2mvhox/ThSPoAAAP20lEQVTNP0uSao9hRU2rZ0/46ldhzhz4xjfyfVp23TXfcM6by0lS7TCsqOn1\n6AFnn52fNfTYY7DHHjB0KOy7b1734otFVyhJzc2wIpGf8HzAATBjRp7i/PGPw7335ucPrbkmrL8+\nHHJInl308MOQUtEVS1Lz6FV0AVIt6dEj30xu553z+xkz4K678gDcv/wlD9KFfJfclhbYZRfYfnvo\n37+oiiWp8RlWpA6suSbsv39eIA/KffBBuOIK+PWv4Uc/yut33jmPd9lmGxgzBgYNKqxkSWo4hhWp\nE1ZfPY9p2WOPfEv/Rx6B22+Ha66B006D117L7TbcMF9K2nZbGD4cNt8c+vUrtnZJqleGFWkZReTb\n+Y8cCYcfnsexPP10vtHc3XfnKdFnn53b9u0LY8fmMzVDh763bLwxDBsGq66a9ydJWpJhReoiETl8\nbLwxfOEL+W65b7yRZxjdcgs89FCeWfTAA/m1/Jb//fvDWmvBiBGwxRbw4Q/DkCE5xPTrBxts4KUl\nSc3LsCJV0Uor5XEs22yz5Lb58+HJJ/Py/PMwfXo+K3PuuTBr1vtnHPXsCaNG5RDz4Q/nszlrrZXP\nzqy9Ngwe3H3fSZK6m2FFKsiKK8JWW+Wl0rvv5kcDvPoqvP56Phtz7735jMytt8IvfvH+G9etvnq+\nxLT66vkMTL9+OSituioMHAgf+lBeBg2CPn1ywBkwIF+eauVlKEm1yrAi1aDevd8b1wL5zMzXv/7e\n9gUL8sykWbPyQxoffTT/PHs2vPRS3v7qqzBvXr7c9PrrHR+vb98cZlZf/f3LKqu89/OAAUsuK6+c\nz/pIUjUZVqQ61KfPe5eERo2C/fbruP2CBflMzZw5+efp03OAeeedfLnp7bdz0Jk9O7d54YU8Rfu1\n1/K6d99tf9+rrZYvQ/Xrl0NP+etKK+Wlf/8cwHr1yj/375/X9+qVw84aa+QxOiutlAPQaqt5pkfS\nexourETEEcC3gaHAQ8CRKaV/FFuVWk2cOJGWlpaiy2gqrX2+xho5FACMHr30n1+8OAebefPyUv7z\n3Ln5TM7s2TnwvPNOXt5+G956K4eeN96AN9+EhQvzMn9+3sdbb7V/zN69cwDq2zffqC8iv/bokQNO\naxjq1y+Hm1VWyaGnZ8/cpmfPvI/W4NSnz5Kvre3bWlpD1LIuV189kQMOaGl3u0Gs6/l3S2NrqLAS\nEZ8HfgocCtwHTABujIhNUkpzCi1OgH+hFGF5+7xHjzzuZeDALiwKWLQoLwsX5rE4s2blIDN3bv55\n1qx8RmfRonz2p/V14cL3AtHbb+fQNHNm3r548Xv7fffdvH3BgvdCVOvP1TeRb3yj/T6P+ODA0xrO\nIt6/tLWvaq6rl2NOnTqRH/+4paG+Uy0f84MuLXe1hgor5HBybkrpIoCIOAzYGzgEOLXIwiS9X+sv\n5T598k30Ntywe47bGnhaQ03l0tG2pV1OPBGOOabzn1u4MAeu1tDV+nNKbT+Pqtrr6umYc+fmR19U\na//Ls64Rj9ndY9UaJqxERG9gNHBK67qUUoqIvwLjCitMUk2JyJeIeveu3jHOPRc+85nq7V9Leu65\n927CqOqbPBluuqn7jtdIT13+ENATmFWxfhZ5/IokSapDDXNmZRn0A5gyZUrRdTSVuXPnMnny5KLL\naCr2efezz7uffd69yn53dstTzyK1dXGqDpUuA80H9kspXVO2/jfAwJTSZyrafwG4tFuLlCSpsXwx\npfS7ah+kYc6spJTejYhJwG7ANQAREaX3Z7bxkRuBLwLTgLe7qUxJkhpBP2A98u/SqmuYMysAEfE5\n4DfAYbw3dXl/YNOU0uwCS5MkScuoYc6sAKSULo+IDwEnAUOAB4E9DSqSJNWvhjqzIkmSGk8jTV2W\nJEkNyLAiSZJqWtOGlYg4IiKmRsRbEXFPRGxddE31KCKOiYj7ImJeRMyKiKsiYpM22p0UETMiYn5E\n3BQRG1Vs7xsRZ0fEnIh4PSKujIjB3fdN6ldEfC8iFkfEaRXr7fMuFBFrRsTFpf6aHxEPRcSoijb2\neReJiB4RcXJEPFvqz6cj4gdttLPPl1FE7BAR10TEC6W/Qz7VRpvl7t+IWDUiLo2IuRHxakT8OiL6\nd6bWpgwrZQ88PB74CPnpzDeWBueqc3YAzgK2BXYHegN/iYgVWhtExHeBb5IfMLkN8Ca5v/uU7ecM\n8nOc9gN2BNYEft8dX6CelUL2oeQ/w+Xr7fMuFBGrAHcC7wB7AsOB/we8WtbGPu9a3wO+DhwObAoc\nDRwdEd9sbWCfL7f+5IkohwNLDGDtwv79Hfn/md1KbXcEzu1UpSmlpluAe4Cflb0P4Hng6KJrq/eF\n/NiDxcBHy9bNACaUvR8AvAV8ruz9O8BnytoMK+1nm6K/U60uwErAE8CuwK3AafZ51fr6R8BtH9DG\nPu/aPr8WOK9i3ZXARfZ5Vfp7MfCpinXL3b/kkLIY+EhZmz2BhcDQpa2v6c6slD3w8ObWdSn3ng88\n7BqrkBP6KwARsT752Uzl/T0PuJf3+nsMeRp9eZsngOfwv0lHzgauTSndUr7SPq+KfYD7I+Ly0uXO\nyRHx1daN9nlV3AXsFhEbA0TElsD2wPWl9/Z5FXVh/44FXk0pPVC2+7+Sf09su7T1NNR9VpZSRw88\nHNb95TSO0h2DzwDuSCk9Vlo9lPyHsqMHTA4BFpT+R2ivjcpExIHAVuS/LCrZ511vA+Ab5MvHPySf\nEj8zIt5JKV2MfV4NPyL/y/3xiFhEHrbw/ZTSZaXt9nl1dVX/DgVeKt+YUloUEa/Qif8GzRhWVD3n\nACPI//pRlUTEWuRQuHtK6d2i62kSPYD7UkrHlt4/FBGbk++WfXFxZTW0zwNfAA4EHiOH859FxIxS\nQFQTabrLQMAcYBE5EZYbAszs/nIaQ0T8HNgL2Dml9GLZppnkMUEd9fdMoE9EDOigjd4zGlgdmBwR\n70bEu8BOwLciYgH5XzX2edd6Eah8RPsUYJ3Sz/4573qnAj9KKV2RUno0pXQpcDpwTGm7fV5dXdW/\nM4HK2UE9gdXoxH+DpgsrpX+Jtj7wEHjfAw/vKqquelYKKp8GdkkpPVe+LaU0lfwHsry/B5CvVbb2\n9yTyYKvyNsPIvwjurmrx9emvwEjyvzS3LC33A5cAW6aUnsU+72p3suRl4mHAv8A/51WyIvkfluUW\nU/q9ZZ9XVxf2793AKhHxkbLd70YOQvd2pqCmW4DPAfOB8eQpcecCLwOrF11bvS3kSz+vkqcwDylb\n+pW1ObrUv/uQf8n+EXgK6FOxn6nAzuQzB3cCtxf9/eplYcnZQPZ51/bvGPKsh2OADcmXJ14HDrTP\nq9bnF5IHau4FrAt8hjz24RT7vMv6uD/5HztbkYPgUaX3a3dl/5IHRd8PbE0eJvAEcHGnai26swr8\nj3Q4MI08DetuYEzRNdXjUvoDvqiNZXxFuxPI0+Dmkx8pvlHF9r7k+7XMKf0SuAIYXPT3q5cFuKU8\nrNjnVenjvYB/lvrzUeCQNtrY513X3/2B00q/CN8s/ZI8Eehln3dZH+/Uzt/hF3Rl/5JniV4CzCX/\n4/Y8YMXO1OqDDCVJUk1rujErkiSpvhhWJElSTTOsSJKkmmZYkSRJNc2wIkmSapphRZIk1TTDiiRJ\nqmmGFUmSVNMMK5IkqaYZViR1mYiYGhH/XnQd1RIRX4mIV4uuQ2o2hhWpDkXEhRHxh7L3t0bEad14\n/PZ+aY8BftVddRTEZ5RI3cywIun/RETvpW1KG7+0U0ovp5Te7tqqGl9E9Cq6BqmWGVakOhcRF5Kf\nnvqtiFgcEYsiYp3Sts0j4vqIeD0iZkbERRExqOyzt0bEWRFxekTMBm4orZ8QEf+MiDci4rmIODsi\nVixt2wm4ABhYdrzjStvedxkoItaOiKtLx58bEf8bEYPLth8fEQ9ExJdKn30tIiZGRP8Ovu9XIuLV\niPhYRDxW2vefI2JIxfc6reJzV0XEBWXvp0bE9yPit6V9TIuIfSLiQxHxx9K6hyJidBs1fDoinoyI\ntyLihohYq43tk0rbn46I4yKiZ9n2xRFxWGvfAP/Z3veVZFiRGsG3gLvJj10fAqwBTI+IgcDNwCRg\nFLAnMBi4vOLz44F3gO2Aw0rrFgFHAiNK23cBTi1tuws4CphXdrz/qSwqIgK4hvx4+B2A3YENgMsq\nmm4IfBrYC9ibHLy+9wHfeUXg/wFfLO17nbZqWApHAbcDWwHXARcDvy29fgR4pvS+XH9yuPgSuc9W\nASa2boyIHUqfOR3YFPg68BWWDCTHA38ARpLDn6R2eOpRqnMppXkRsQCYn1Ka3bo+Ir4JTE4pHVu2\n7qvAcxGxUUrp6dLqp1JK36vY55llb5+LiGOBXwDfTCm9GxFzc7P3jteG3YHNgPVSSjNKxx8PPBoR\no1NKk1rLAr6SUppfanMxsBtwbBv7bNUL+HpKaVrpMz//gPbt+VNK6delfZwMHA7cl1L6fWndj4G7\nImJwSumlsmMfkVK6v9TmK8CUiBhTWncc8N8ppUtK7f9VOvN0KnBy2bEvTSlVBiFJbTCsSI1rS2DX\n0mWGcol8NqM1rEyq2E5E7E4+u7EpMID8d0XfiOjXiTEpmwLTW4MKQEppSkS8BgwvO+601qBS8iL5\nDFBH5rcGlU58pi0Pl9U2K58M4pGy7bPIYWow0BpWFrYGldLnnij7TveT+327iPhB2X56An0q+m+J\nfpfUNsOK1LhWIl+GOZr8C7fci2U/v1m+ISLWBa4FziZfuniFfKnl10AfoKsH0L5b8T7xwZeo2/pM\n+XdczJLfua3Bw5X7qVzXOoi4M5fMVyKfXflD5YaKoPdm5XZJbTOsSI1hAflf7+UmA58F/pVSWtyJ\nfY0GIqX07dYVEXHgUhyv0hRg7Yj4cErphdJ+RpDHeDzaiXqWxWzyWBpKx+0BbA7c0gX77lV2yYeI\nGEb+To+Vtk8GhqWUnu2CY0nCAbZSo5gGbBsR65bN9jkbWA24LCLGRMQGEbFnRFxQGvzanqeB3hHx\n7xGxfkR8mTxItPJ4K0XErhExKCJWqNxJSumv5Esql0bERyJiG/LA01tTSg8s17f9YLcAe0fEXqUw\n8QtyoOgKC4GzImKb0kyhC4G7ysbgnASML80AGhERm0bE50tjYiQtA8OK1Bj+hzyD5zHgpYhYJ6X0\nIrA9+f/zG4F/AqcBr6aUWi9vtHWvlH8C/0G+fPQw0ELF7JyU0t3AL4H/JY/l+E47+/sU8CpwG/AX\nchCqPEtTDReQg9Fvgb+RZ/VUnlVp6+ZuS7PuTeDHwO/IM4nmUfadUkp/AT4J7AHcR56pdRQ54HV0\nHEntiPf+zpIkSao9nlmRJEk1zbAiSZJqmmFFkiTVNMOKJEmqaYYVSZJU0wwrkiSpphlWJElSTTOs\nSJKkmmZYkSRJNc2wIkmSapphRZIk1bT/D6M1DnB+OIbpAAAAAElFTkSuQmCC\n",
      "text/plain": [
       "<matplotlib.figure.Figure at 0xbcb5588>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "%pylab inline\n",
    "plot(range(len(stoch_errors_by_iter)), stoch_errors_by_iter)\n",
    "xlabel('Iteration number')\n",
    "ylabel('MSE')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Посмотрим на вектор весов, к которому сошелся метод.**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 52,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "array([ 13.94233687,   3.68052398,   2.71826262,  -0.01486434])"
      ]
     },
     "execution_count": 52,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "stoch_grad_desc_weights"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Посмотрим на среднеквадратичную ошибку на последней итерации.**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 54,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "2.8539526285229653"
      ]
     },
     "execution_count": 54,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "stoch_errors_by_iter[-1]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Какова среднеквадратичная ошибка прогноза значений Sales в виде линейной модели с весами, найденными с помощью градиентного спуска? Запишите ответ в файл '4.txt'.**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "answer4 = # Ваш код здесь\n",
    "print(answer4)\n",
    "write_answer_to_file(answer4, '4.txt')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Ответами к заданию будут текстовые файлы, полученные в ходе этого решения. Обратите внимание, что отправленные файлы не должны содержать пустую строку в конце. Данный нюанс является ограничением платформы Coursera. Мы работаем над исправлением этого ограничения.**"
   ]
  }
 ],
 "metadata": {
  "anaconda-cloud": {},
  "kernelspec": {
   "display_name": "Python [default]",
   "language": "python",
   "name": "python2"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 2
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython2",
   "version": "2.7.12"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 0
}