t81_558_class_09_4_transfer_nlp.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<a href=\"https://colab.research.google.com/github/jeffheaton/t81_558_deep_learning/blob/master/t81_558_class_09_4_transfer_nlp.ipynb\" target=\"_parent\"><img src=\"https://colab.research.google.com/assets/colab-badge.svg\" alt=\"Open In Colab\"/></a>\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# T81-558: Applications of Deep Neural Networks\n",
    "**Module 9: Regularization: L1, L2 and Dropout**\n",
    "* Instructor: [Jeff Heaton](https://sites.wustl.edu/jeffheaton/), McKelvey School of Engineering, [Washington University in St. Louis](https://engineering.wustl.edu/Programs/Pages/default.aspx)\n",
    "* For more information visit the [class website](https://sites.wustl.edu/jeffheaton/t81-558/)."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Module 9 Material\n",
    "\n",
    "* Part 9.1: Introduction to Keras Transfer Learning [[Video]](https://www.youtube.com/watch?v=WLlP6S-Z8Xs&list=PLjy4p-07OYzulelvJ5KVaT2pDlxivl_BN) [[Notebook]](t81_558_class_09_1_keras_transfer.ipynb)\n",
    "* Part 9.2: Popular Pretrained Neural Networks for Keras [[Video]](https://www.youtube.com/watch?v=ctVA1_46YEE&list=PLjy4p-07OYzulelvJ5KVaT2pDlxivl_BN) [[Notebook]](t81_558_class_09_2_popular_transfer.ipynb)\n",
    "* Part 9.3: Transfer Learning for Computer Vision and Keras [[Video]](https://www.youtube.com/watch?v=61vMUm_XBMI&list=PLjy4p-07OYzulelvJ5KVaT2pDlxivl_BN) [[Notebook]](t81_558_class_09_3_transfer_cv.ipynb)\n",
    "* **Part 9.4: Transfer Learning for Languages and Keras** [[Video]](https://www.youtube.com/watch?v=ajmAAg9FxXA&list=PLjy4p-07OYzulelvJ5KVaT2pDlxivl_BN) [[Notebook]](t81_558_class_09_4_transfer_nlp.ipynb)\n",
    "* Part 9.5: Transfer Learning for Keras Feature Engineering [[Video]](https://www.youtube.com/watch?v=Dttxsm8zpL8&list=PLjy4p-07OYzulelvJ5KVaT2pDlxivl_BN) [[Notebook]](t81_558_class_09_5_transfer_feature_eng.ipynb)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Google CoLab Instructions\n",
    "\n",
    "The following code ensures that Google CoLab is running the correct version of TensorFlow."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Note: not using Google CoLab\n"
     ]
    }
   ],
   "source": [
    "try:\n",
    "    %tensorflow_version 2.x\n",
    "    COLAB = True\n",
    "    print(\"Note: using Google CoLab\")\n",
    "except:\n",
    "    print(\"Note: not using Google CoLab\")\n",
    "    COLAB = False"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Part 9.4: Transfer Learning for Languages and Keras\n",
    "\n",
    "Transfer learning is commonly used with Natural Language Processing (NLP).  This course has an entire module that covers NLP.  However, for now we will look how a NLP network can be loaded into Keras for transfer learning.  The following three sources were helpful for the creation of this section.\n",
    "\n",
    "* Cer, D., Yang, Y., Kong, S. Y., Hua, N., Limtiaco, N., John, R. S., ... & Sung, Y. H. (2018). [Universal sentence encoder](https://arxiv.org/abs/1803.11175). arXiv preprint arXiv:1803.11175.\n",
    "* [Deep Transfer Learning for Natural Language Processing: Text Classification with Universal Embeddings](https://towardsdatascience.com/deep-transfer-learning-for-natural-language-processing-text-classification-with-universal-1a2c69e5baa9)\n",
    "* [Keras Tutorial: How to Use Google's Universal Sentence Encoder for Spam Classification](http://hunterheidenreich.com/blog/google-universal-sentence-encoder-in-keras/)\n",
    "\n",
    "These examples make use of TensorFlow Hub, which allows pretrained models to easily be loaded into TensorFlow.  To install TensorHub use the following command."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Collecting tensorflow_hub\n",
      "  Using cached https://files.pythonhosted.org/packages/00/0e/a91780d07592b1abf9c91344ce459472cc19db3b67fdf3a61dca6ebb2f5c/tensorflow_hub-0.7.0-py2.py3-none-any.whl\n",
      "Requirement already satisfied: six>=1.10.0 in c:\\users\\jheaton\\miniconda3\\envs\\tensorflow\\lib\\site-packages (from tensorflow_hub) (1.13.0)\n",
      "Requirement already satisfied: protobuf>=3.4.0 in c:\\users\\jheaton\\miniconda3\\envs\\tensorflow\\lib\\site-packages (from tensorflow_hub) (3.11.2)\n",
      "Requirement already satisfied: numpy>=1.12.0 in c:\\users\\jheaton\\miniconda3\\envs\\tensorflow\\lib\\site-packages (from tensorflow_hub) (1.17.4)\n",
      "Requirement already satisfied: setuptools in c:\\users\\jheaton\\miniconda3\\envs\\tensorflow\\lib\\site-packages (from protobuf>=3.4.0->tensorflow_hub) (42.0.2.post20191203)\n",
      "Installing collected packages: tensorflow-hub\n",
      "Successfully installed tensorflow-hub-0.7.0\n"
     ]
    }
   ],
   "source": [
    "!pip install tensorflow_hub"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "It is also necessary to install TensorFlow Datasets.  This can be done with the following command."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Collecting tensorflow_datasets\n",
      "  Using cached https://files.pythonhosted.org/packages/8b/2e/77823b3754af2eb2ca6f3676f91741fafa44bc653cfafc267c70afd7355f/tensorflow_datasets-1.3.2-py3-none-any.whl\n",
      "Requirement already satisfied: tqdm in c:\\users\\jheaton\\miniconda3\\envs\\tensorflow\\lib\\site-packages (from tensorflow_datasets) (4.40.2)\n",
      "Requirement already satisfied: future in c:\\users\\jheaton\\miniconda3\\envs\\tensorflow\\lib\\site-packages (from tensorflow_datasets) (0.18.2)\n",
      "Requirement already satisfied: attrs in c:\\users\\jheaton\\miniconda3\\envs\\tensorflow\\lib\\site-packages (from tensorflow_datasets) (19.3.0)\n",
      "Collecting tensorflow-metadata\n",
      "  Using cached https://files.pythonhosted.org/packages/3b/0c/afb81ea6998f6e26521671585d1cd9d3f7945a8b9834764e91757453dc25/tensorflow_metadata-0.15.2-py2.py3-none-any.whl\n",
      "Collecting promise\n",
      "  Using cached https://files.pythonhosted.org/packages/cf/9c/fb5d48abfe5d791cd496e4242ebcf87a4bb2e0c3dcd6e0ae68c11426a528/promise-2.3.tar.gz\n",
      "Requirement already satisfied: termcolor in c:\\users\\jheaton\\miniconda3\\envs\\tensorflow\\lib\\site-packages (from tensorflow_datasets) (1.1.0)\n",
      "Requirement already satisfied: wrapt in c:\\users\\jheaton\\miniconda3\\envs\\tensorflow\\lib\\site-packages (from tensorflow_datasets) (1.11.2)\n",
      "Requirement already satisfied: absl-py in c:\\users\\jheaton\\miniconda3\\envs\\tensorflow\\lib\\site-packages (from tensorflow_datasets) (0.8.1)\n",
      "Requirement already satisfied: protobuf>=3.6.1 in c:\\users\\jheaton\\miniconda3\\envs\\tensorflow\\lib\\site-packages (from tensorflow_datasets) (3.11.2)\n",
      "Requirement already satisfied: six in c:\\users\\jheaton\\miniconda3\\envs\\tensorflow\\lib\\site-packages (from tensorflow_datasets) (1.13.0)\n",
      "Requirement already satisfied: numpy in c:\\users\\jheaton\\miniconda3\\envs\\tensorflow\\lib\\site-packages (from tensorflow_datasets) (1.17.4)\n",
      "Requirement already satisfied: requests>=2.19.0 in c:\\users\\jheaton\\miniconda3\\envs\\tensorflow\\lib\\site-packages (from tensorflow_datasets) (2.22.0)\n",
      "Collecting dill\n",
      "  Using cached https://files.pythonhosted.org/packages/c7/11/345f3173809cea7f1a193bfbf02403fff250a3360e0e118a1630985e547d/dill-0.3.1.1.tar.gz\n",
      "Collecting googleapis-common-protos\n",
      "  Using cached https://files.pythonhosted.org/packages/eb/ee/e59e74ecac678a14d6abefb9054f0bbcb318a6452a30df3776f133886d7d/googleapis-common-protos-1.6.0.tar.gz\n",
      "Requirement already satisfied: setuptools in c:\\users\\jheaton\\miniconda3\\envs\\tensorflow\\lib\\site-packages (from protobuf>=3.6.1->tensorflow_datasets) (42.0.2.post20191203)\n",
      "Requirement already satisfied: certifi>=2017.4.17 in c:\\users\\jheaton\\miniconda3\\envs\\tensorflow\\lib\\site-packages (from requests>=2.19.0->tensorflow_datasets) (2019.11.28)\n",
      "Requirement already satisfied: chardet<3.1.0,>=3.0.2 in c:\\users\\jheaton\\miniconda3\\envs\\tensorflow\\lib\\site-packages (from requests>=2.19.0->tensorflow_datasets) (3.0.4)\n",
      "Requirement already satisfied: urllib3!=1.25.0,!=1.25.1,<1.26,>=1.21.1 in c:\\users\\jheaton\\miniconda3\\envs\\tensorflow\\lib\\site-packages (from requests>=2.19.0->tensorflow_datasets) (1.24.3)\n",
      "Requirement already satisfied: idna<2.9,>=2.5 in c:\\users\\jheaton\\miniconda3\\envs\\tensorflow\\lib\\site-packages (from requests>=2.19.0->tensorflow_datasets) (2.8)\n",
      "Building wheels for collected packages: promise, dill, googleapis-common-protos\n",
      "  Building wheel for promise (setup.py): started\n",
      "  Building wheel for promise (setup.py): finished with status 'done'\n",
      "  Created wheel for promise: filename=promise-2.3-cp37-none-any.whl size=21500 sha256=45ca497494456f4971c99c6b3e5e4df9410bf5a2f634e93b02b6771ba9475c20\n",
      "  Stored in directory: C:\\Users\\jheaton\\AppData\\Local\\pip\\Cache\\wheels\\19\\49\\34\\c3c1e78bcb954c49e5ec0d31784fe63d14d427f316b12fbde9\n",
      "  Building wheel for dill (setup.py): started\n",
      "  Building wheel for dill (setup.py): finished with status 'done'\n",
      "  Created wheel for dill: filename=dill-0.3.1.1-cp37-none-any.whl size=78598 sha256=c65010bd933b8ee5e37109931467dad265b5053f88d714bb4aab373a2755e78b\n",
      "  Stored in directory: C:\\Users\\jheaton\\AppData\\Local\\pip\\Cache\\wheels\\59\\b1\\91\\f02e76c732915c4015ab4010f3015469866c1eb9b14058d8e7\n",
      "  Building wheel for googleapis-common-protos (setup.py): started\n",
      "  Building wheel for googleapis-common-protos (setup.py): finished with status 'done'\n",
      "  Created wheel for googleapis-common-protos: filename=googleapis_common_protos-1.6.0-cp37-none-any.whl size=77585 sha256=a6964bed5912b68bd2b1887a9c8d8b637a49af9aa029c23ebbae36905fafee92\n",
      "  Stored in directory: C:\\Users\\jheaton\\AppData\\Local\\pip\\Cache\\wheels\\9e\\3d\\a2\\1bec8bb7db80ab3216dbc33092bb7ccd0debfb8ba42b5668d5\n",
      "Successfully built promise dill googleapis-common-protos\n",
      "Installing collected packages: googleapis-common-protos, tensorflow-metadata, promise, dill, tensorflow-datasets\n",
      "Successfully installed dill-0.3.1.1 googleapis-common-protos-1.6.0 promise-2.3 tensorflow-datasets-1.3.2 tensorflow-metadata-0.15.2\n"
     ]
    }
   ],
   "source": [
    "!pip install tensorflow_datasets"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "https://colab.research.google.com/github/tensorflow/hub/blob/master/examples/colab/tf2_text_classification.ipynb#scrollTo=2ew7HTbPpCJH"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Load the Internet Movie DataBase (IMDB) reviews data set."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\u001b[1mDownloading and preparing dataset imdb_reviews (80.23 MiB) to C:\\Users\\jheaton\\tensorflow_datasets\\imdb_reviews\\plain_text\\0.1.0...\u001b[0m\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "af9747b784964b53a2cae554459b2b8f",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=1.0, bar_style='info', description='Dl Completed...', max=1.0, style=Progre…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "00035264f9ed4a5cbf20c4d6ed473194",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=1.0, bar_style='info', description='Dl Size...', max=1.0, style=ProgressSty…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\n",
      "\n",
      "\n",
      "\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=1.0, bar_style='info', max=1.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\r"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=0.0, description='Shuffling...', max=10.0, style=ProgressStyle(description_…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "WARNING:tensorflow:From C:\\Users\\jheaton\\Miniconda3\\envs\\tensorflow\\lib\\site-packages\\tensorflow_datasets\\core\\file_format_adapter.py:209: tf_record_iterator (from tensorflow.python.lib.io.tf_record) is deprecated and will be removed in a future version.\n",
      "Instructions for updating:\n",
      "Use eager execution and: \n",
      "`tf.data.TFRecordDataset(path)`\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "WARNING:tensorflow:From C:\\Users\\jheaton\\Miniconda3\\envs\\tensorflow\\lib\\site-packages\\tensorflow_datasets\\core\\file_format_adapter.py:209: tf_record_iterator (from tensorflow.python.lib.io.tf_record) is deprecated and will be removed in a future version.\n",
      "Instructions for updating:\n",
      "Use eager execution and: \n",
      "`tf.data.TFRecordDataset(path)`\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=1.0, bar_style='info', description='Reading...', max=1.0, style=ProgressSty…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=0.0, description='Writing...', max=2500.0, style=ProgressStyle(description_…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=1.0, bar_style='info', description='Reading...', max=1.0, style=ProgressSty…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=0.0, description='Writing...', max=2500.0, style=ProgressStyle(description_…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=1.0, bar_style='info', description='Reading...', max=1.0, style=ProgressSty…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=0.0, description='Writing...', max=2500.0, style=ProgressStyle(description_…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=1.0, bar_style='info', description='Reading...', max=1.0, style=ProgressSty…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=0.0, description='Writing...', max=2500.0, style=ProgressStyle(description_…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=1.0, bar_style='info', description='Reading...', max=1.0, style=ProgressSty…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=0.0, description='Writing...', max=2500.0, style=ProgressStyle(description_…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=1.0, bar_style='info', description='Reading...', max=1.0, style=ProgressSty…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=0.0, description='Writing...', max=2500.0, style=ProgressStyle(description_…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=1.0, bar_style='info', description='Reading...', max=1.0, style=ProgressSty…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=0.0, description='Writing...', max=2500.0, style=ProgressStyle(description_…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=1.0, bar_style='info', description='Reading...', max=1.0, style=ProgressSty…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=0.0, description='Writing...', max=2500.0, style=ProgressStyle(description_…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=1.0, bar_style='info', description='Reading...', max=1.0, style=ProgressSty…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=0.0, description='Writing...', max=2500.0, style=ProgressStyle(description_…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=1.0, bar_style='info', description='Reading...', max=1.0, style=ProgressSty…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=0.0, description='Writing...', max=2500.0, style=ProgressStyle(description_…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\r"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=1.0, bar_style='info', max=1.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\r"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=0.0, description='Shuffling...', max=10.0, style=ProgressStyle(description_…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=1.0, bar_style='info', description='Reading...', max=1.0, style=ProgressSty…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=0.0, description='Writing...', max=2500.0, style=ProgressStyle(description_…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=1.0, bar_style='info', description='Reading...', max=1.0, style=ProgressSty…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=0.0, description='Writing...', max=2500.0, style=ProgressStyle(description_…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=1.0, bar_style='info', description='Reading...', max=1.0, style=ProgressSty…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=0.0, description='Writing...', max=2500.0, style=ProgressStyle(description_…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=1.0, bar_style='info', description='Reading...', max=1.0, style=ProgressSty…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=0.0, description='Writing...', max=2500.0, style=ProgressStyle(description_…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=1.0, bar_style='info', description='Reading...', max=1.0, style=ProgressSty…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=0.0, description='Writing...', max=2500.0, style=ProgressStyle(description_…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=1.0, bar_style='info', description='Reading...', max=1.0, style=ProgressSty…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=0.0, description='Writing...', max=2500.0, style=ProgressStyle(description_…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=1.0, bar_style='info', description='Reading...', max=1.0, style=ProgressSty…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=0.0, description='Writing...', max=2500.0, style=ProgressStyle(description_…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=1.0, bar_style='info', description='Reading...', max=1.0, style=ProgressSty…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=0.0, description='Writing...', max=2500.0, style=ProgressStyle(description_…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=1.0, bar_style='info', description='Reading...', max=1.0, style=ProgressSty…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=0.0, description='Writing...', max=2500.0, style=ProgressStyle(description_…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=1.0, bar_style='info', description='Reading...', max=1.0, style=ProgressSty…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=0.0, description='Writing...', max=2500.0, style=ProgressStyle(description_…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\r"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=1.0, bar_style='info', max=1.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\r"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=0.0, description='Shuffling...', max=20.0, style=ProgressStyle(description_…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=1.0, bar_style='info', description='Reading...', max=1.0, style=ProgressSty…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=0.0, description='Writing...', max=2500.0, style=ProgressStyle(description_…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=1.0, bar_style='info', description='Reading...', max=1.0, style=ProgressSty…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=0.0, description='Writing...', max=2500.0, style=ProgressStyle(description_…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=1.0, bar_style='info', description='Reading...', max=1.0, style=ProgressSty…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=0.0, description='Writing...', max=2500.0, style=ProgressStyle(description_…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=1.0, bar_style='info', description='Reading...', max=1.0, style=ProgressSty…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=0.0, description='Writing...', max=2500.0, style=ProgressStyle(description_…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=1.0, bar_style='info', description='Reading...', max=1.0, style=ProgressSty…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=0.0, description='Writing...', max=2500.0, style=ProgressStyle(description_…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=1.0, bar_style='info', description='Reading...', max=1.0, style=ProgressSty…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=0.0, description='Writing...', max=2500.0, style=ProgressStyle(description_…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=1.0, bar_style='info', description='Reading...', max=1.0, style=ProgressSty…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=0.0, description='Writing...', max=2500.0, style=ProgressStyle(description_…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=1.0, bar_style='info', description='Reading...', max=1.0, style=ProgressSty…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=0.0, description='Writing...', max=2500.0, style=ProgressStyle(description_…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=1.0, bar_style='info', description='Reading...', max=1.0, style=ProgressSty…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=0.0, description='Writing...', max=2500.0, style=ProgressStyle(description_…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=1.0, bar_style='info', description='Reading...', max=1.0, style=ProgressSty…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=0.0, description='Writing...', max=2500.0, style=ProgressStyle(description_…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=1.0, bar_style='info', description='Reading...', max=1.0, style=ProgressSty…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=0.0, description='Writing...', max=2500.0, style=ProgressStyle(description_…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=1.0, bar_style='info', description='Reading...', max=1.0, style=ProgressSty…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=0.0, description='Writing...', max=2500.0, style=ProgressStyle(description_…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=1.0, bar_style='info', description='Reading...', max=1.0, style=ProgressSty…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=0.0, description='Writing...', max=2500.0, style=ProgressStyle(description_…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=1.0, bar_style='info', description='Reading...', max=1.0, style=ProgressSty…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=0.0, description='Writing...', max=2500.0, style=ProgressStyle(description_…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=1.0, bar_style='info', description='Reading...', max=1.0, style=ProgressSty…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=0.0, description='Writing...', max=2500.0, style=ProgressStyle(description_…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=1.0, bar_style='info', description='Reading...', max=1.0, style=ProgressSty…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=0.0, description='Writing...', max=2500.0, style=ProgressStyle(description_…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=1.0, bar_style='info', description='Reading...', max=1.0, style=ProgressSty…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=0.0, description='Writing...', max=2500.0, style=ProgressStyle(description_…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=1.0, bar_style='info', description='Reading...', max=1.0, style=ProgressSty…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=0.0, description='Writing...', max=2500.0, style=ProgressStyle(description_…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=1.0, bar_style='info', description='Reading...', max=1.0, style=ProgressSty…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=0.0, description='Writing...', max=2500.0, style=ProgressStyle(description_…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=1.0, bar_style='info', description='Reading...', max=1.0, style=ProgressSty…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(FloatProgress(value=0.0, description='Writing...', max=2500.0, style=ProgressStyle(description_…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\u001b[1mDataset imdb_reviews downloaded and prepared to C:\\Users\\jheaton\\tensorflow_datasets\\imdb_reviews\\plain_text\\0.1.0. Subsequent calls will reuse this data.\u001b[0m\n"
     ]
    }
   ],
   "source": [
    "import tensorflow as tf\n",
    "import tensorflow_hub as hub\n",
    "import tensorflow_datasets as tfds\n",
    "\n",
    "train_data, test_data = tfds.load(name=\"imdb_reviews\", split=[\"train\", \"test\"], \n",
    "                                  batch_size=-1, as_supervised=True)\n",
    "\n",
    "train_examples, train_labels = tfds.as_numpy(train_data)\n",
    "test_examples, test_labels = tfds.as_numpy(test_data)\n",
    "\n",
    "# /Users/jheaton/tensorflow_datasets/imdb_reviews/plain_text/0.1.0"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Load a pretrained embedding model called [gnews-swivel-20dim](https://tfhub.dev/google/tf2-preview/gnews-swivel-20dim/1).  This was trained by Google on gnews data and can convert RAW text into vectors.  "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [],
   "source": [
    "model = \"https://tfhub.dev/google/tf2-preview/gnews-swivel-20dim/1\"\n",
    "hub_layer = hub.KerasLayer(model, output_shape=[20], input_shape=[], \n",
    "                           dtype=tf.string, trainable=True)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Consider the following 3 movie reviews."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "array([b\"As a lifelong fan of Dickens, I have invariably been disappointed by adaptations of his novels.<br /><br />Although his works presented an extremely accurate re-telling of human life at every level in Victorian Britain, throughout them all was a pervasive thread of humour that could be both playful or sarcastic as the narrative dictated. In a way, he was a literary caricaturist and cartoonist. He could be serious and hilarious in the same sentence. He pricked pride, lampooned arrogance, celebrated modesty, and empathised with loneliness and poverty. It may be a clich\\xc3\\xa9, but he was a people's writer.<br /><br />And it is the comedy that is so often missing from his interpretations. At the time of writing, Oliver Twist is being dramatised in serial form on BBC television. All of the misery and cruelty is their, but non of the humour, irony, and savage lampoonery. The result is just a dark, dismal experience: the story penned by a journalist rather than a novelist. It's not really Dickens at all.<br /><br />'Oliver!', on the other hand, is much closer to the mark. The mockery of officialdom is perfectly interpreted, from the blustering beadle to the drunken magistrate. The classic stand-off between the beadle and Mr Brownlow, in which the law is described as 'a ass, a idiot' couldn't have been better done. Harry Secombe is an ideal choice.<br /><br />But the blinding cruelty is also there, the callous indifference of the state, the cold, hunger, poverty and loneliness are all presented just as surely as The Master would have wished.<br /><br />And then there is crime. Ron Moody is a treasure as the sleazy Jewish fence, whilst Oliver Reid has Bill Sykes to perfection.<br /><br />Perhaps not surprisingly, Lionel Bart - himself a Jew from London's east-end - takes a liberty with Fagin by re-interpreting him as a much more benign fellow than was Dicken's original. In the novel, he was utterly ruthless, sending some of his own boys to the gallows in order to protect himself (though he was also caught and hanged). Whereas in the movie, he is presented as something of a wayward father-figure, a sort of charitable thief rather than a corrupter of children, the latter being a long-standing anti-semitic sentiment. Otherwise, very few liberties are taken with Dickens's original. All of the most memorable elements are included. Just enough menace and violence is retained to ensure narrative fidelity whilst at the same time allowing for children' sensibilities. Nancy is still beaten to death, Bullseye narrowly escapes drowning, and Bill Sykes gets a faithfully graphic come-uppance.<br /><br />Every song is excellent, though they do incline towards schmaltz. Mark Lester mimes his wonderfully. Both his and my favourite scene is the one in which the world comes alive to 'who will buy'. It's schmaltzy, but it's Dickens through and through.<br /><br />I could go on. I could commend the wonderful set-pieces, the contrast of the rich and poor. There is top-quality acting from more British regulars than you could shake a stick at.<br /><br />I ought to give it 10 points, but I'm feeling more like Scrooge today. Soak it up with your Christmas dinner. No original has been better realised.\",\n",
       "       b\"Oh yeah! Jenna Jameson did it again! Yeah Baby! This movie rocks. It was one of the 1st movies i saw of her. And i have to say i feel in love with her, she was great in this move.<br /><br />Her performance was outstanding and what i liked the most was the scenery and the wardrobe it was amazing you can tell that they put a lot into the movie the girls cloth were amazing.<br /><br />I hope this comment helps and u can buy the movie, the storyline is awesome is very unique and i'm sure u are going to like it. Jenna amazed us once more and no wonder the movie won so many awards. Her make-up and wardrobe is very very sexy and the girls on girls scene is amazing. specially the one where she looks like an angel. It's a must see and i hope u share my interests\",\n",
       "       b\"I saw this film on True Movies (which automatically made me sceptical) but actually - it was good. Why? Not because of the amazing plot twists or breathtaking dialogue (of which there is little) but because actually, despite what people say I thought the film was accurate in it's depiction of teenagers dealing with pregnancy.<br /><br />It's NOT Dawson's Creek, they're not graceful, cool witty characters who breeze through sexuality with effortless knowledge. They're kids and they act like kids would. <br /><br />They're blunt, awkward and annoyingly confused about everything. Yes, this could be by accident and they could just be bad actors but I don't think so. Dermot Mulroney gives (when not trying to be cool) a very believable performance and I loved him for it. Patricia Arquette IS whiny and annoying, but she was pregnant and a teenagers? The combination of the two isn't exactly lavender on your pillow. The plot was VERY predictable and but so what? I believed them, his stress and inability to cope - her brave, yet slightly misguided attempts to bring them closer together. I think the characters, acted by anyone else, WOULD indeed have been annoying and unbelievable but they weren't. It reflects the surreality of the situation they're in, that he's sitting in class and she walks on campus with the baby. I felt angry at her for that, I felt angry at him for being such a child and for blaming her. I felt it all.<br /><br />In the end, I loved it and would recommend it.<br /><br />Watch out for the scene where Dermot Mulroney runs from the disastrous counselling session - career performance.\"],\n",
       "      dtype=object)"
      ]
     },
     "execution_count": 6,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "train_examples[:3]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "The embedding layer can convert each to 20-number vectors."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "<tf.Tensor: id=305, shape=(3, 20), dtype=float32, numpy=\n",
       "array([[ 3.9819887 , -4.4838037 ,  5.177359  , -2.3643482 , -3.2938678 ,\n",
       "        -3.5364532 , -2.4786978 ,  2.5525482 ,  6.688532  , -2.3076782 ,\n",
       "        -1.9807833 ,  1.1315885 , -3.0339816 , -0.7604128 , -5.743445  ,\n",
       "         3.4242578 ,  4.790099  , -4.03061   , -5.992149  , -1.7297493 ],\n",
       "       [ 3.4232912 , -4.230874  ,  4.1488533 , -0.29553518, -6.802391  ,\n",
       "        -2.5163853 , -4.4002395 ,  1.905792  ,  4.7512794 , -0.40538004,\n",
       "        -4.3401685 ,  1.0361497 ,  0.9744097 ,  0.71507156, -6.2657013 ,\n",
       "         0.16533905,  4.560262  , -1.3106939 , -3.1121316 , -2.1338716 ],\n",
       "       [ 3.8508697 , -5.003031  ,  4.8700504 , -0.04324996, -5.893603  ,\n",
       "        -5.2983093 , -4.004676  ,  4.1236343 ,  6.267754  ,  0.11632943,\n",
       "        -3.5934832 ,  0.8023905 ,  0.56146765,  0.9192484 , -7.3066816 ,\n",
       "         2.8202746 ,  6.2000837 , -3.5709393 , -4.564525  , -2.305622  ]],\n",
       "      dtype=float32)>"
      ]
     },
     "execution_count": 7,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "hub_layer(train_examples[:3])"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "We add addition layers to attempt to classify the movie reviews as either positive or negative."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Model: \"sequential\"\n",
      "_________________________________________________________________\n",
      "Layer (type)                 Output Shape              Param #   \n",
      "=================================================================\n",
      "keras_layer (KerasLayer)     (None, 20)                400020    \n",
      "_________________________________________________________________\n",
      "dense (Dense)                (None, 16)                336       \n",
      "_________________________________________________________________\n",
      "dense_1 (Dense)              (None, 1)                 17        \n",
      "=================================================================\n",
      "Total params: 400,373\n",
      "Trainable params: 400,373\n",
      "Non-trainable params: 0\n",
      "_________________________________________________________________\n"
     ]
    }
   ],
   "source": [
    "model = tf.keras.Sequential()\n",
    "model.add(hub_layer)\n",
    "model.add(tf.keras.layers.Dense(16, activation='relu'))\n",
    "model.add(tf.keras.layers.Dense(1, activation='sigmoid'))\n",
    "\n",
    "model.summary()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Compile the neural network."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [],
   "source": [
    "model.compile(optimizer='adam',\n",
    "              loss='binary_crossentropy',\n",
    "              metrics=['accuracy'])"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Split and train the neural network."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [],
   "source": [
    "x_val = train_examples[:10000]\n",
    "partial_x_train = train_examples[10000:]\n",
    "\n",
    "y_val = train_labels[:10000]\n",
    "partial_y_train = train_labels[10000:]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Train on 15000 samples, validate on 10000 samples\n",
      "Epoch 1/40\n",
      "15000/15000 [==============================] - 6s 379us/sample - loss: 0.6585 - accuracy: 0.6415 - val_loss: 0.6056 - val_accuracy: 0.6739\n",
      "Epoch 2/40\n",
      "15000/15000 [==============================] - 4s 272us/sample - loss: 0.5759 - accuracy: 0.7069 - val_loss: 0.5587 - val_accuracy: 0.7135\n",
      "Epoch 3/40\n",
      "15000/15000 [==============================] - 4s 266us/sample - loss: 0.5284 - accuracy: 0.7452 - val_loss: 0.5209 - val_accuracy: 0.7444\n",
      "Epoch 4/40\n",
      "15000/15000 [==============================] - 4s 267us/sample - loss: 0.4847 - accuracy: 0.7751 - val_loss: 0.4853 - val_accuracy: 0.7706oss: 0.4852 - accuracy: 0.77\n",
      "Epoch 5/40\n",
      "15000/15000 [==============================] - 4s 264us/sample - loss: 0.4425 - accuracy: 0.8038 - val_loss: 0.4547 - val_accuracy: 0.7879\n",
      "Epoch 6/40\n",
      "15000/15000 [==============================] - 4s 257us/sample - loss: 0.4033 - accuracy: 0.8279 - val_loss: 0.4214 - val_accuracy: 0.8090\n",
      "Epoch 7/40\n",
      "15000/15000 [==============================] - 4s 262us/sample - loss: 0.3679 - accuracy: 0.8496 - val_loss: 0.3983 - val_accuracy: 0.8191\n",
      "Epoch 8/40\n",
      "15000/15000 [==============================] - 4s 260us/sample - loss: 0.3387 - accuracy: 0.8635 - val_loss: 0.3757 - val_accuracy: 0.8323\n",
      "Epoch 9/40\n",
      "15000/15000 [==============================] - 4s 264us/sample - loss: 0.3111 - accuracy: 0.8779 - val_loss: 0.3649 - val_accuracy: 0.8371\n",
      "Epoch 10/40\n",
      "15000/15000 [==============================] - 4s 261us/sample - loss: 0.2890 - accuracy: 0.8879 - val_loss: 0.3502 - val_accuracy: 0.8466\n",
      "Epoch 11/40\n",
      "15000/15000 [==============================] - 4s 268us/sample - loss: 0.2658 - accuracy: 0.9000 - val_loss: 0.3353 - val_accuracy: 0.8539\n",
      "Epoch 12/40\n",
      "15000/15000 [==============================] - 4s 266us/sample - loss: 0.2462 - accuracy: 0.9089 - val_loss: 0.3265 - val_accuracy: 0.8594\n",
      "Epoch 13/40\n",
      "15000/15000 [==============================] - 4s 266us/sample - loss: 0.2300 - accuracy: 0.9163 - val_loss: 0.3196 - val_accuracy: 0.8638\n",
      "Epoch 14/40\n",
      "15000/15000 [==============================] - 4s 261us/sample - loss: 0.2146 - accuracy: 0.9235 - val_loss: 0.3143 - val_accuracy: 0.8657\n",
      "Epoch 15/40\n",
      "15000/15000 [==============================] - 4s 270us/sample - loss: 0.1997 - accuracy: 0.9303 - val_loss: 0.3104 - val_accuracy: 0.8697\n",
      "Epoch 16/40\n",
      "15000/15000 [==============================] - 4s 265us/sample - loss: 0.1866 - accuracy: 0.9359 - val_loss: 0.3097 - val_accuracy: 0.8686\n",
      "Epoch 17/40\n",
      "15000/15000 [==============================] - 4s 269us/sample - loss: 0.1750 - accuracy: 0.9407 - val_loss: 0.3060 - val_accuracy: 0.8732\n",
      "Epoch 18/40\n",
      "15000/15000 [==============================] - 4s 277us/sample - loss: 0.1674 - accuracy: 0.9443 - val_loss: 0.3050 - val_accuracy: 0.8744\n",
      "Epoch 19/40\n",
      "15000/15000 [==============================] - 4s 265us/sample - loss: 0.1537 - accuracy: 0.9492 - val_loss: 0.3069 - val_accuracy: 0.8718\n",
      "Epoch 20/40\n",
      "15000/15000 [==============================] - 4s 269us/sample - loss: 0.1445 - accuracy: 0.9533 - val_loss: 0.3108 - val_accuracy: 0.8711\n",
      "Epoch 21/40\n",
      "15000/15000 [==============================] - 4s 259us/sample - loss: 0.1355 - accuracy: 0.9573 - val_loss: 0.3066 - val_accuracy: 0.8757\n",
      "Epoch 22/40\n",
      "15000/15000 [==============================] - 4s 262us/sample - loss: 0.1262 - accuracy: 0.9611 - val_loss: 0.3087 - val_accuracy: 0.8759\n",
      "Epoch 23/40\n",
      "15000/15000 [==============================] - 4s 265us/sample - loss: 0.1185 - accuracy: 0.9655 - val_loss: 0.3112 - val_accuracy: 0.8765\n",
      "Epoch 24/40\n",
      "15000/15000 [==============================] - 4s 267us/sample - loss: 0.1108 - accuracy: 0.9688 - val_loss: 0.3140 - val_accuracy: 0.8758\n",
      "Epoch 25/40\n",
      "15000/15000 [==============================] - 4s 265us/sample - loss: 0.1038 - accuracy: 0.9731 - val_loss: 0.3174 - val_accuracy: 0.8748\n",
      "Epoch 26/40\n",
      "15000/15000 [==============================] - 4s 264us/sample - loss: 0.0970 - accuracy: 0.9755 - val_loss: 0.3215 - val_accuracy: 0.8751\n",
      "Epoch 27/40\n",
      "15000/15000 [==============================] - 4s 263us/sample - loss: 0.0912 - accuracy: 0.9774 - val_loss: 0.3264 - val_accuracy: 0.8746\n",
      "Epoch 28/40\n",
      "15000/15000 [==============================] - 4s 268us/sample - loss: 0.0852 - accuracy: 0.9799 - val_loss: 0.3294 - val_accuracy: 0.8751\n",
      "Epoch 29/40\n",
      "15000/15000 [==============================] - 4s 266us/sample - loss: 0.0799 - accuracy: 0.9820 - val_loss: 0.3340 - val_accuracy: 0.8756\n",
      "Epoch 30/40\n",
      "15000/15000 [==============================] - 4s 266us/sample - loss: 0.0748 - accuracy: 0.9835 - val_loss: 0.3393 - val_accuracy: 0.8758\n",
      "Epoch 31/40\n",
      "15000/15000 [==============================] - 4s 268us/sample - loss: 0.0696 - accuracy: 0.9856 - val_loss: 0.3466 - val_accuracy: 0.8722\n",
      "Epoch 32/40\n",
      "15000/15000 [==============================] - 4s 266us/sample - loss: 0.0653 - accuracy: 0.9871 - val_loss: 0.3516 - val_accuracy: 0.8731\n",
      "Epoch 33/40\n",
      "15000/15000 [==============================] - 4s 268us/sample - loss: 0.0608 - accuracy: 0.9891 - val_loss: 0.3582 - val_accuracy: 0.8706\n",
      "Epoch 34/40\n",
      "15000/15000 [==============================] - 4s 263us/sample - loss: 0.0567 - accuracy: 0.9905 - val_loss: 0.3623 - val_accuracy: 0.8731\n",
      "Epoch 35/40\n",
      "15000/15000 [==============================] - 4s 267us/sample - loss: 0.0531 - accuracy: 0.9912 - val_loss: 0.3709 - val_accuracy: 0.8706\n",
      "Epoch 36/40\n",
      "15000/15000 [==============================] - 4s 260us/sample - loss: 0.0497 - accuracy: 0.9921 - val_loss: 0.3770 - val_accuracy: 0.8709\n",
      "Epoch 37/40\n",
      "15000/15000 [==============================] - 4s 259us/sample - loss: 0.0460 - accuracy: 0.9933 - val_loss: 0.3818 - val_accuracy: 0.8715\n",
      "Epoch 38/40\n",
      "15000/15000 [==============================] - 4s 260us/sample - loss: 0.0434 - accuracy: 0.9945 - val_loss: 0.3878 - val_accuracy: 0.8722\n",
      "Epoch 39/40\n",
      "15000/15000 [==============================] - 4s 259us/sample - loss: 0.0402 - accuracy: 0.9955 - val_loss: 0.3982 - val_accuracy: 0.8694\n",
      "Epoch 40/40\n",
      "15000/15000 [==============================] - 4s 261us/sample - loss: 0.0372 - accuracy: 0.9959 - val_loss: 0.4039 - val_accuracy: 0.8691\n"
     ]
    }
   ],
   "source": [
    "history = model.fit(partial_x_train,\n",
    "                    partial_y_train,\n",
    "                    epochs=40,\n",
    "                    batch_size=512,\n",
    "                    validation_data=(x_val, y_val),\n",
    "                    verbose=1)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Evaluate the neural network."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\r",
      "25000/1 [================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================] - 5s 180us/sample - loss: 0.3812 - accuracy: 0.8548\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[0.433657779353857, 0.8548]\n"
     ]
    }
   ],
   "source": [
    "results = model.evaluate(test_data, test_labels)\n",
    "\n",
    "print(results)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "dict_keys(['loss', 'accuracy', 'val_loss', 'val_accuracy'])"
      ]
     },
     "execution_count": 13,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "history_dict = history.history\n",
    "history_dict.keys()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAYIAAAEWCAYAAABrDZDcAAAABHNCSVQICAgIfAhkiAAAAAlwSFlzAAALEgAACxIB0t1+/AAAADh0RVh0U29mdHdhcmUAbWF0cGxvdGxpYiB2ZXJzaW9uMy4xLjEsIGh0dHA6Ly9tYXRwbG90bGliLm9yZy8QZhcZAAAgAElEQVR4nO3deXwV9b3/8dcHZF8VsFqQBKwLixFiRL2o4HIpahWrVMW4Vku1Wm29baVqreWW61KrVKVW7HWpoNSfvSq17hW12goGBRQQQUSIIAYqCIJI4PP74ztJTsLJfibnJOf9fDzmkTNz5sz5ZALzme8y36+5OyIikr1apTsAERFJLyUCEZEsp0QgIpLllAhERLKcEoGISJZTIhARyXJKBJJSZtbazDabWd9U7ptOZvYNM0t5P2szO97MViSsLzGzo+qybwO+649mdk1DP1/DcX9tZg+k+rjStHZLdwCSXma2OWG1I7AN2BGtf9/dp9fneO6+A+ic6n2zgbsfkIrjmNnFwDnuPjLh2Ben4tjSMikRZDl3L78QR3ecF7v7i9Xtb2a7uXtpU8QmIk1DVUNSo6jo/2cze8TMNgHnmNkRZvaGmW0wszVmdoeZtYn2383M3Mxyo/Vp0fvPmNkmM/uXmfWr777R+yeY2ftmttHM7jSz183sgmrirkuM3zezZWb2mZndkfDZ1mZ2u5mtN7MPgNE1nJ/rzGxGlW1TzOy26PXFZrY4+n0+iO7WqztWsZmNjF53NLOHotgWAock+d7l0XEXmtkp0faDgLuAo6Jqt3UJ5/aGhM9fEv3u683sCTPbuy7npjZmdmoUzwYze8nMDkh47xozW21mn5vZewm/6+Fm9la0fa2Z/aau3ycp4u5atODuACuA46ts+zXwFXAy4cahA3AocBihRNkfeB+4PNp/N8CB3Gh9GrAOKADaAH8GpjVg3z2BTcCY6L2rgO3ABdX8LnWJ8UmgG5AL/LvsdwcuBxYCfYAewKvhv0rS7+kPbAY6JRz7U6AgWj852seAY4GtQF703vHAioRjFQMjo9e3Ai8DuwM5wKIq+54B7B39Tc6OYvha9N7FwMtV4pwG3BC9HhXFOARoD/weeKku5ybJ7/9r4IHo9YAojmOjv9E10XlvAwwCPgL2ivbtB/SPXr8JjItedwEOS/f/hWxbVCKQunjN3f/q7jvdfau7v+nus9291N2XA1OBETV8/jF3L3L37cB0wgWovvt+C5jn7k9G791OSBpJ1THGG919o7uvIFx0y77rDOB2dy929/XATTV8z3LgXUKCAvhPYIO7F0Xv/9Xdl3vwEvB3IGmDcBVnAL9298/c/SPCXX7i9z7q7muiv8nDhCReUIfjAhQCf3T3ee7+JTABGGFmfRL2qe7c1OQsYKa7vxT9jW4CuhIScikh6QyKqhc/jM4dhIS+n5n1cPdN7j67jr+HpIgSgdTFqsQVMzvQzP5mZp+Y2efARKBnDZ//JOH1FmpuIK5u368nxuHuTriDTqqOMdbpuwh3sjV5GBgXvT6bkMDK4viWmc02s3+b2QbC3XhN56rM3jXFYGYXmNn8qApmA3BgHY8L4fcrP567fw58BvRO2Kc+f7PqjruT8Dfq7e5LgP8i/B0+jaoa94p2vRAYCCwxszlmdmIdfw9JESUCqYuqXSfvIdwFf8PduwLXE6o+4rSGUFUDgJkZlS9cVTUmxjXAPgnrtXVv/TNwfHRHPYaQGDCzDsBjwI2EapvuwPN1jOOT6mIws/7A3cClQI/ouO8lHLe2rq6rCdVNZcfrQqiC+rgOcdXnuK0If7OPAdx9mrsPJ1QLtSacF9x9ibufRaj++y3wFzNr38hYpB6UCKQhugAbgS/MbADw/Sb4zqeAfDM72cx2A64EesUU46PAj8yst5n1AK6uaWd3Xwu8BtwPLHH3pdFb7YC2QAmww8y+BRxXjxiuMbPuFp6zuDzhvc6Ei30JISdeTCgRlFkL9ClrHE/iEeAiM8szs3aEC/I/3L3aElY9Yj7FzEZG3/1TQrvObDMbYGbHRN+3NVp2EH6Bc82sZ1SC2Bj9bjsbGYvUgxKBNMR/AecT/pPfQ7gjjlV0sT0TuA1YD+wLvE147iHVMd5NqMt/h9CQ+VgdPvMwofH34YSYNwA/Bh4nNLiOJSS0uvgloWSyAngG+FPCcRcAdwBzon0OBBLr1V8AlgJrzSyxiqfs888Sqmgejz7fl9Bu0CjuvpBwzu8mJKnRwClRe0E74BZCu84nhBLIddFHTwQWW+iVditwprt/1dh4pO4sVLWKNC9m1ppQFTHW3f+R7nhEmjOVCKTZMLPRZtYtql74BaEnypw0hyXS7CkRSHNyJLCcUL0wGjjV3aurGhKROlLVkIhIllOJQEQkyzW7Qed69uzpubm56Q5DRKRZmTt37jp3T9rlutklgtzcXIqKitIdhohIs2Jm1T4hr6ohEZEsp0QgIpLllAhERLJcs2sjEJGmtX37doqLi/nyyy/THYrUQfv27enTpw9t2lQ31NSulAhEpEbFxcV06dKF3NxcwqCvkqncnfXr11NcXEy/fv1q/0AkK6qGpk+H3Fxo1Sr8nF6v6dhFstuXX35Jjx49lASaATOjR48e9S69tfgSwfTpMH48bNkS1j/6KKwDFDZ6vEWR7KAk0Hw05G/V4ksE115bkQTKbNkStouISBYkgpUr67ddRDLL+vXrGTJkCEOGDGGvvfaid+/e5etffVW3aQsuvPBClixZUuM+U6ZMYXqK6o2PPPJI5s2bl5JjNYUWXzXUt2+oDkq2XURSb/r0UOJeuTL8P5s0qXHVsD169Ci/qN5www107tyZn/zkJ5X2cXfcnVatkt/b3n///bV+z2WXXdbwIJu5Fl8imDQJOnasvK1jx7BdRFKrrE3uo4/AvaJNLo4OGsuWLWPw4MFccskl5Ofns2bNGsaPH09BQQGDBg1i4sSJ5fuW3aGXlpbSvXt3JkyYwMEHH8wRRxzBp59+CsB1113H5MmTy/efMGECw4YN44ADDuCf//wnAF988QWnn346Bx98MOPGjaOgoKDWO/9p06Zx0EEHMXjwYK655hoASktLOffcc8u333HHHQDcfvvtDBw4kIMPPphzzjkn5eesOi0+ERQWwtSpkJMDZuHn1KlqKBaJQ1O3yS1atIiLLrqIt99+m969e3PTTTdRVFTE/PnzeeGFF1i0aNEun9m4cSMjRoxg/vz5HHHEEdx3331Jj+3uzJkzh9/85jflSeXOO+9kr732Yv78+UyYMIG33367xviKi4u57rrrmDVrFm+//Tavv/46Tz31FHPnzmXdunW88847vPvuu5x33nkA3HLLLcybN4/58+dz1113NfLs1F2LTwQQLvorVsDOneGnkoBIPJq6TW7ffffl0EMPLV9/5JFHyM/PJz8/n8WLFydNBB06dOCEE04A4JBDDmHFihVJj33aaaftss9rr73GWWedBcDBBx/MoEGDaoxv9uzZHHvssfTs2ZM2bdpw9tln8+qrr/KNb3yDJUuWcOWVV/Lcc8/RrVs3AAYNGsQ555zD9OnT6/VAWGNlRSIQkaZRXdtbXG1ynTp1Kn+9dOlSfve73/HSSy+xYMECRo8enbQ/fdu2bctft27dmtLS0qTHbteu3S771Hcir+r279GjBwsWLODII4/kjjvu4Pvf/z4Azz33HJdccglz5syhoKCAHTt21Ov7GkqJQERSJp1tcp9//jldunSha9eurFmzhueeey7l33HkkUfy6KOPAvDOO+8kLXEkOvzww5k1axbr16+ntLSUGTNmMGLECEpKSnB3vvOd7/CrX/2Kt956ix07dlBcXMyxxx7Lb37zG0pKSthStZ4tJi2+15CINJ2yatdU9hqqq/z8fAYOHMjgwYPp378/w4cPT/l3/PCHP+S8884jLy+P/Px8Bg8eXF6tk0yfPn2YOHEiI0eOxN05+eSTOemkk3jrrbe46KKLcHfMjJtvvpnS0lLOPvtsNm3axM6dO7n66qvp0qVLyn+HZJrdnMUFBQWuiWlEms7ixYsZMGBAusPICKWlpZSWltK+fXuWLl3KqFGjWLp0Kbvtlln31Mn+ZmY2190Lku2fWdGLiGSwzZs3c9xxx1FaWoq7c88992RcEmiI5v8biIg0ke7duzN37tx0h5FyaiwWEclySgQiIllOiUBEJMspEYiIZDklAhHJaCNHjtzl4bDJkyfzgx/8oMbPde7cGYDVq1czduzYao9dW3f0yZMnV3qw68QTT2TDhg11Cb1GN9xwA7feemujj5MKsSYCMxttZkvMbJmZTahmnzPMbJGZLTSzh+OK5W9/gzFjoIme2BaRFBk3bhwzZsyotG3GjBmMGzeuTp//+te/zmOPPdbg76+aCJ5++mm6d+/e4ONlotgSgZm1BqYAJwADgXFmNrDKPvsBPweGu/sg4EdxxfPFFzBzJlT59yQiGW7s2LE89dRTbNu2DYAVK1awevVqjjzyyPJ+/fn5+Rx00EE8+eSTu3x+xYoVDB48GICtW7dy1llnkZeXx5lnnsnWrVvL97v00kvLh7D+5S9/CcAdd9zB6tWrOeaYYzjmmGMAyM3NZd26dQDcdtttDB48mMGDB5cPYb1ixQoGDBjA9773PQYNGsSoUaMqfU8y8+bN4/DDDycvL49vf/vbfPbZZ+XfP3DgQPLy8soHu3vllVfKJ+YZOnQomzZtavC5LRPncwTDgGXuvhzAzGYAY4DEwTm+B0xx988A3P3TuIIZOxaGDIHrr4czzoAmHNhPpMX40Y8g1RNvDRkC0TU0qR49ejBs2DCeffZZxowZw4wZMzjzzDMxM9q3b8/jjz9O165dWbduHYcffjinnHJKtfP23n333XTs2JEFCxawYMEC8vPzy9+bNGkSe+yxBzt27OC4445jwYIFXHHFFdx2223MmjWLnj17VjrW3Llzuf/++5k9ezbuzmGHHcaIESPYfffdWbp0KY888gj33nsvZ5xxBn/5y19qnF/gvPPO484772TEiBFcf/31/OpXv2Ly5MncdNNNfPjhh7Rr1668OurWW29lypQpDB8+nM2bN9O+fft6nO3k4qwa6g2sSlgvjrYl2h/Y38xeN7M3zGx0sgOZ2XgzKzKzopKSkgYF06pVGPNk+XKoZvhxEclQidVDidVC7s4111xDXl4exx9/PB9//DFr166t9jivvvpq+QU5Ly+PvLy88vceffRR8vPzGTp0KAsXLqx1QLnXXnuNb3/723Tq1InOnTtz2mmn8Y9//AOAfv36MWTIEKDmoa4hzI+wYcMGRowYAcD555/Pq6++Wh5jYWEh06ZNK3+Cefjw4Vx11VXccccdbNiwISVPNsdZIkiWkqsObLQbsB8wEugD/MPMBrt7pZYYd58KTIUw1lBDAzrhBBg+HCZOhPPOgw4dGnokkexU0517nE499VSuuuoq3nrrLbZu3Vp+Jz99+nRKSkqYO3cubdq0ITc3N+nQ04mSlRY+/PBDbr31Vt5880123313LrjgglqPU9M4bWVDWEMYxrq2qqHq/O1vf+PVV19l5syZ/Pd//zcLFy5kwoQJnHTSSTz99NMcfvjhvPjiixx44IENOn6ZOEsExcA+Cet9gNVJ9nnS3be7+4fAEkJiiIUZ/M//wOrV8Pvfx/UtIpJqnTt3ZuTIkXz3u9+t1Ei8ceNG9txzT9q0acOsWbP4KNkE5QmOPvro8gnq3333XRYsWACEIaw7depEt27dWLt2Lc8880z5Z7p06ZK0Hv7oo4/miSeeYMuWLXzxxRc8/vjjHHXUUfX+3bp168buu+9eXpp46KGHGDFiBDt37mTVqlUcc8wx3HLLLWzYsIHNmzfzwQcfcNBBB3H11VdTUFDAe++9V+/vrCrOEsGbwH5m1g/4GDgLOLvKPk8A44AHzKwnoapoeYwxcfTR8M1vwo03wve+B127xvltIpIq48aN47TTTqvUg6iwsJCTTz6ZgoIChgwZUuud8aWXXsqFF15IXl4eQ4YMYdiwYUCYbWzo0KEMGjRolyGsx48fzwknnMDee+/NrFmzyrfn5+dzwQUXlB/j4osvZujQoTVWA1XnwQcf5JJLLmHLli3079+f+++/nx07dnDOOeewceNG3J0f//jHdO/enV/84hfMmjWL1q1bM3DgwPLZ1hoj1mGozexEYDLQGrjP3SeZ2USgyN1nWiij/RYYDewAJrl7jf16UjEM9dy5UFAAN9wAUecAEamGhqFufuo7DHWszxG4+9Puvr+77+vuk6Jt17v7zOi1u/tV7j7Q3Q+qLQmkyiGHwOmnw29/C+vWwfTpkJsbGpRzc8O6iEi2yNoniydODM8WnH8+jB8PH30E7uHn+PFKBiKSPbI2EQwcCOeeC888A1WnBd2yJUy1JyJBc5vJMJs15G+VtYkAQvtAdeds5cqmjUUkU7Vv357169crGTQD7s769evr/ZBZVs9Q1q8fdOkCyZ7Q7tu36eMRyUR9+vShuLiYhj7MKU2rffv29OnTp16fyepEAOG5gh/+sPK2jh3DU8giAm3atKFfv37pDkNilNVVQwCXXw7f+lbFek4OTJ0KhYXpi0lEpCllfYkA4IEHoH9/GDEijFAqIpJNsr5EANCjB1xzDfz1r/B//5fuaEREmpYSQeSqq8JwuJddBtFQ4CIiWUGJINKmDfzv/0JJCfzkJ+mORkSk6SgRJMjPh5/+NMxX8OKL6Y5GRKRpKBFUcf31sP/+YWTSL75IdzQiIvFTIqiiQwf44x9hxQq47rp0RyMiEj8lgiSOOgp+8AP43e/gjTfSHY2ISLyUCKpx443Qpw9cdFF4zkDDVItIS6VEUI2uXeEPf4BFi0J7gYapFpGWSomgBieeCJ06QWlp5e0aplpEWhIlglpU13NIw1SLSEuhRFCLnJzk2zVMtYi0FEoEtZg0KXQpTaRhqkWkJVEiqEVhIdx7b+hBBNC2Lfz+9xqmWkRaDiWCOigshFWr4Ikn4KuvYNmydEckIpI6SgT1MGYMXHBBmNVMD5qJSEsRayIws9FmtsTMlpnZhCTvX2BmJWY2L1oujjOeVJg8OVQTnXde6EYqItLcxZYIzKw1MAU4ARgIjDOzgUl2/bO7D4mWP8YVT6p06wYPPghLl8LPfpbuaEREGi/OEsEwYJm7L3f3r4AZwJgYv6/JjBwJP/4xTJkCzz+f7mhERBonzkTQG1iVsF4cbavqdDNbYGaPmdk+yQ5kZuPNrMjMikpKSuKItd4mTYIBA+C739WMZiLSvMWZCCzJNq+y/lcg193zgBeBB5MdyN2nunuBuxf06tUrxWE2TIcO8NBDsHYtXH55uqMREWm4OBNBMZB4h98HWJ24g7uvd/dt0eq9wCExxpNyhxwSJrJ5+GHo1Uujk4pI8xRnIngT2M/M+plZW+AsYGbiDma2d8LqKcDiGOOJRU5OSADr1ml0UhFpnmJLBO5eClwOPEe4wD/q7gvNbKKZnRLtdoWZLTSz+cAVwAVxxROX66+HnTsrb9PopCLSnJh71Wr7zFZQUOBFRUXpDqNcq1ahJFCV2a4JQkQkXcxsrrsXJHtPTxY3UnWjkGp0UhFpLpQIGmnSpDAaaVUXXtj0sYiINIQSQSMVFsLUqaHR2CwMP9GrV9j2ySfpjk5EpHZKBClQWAgrVoQ2gVWr4MUXYcMGGDs2jFYqIpLJlAhikJcH998Pr78OV16Z7mhERGq2W7oDaKnOOAPmzoVbbgkPnl2c8eOqiki2UokgRv/zPzBqFFx2GfzrX+mORkQkOSWCGLVuDY88EhqQTz9djccikpmUCGK2xx5hissNG+Ccc2DHjnRHJCJSmRJBE1iwIIxW+ve/Q8+eGodIRDKLGotjNn16GISubFrLDRvgoovC68LC9MUlIlJGJYKYXXvtrnMbb9sGE3aZwVlEJD2UCGK2cmXy7cXFyQerExFpakoEMatp8Lk772y6OEREqqNEELNkg9J16ABDh8JPfwpvvZWeuEREyigRxKzqoHQ5OXDvvfD882FwujPPhE2b0h2liGQzJYImkDgo3YoVYb1nz/Cw2fLlcMklai8QkfRRIkijo46CG26Ahx+GBx5IdzQikq2UCNLsmmvg2GPDeEQvvJDuaEQkGykRpFnZeET77Qff+hY8/ni6IxKRbKNEkAH23BNefhny8+E734E//SndEYlINlEiSLPp0yE3F3r0gI8/hgMOgPPPhylT0h2ZiGSLWBOBmY02syVmtszMqh1UwczGmpmbWUGc8WSasnGIPvoo9BpatQo+/DCUDC6/PMxnoN5EIhK32BKBmbUGpgAnAAOBcWY2MMl+XYArgNlxxZKpko1DtHUrrFsXuphee20Yk0jJQCR7bdkSqo5//WuYNy+e74hz9NFhwDJ3Xw5gZjOAMcCiKvv9N3AL8JMYY8lI1Y1DtGpVaCfo0iVMdblxY6gqat26aeMTkaZXUhLmO3/ttbDMnQulpeG9PfaAIUNS/51xJoLewKqE9WLgsMQdzGwosI+7P2Vm1SYCMxsPjAfoW9PgPc1M376hWijZ9lat4Pe/h27d4Oab4fPP4cEHoU2bpo9TROL17rtwzz2hC/mSJWFbu3YwbFgYimb4cPiP/4Ddd4/n++NMBJZkW3klh5m1Am4HLqjtQO4+FZgKUFBQ0GIqSiZNqjxXAYRxiSZNCq/N4KaboHt3+PnPw1wGjz2269hFItL8bN8OTz4Jd90Fr7wC7dvD8cfDd78LRx4JhxwSkkFTiDMRFAP7JKz3AVYnrHcBBgMvmxnAXsBMMzvF3YtijCtjlE1Mc+21oZqob9+QBKpOWDNhQigSXnIJjBoFf/1rfHcGIhKvTz4J44394Q+wenXoNXjLLSEB9OiRnpjMY2qJNLPdgPeB44CPgTeBs919YTX7vwz8pLYkUFBQ4EVFWZEndvHYYyFJHHAAPPcc7L13uiMSkbrYtCnU9z/0UPh/vH07fPObYUSBE09smvY/M5vr7kl7ZsZWInD3UjO7HHgOaA3c5+4LzWwiUOTuM+P67pZq7NhQTXTqqaHo+PzzsO++6Y5KRKrasAH+8Y9Q5fPKK2G4+Z07Q5vfZZfBpZfC/vunO8oKsZUI4pLNJYIyc+bACSdA27ahZJCXl+6IRLLXzp2wbFm42L/xRrjwz58fun23bQuHHw4jRsDRR4cG33S18aWlRCDxGTYsFDP/8z/DP66nngolBBGJ144d8P774aI/d25Y3n67Yk6RDh3giCPCqMIjRsBhh4VG4EynRNBMDRgQ+hqPGhUSwu9/D+eco+6lIqn01VdQVBTu8l9+Gf75T9i8ObzXvn3o03/uuaGHT34+DBrUPP8Pqmoow02fXnOvopKSMGrpnDnQu3cYmmL8+NDLSETqp+zC//LLYXn99Yru3YMHhxL4sGHhoj9gAOzWjG6la6oaqlMiMLN9gWJ332ZmI4E84E/uviGlkdZBNiWCsrGIqj5nMHVq5WSwcyc88wxMngwvvhiKp+efD1deCQce2PRxizQn27eHjhePPBL69Zfd8R90UKjeGTkyJIBevdIaZqOlIhHMAwqAXEIvoJnAAe5+YgrjrJNsSgS5ucmfPM7JCVNeJvPOO/C738G0abBtW2hU/vGPw4MqluwRP5EstGNH6NXzyCOhO+e//x2ezTnttNCd8+ijw3SyLUkqEsFb7p5vZj8FvnT3O83sbXcfmupga5NNiaBVq+QDzpmFUkBNPv00PLI+ZQqsXRumxZwyJdzliGSjzz4LN0pPPAF//nN4mKtjRxgzBsaNC/3627ZNd5TxSUWvoe1mNg44Hzg52tYMm0Sal5rGIqrNnnvCL34BP/tZmA/52mth6FD44Q9Dj4Zu3VIdrUhm+OwzWLQIFi6sWBYtgjVrwvtt24aS8rhxoX2tU6f0xpsJ6poILgQuASa5+4dm1g+YFl9YArWPRVQX7drB978fZj677rpQbTRjBtx6K5x9tqqLpPnbsAFmzQoDtj3/PHzwQcV7HTvCwIGhd93AgaFXT5yDtzVX9e41ZGa7E0YMXRBPSDXLpqohqL3XUH0VFYUnG+fMCfWgU6aE3hAizcX27TB7drjwv/BCeL1zJ3TuHBp2jzoqXPAHDaoYyVdS00bwMnAKoQQxDygBXnH3q1IYZ51kWyKIw86dcN99YTC7DRvgiitCdVHXrumOTKQy93ATVFQUHt4qKgpP727aFC7whx4anqMZNSo8vNWS6/gbKxWJ4G13H2pmFxNKA780swXu3uSDGygRpM769aG0MXUq7LUX3H47nHGGqoskfTZuDP33i4oqlnXrwnu77RY6Oxx2WOgFd+yxquKpj5oSQV0LTbuZ2d7AGcBTKYtMGm369NDNtFWr8HP69Lp/tkePMBTu7Nnw9a/DWWeFO6v3348rWpFdffBBeAbmuONCl81TT4Ubbwy9ek45JTw1P2dOKAW89RbcfTecfrqSQCrVtbF4IuH5gdfd/U0z6w8sjS8sqYuqD5x99FFYh/q1Ixx6aEgG99wD11wT7rp+9rMwGY4mwZFUKy2Ff/0rzKvx1FOweHHYPnAg/Nd/hX78BQX6t9eUNMREM9aQB85qs3ZtmBrvoYfC8e+8M3SxE2mokpJwRz9nTrjhmD07tE21aROe3D355PBvrH//dEfasqWijaAPcCcwnDDd5GvAle5enMpA60KJoEJjHjirzSuvwA9+EPpfn3RSGD991KjmOaCWNJ3Nm8MQzIkX/g8/DO+1ahV6qB12WPi3NGqUOig0pVQ8UHY/8DDwnWj9nGjbfzY+PGmoxjxwVpsRI8LwupMnw803w9/+FupvzzwzVDsdfrgalbPdJ5/AvHnh30nZz2XLKm5O9tknDNB26aXh4p+fH7p4Suap81hD7j6ktm1NQSWCCnUdlK6xvvoKnn02fN/MmfDll6EYX1hYMXWmtDzbt0Nxcahm/OijimXFilCv/8knFfv26xeGZB46NPwsKNBUqpkmFVVDLwIPAI9Em8YBF7r7cakKsq6UCCpL9QNntfn8c3j88TCo3UsvhSqogw8ODXyjR4dJOVR91Ly4hwt+Yl/9hQtDr53EKkazcHHPzYX99qu46B98cJhCVTJbKhJBX+Au4AhCG8E/gSvcfWUqA60LJYLMsb5YPEAAABDxSURBVHp1GK7iySfDuO07dkCXLqGP9+jRYRCvnJx0RymJdu4Md/TvvFP5wl9SEt5v3TrU4+flhbv8nJxw4c/JCVU9emCr+Wp0IqjmoD9y98mNiqwBlAgy08aNoYTw7LNhWRndIgwYAMccE9oUDjss3EmqbSF+paWwfHlo7E9c3nsPtm4N+7RqFYZhKCgIM2wVFIQE0KFDemOXeMSVCFa6ewqaJetHiaB+mrrqCEJVw3vvVSSFxOn99tgjNCCWJYZhwzSbWkNt3x7+rsuW7bosXx7adsr07Rv66ZctgwaFi7766mePuBLBKnffp1GRNYASQd01VWNybXbsCI2Lb7wRuhO+8Uaog07sXTJgwK5Lc58RqjHcQylr5UpYtapiSVxfuTLc+Zfp1Am+8Y2KZcCAcNE/8MBQZSfZTSWCLBXHA2epsmlTqJuePRvefTckivfeq5y0evQIPZK6dAkThbdrV7GUrXfuHC56++8f9o1rnoX16ytiLPu5YgX06RPurgcPDj8HDqz5ortzZ3iY6tNPQ6+bNWtCW0viUrbtiy8qf7Z16zAvdd++IXn271/5wv+1r6naTarX4ERgZpsIjcO7vAV0cPcan0Mws9HA74DWwB/d/aYq718CXAbsADYD4919UU3HVCKouzgfOIvDzp3hTnfx4opl2bJwQdy2LXRb3bat8uutWyv/jnvuGRLC/vuHpW/fcKfcqVMoDZUtZetffRUGNVu/vuJn2et168L3L15cMfAZhCR0wAEh0a5aFerev/yy4v2cnJAYcnMrLvplS0lJ5bv4Mh06hPGeEpfevcMFf599wu+x114hGYg0RCwlgjp8aWvgfcJDZ8XAm8C4xAu9mXV198+j16cAP3D30TUdV4mg7jK5RJAq27aF+vD334clS8LPsmXt2oYft127UCLp16+iqurAA8PPvn0rX5B37AhPzy5cGEo3ZbNirVwZ2j/23LPy0qtXxevevcNFv2tX3c1LvFLxZHFDDAOWufvyKIgZwBigPBGUJYFIJ5KXPqSBUjHDWaZr167iQl3Vhg2himXLlsrLF19U/GzbNjwx3aNHxdKzZzhPdb0wt25dUT0zZkxqfz+RphBnIugNrEpYLwYOq7qTmV0GXAW0BY5NdiAzGw+MB+ibivETskRZg3BT9xrKFN2760EnkbqIcxK3ZPdTu9zxu/sUd98XuBq4LtmB3H2quxe4e0GvbO5K0gCFhaEaqOxBoqpJoDHzGYhIyxBniaAYSOxe2gdYXcP+M4C7Y4xHqkjVfAYi0rzFWSJ4E9jPzPqZWVvgLGBm4g5mtl/C6klospsmde21ldsPIKxfe2164hGR9IitRODupWZ2OWFms9bAfe6+0MwmAkXuPhO43MyOB7YDnwHnxxWP7GplNSNFVbddRFqmOKuGcPengaerbLs+4fWVcX6/1CzO+QxEpPmIs2pIMtykSbuONdPSupeKSO2UCLJYYWEYdygnJ/SZz8lp+nGIRCT9lAiyXE3dS9W1VCQ7xNpGIM2XupaKZA+VCCQpdS0VyR5KBJKUupaKZA8lAkmqui6k6loq0vIoEUhS6loqkj2UCCSpunQtVa8ikZZBvYakWoWF1fcQUq8ikZZDJQJpEPUqEmk5lAikQdSrSKTlUCKQBlGvIpGWQ4lAGkS9ikRaDiUCaRD1KhJpOdRrSBpMvYpEWgaVCCQW6lUk0nwoEUgs1KtIpPlQIpBY1KVXkdoQRDKDEoHEorZeRWVtCB99BO4VbQhKBiJNT4lAYlFbryK1IYhkDnP3dMdQLwUFBV5UVJTuMKSRWrUKJYGqzMK0mSKSWmY2190Lkr2nEoGkhZ5MFskcsSYCMxttZkvMbJmZTUjy/lVmtsjMFpjZ380sJ854JHPU5clkNSaLNI3YEoGZtQamACcAA4FxZjawym5vAwXungc8BtwSVzySWWprQ1BjskjTia2NwMyOAG5w929G6z8HcPcbq9l/KHCXuw+v6bhqI8gOubnh4l9VTg6sWNHU0Yg0f+lqI+gNrEpYL462Veci4Jlkb5jZeDMrMrOikpKSFIYomUoPpIk0nTgTgSXZlrT4YWbnAAXAb5K97+5T3b3A3Qt69eqVwhAlU9XWmKz2A5HUiTMRFAP7JKz3AVZX3cnMjgeuBU5x920xxiPNSE2NyWo/EEmtOBPBm8B+ZtbPzNoCZwEzE3eI2gXuISSBT2OMRZqZmhqT9TCaSGrF+kCZmZ0ITAZaA/e5+yQzmwgUuftMM3sROAhYE31kpbufUtMx1VgsehhNpP7S9kCZuz/t7vu7+77uPinadr27z4xeH+/uX3P3IdFSYxIQAQ1oJ5JqerJYmh0NaCeSWkoE0uxoQDuR1FIikGapsDA8WLZzZ/iZOP1lXZ5BUNWRSAUlAmlx6vIMgqqORCooEUiLU1sbgqqORCpTIpAWp7Y2BA1fIVKZEoG0SDW1Iaj7qUhlSgSSddT9VKQyJQLJOup+KlKZEoFkJXU/FamgRCBShbqfSrZRIhCpQt1PJdsoEYhU0djup6o2kuZmt3QHIJKJCgsrtxsk6ts3+XzKfftWVBuVlRjKqo3KjimSiVQiEKmnmqqOVG0kzZESgUg91VR1pB5H0hypakikAaqrOqqp2ghUdSSZSSUCkRRKRY8jlRikqSkRiKRQKnoc6RkFaWqxTl4fB01eL81Zbm7yqqOcnPCEc23vizRU2iavF5HKaqs6UmOzpIMSgUgTqq3qSMNbSDooEYg0sZoGvFNjs6RDrInAzEab2RIzW2ZmE5K8f7SZvWVmpWY2Ns5YRJoDNTZLOsSWCMysNTAFOAEYCIwzs4FVdlsJXAA8HFccIs1NY2ZXq63EoNKCJBNniWAYsMzdl7v7V8AMYEziDu6+wt0XADtjjEOkxWhMY7NKC1KdOBNBb2BVwnpxtK3ezGy8mRWZWVFJSUlKghNpjhrT2Kz2BalOnInAkmxr0EML7j7V3QvcvaBXr16NDEukeWtoY7PaF6Q6cSaCYmCfhPU+wOoYv08k69VUYmhs+wKoxNBSxZkI3gT2M7N+ZtYWOAuYGeP3iQjVlxga+zBbXUoMShTNU2yJwN1LgcuB54DFwKPuvtDMJprZKQBmdqiZFQPfAe4xs4VxxSOS7Rr7MFtdeiSpaql50lhDIgLsOkQ2hBJDWbJo1Spc4KsyC6WPuoyTNH16SBwrV4YEM2mSht9uKhprSERq1dgSgxqjmy8lAhEp15jhL/SwW/OlRCAidVJbiSHuh92UKGLk7s1qOeSQQ1xEMtO0ae45Oe5m4ee0aRXv5eS4h8t85SUnp+b3yo7bsWPl9zp2rHz8mr5b3IEir+a6qsZiEWkSNTVGn3tu4xqia2voFjUWi0gGaMzDbrU1ROthuMZRIhCRJtPQh92aosdSNicKJQIRSbvGNkTH/TBci08S1TUeZOqixmKR7FRTY3BtjclmyRujzcL7NTVWt5SGampoLE77hb2+ixKBiCTT0B5L7jUnipbSo0mJQESyWm0X65ou9o0pTdTlu8v2iTtR1JQI1EYgIi1eY9og4u7RlBEN2dVliExdVCIQkThUd1femNKEe9OUKOoClQhERGpWXdfWuHs0peIZicZSIhARqUVNg/GlO1GkghKBiEgjpTNRpIISgYhIzOJMFKmwW+oOJSIiDVFYWP3geGXb45zZTYlARCTD1ZQoUkFVQyIiWU6JQEQkyykRiIhkOSUCEZEsp0QgIpLlmt2cxWZWAiSZvRSAnsC6JgynvjI5PsXWMIqtYRRbwzQmthx375XsjWaXCGpiZkVezeTMmSCT41NsDaPYGkaxNUxcsalqSEQkyykRiIhkuZaWCKamO4BaZHJ8iq1hFFvDKLaGiSW2FtVGICIi9dfSSgQiIlJPSgQiIlmuxSQCMxttZkvMbJmZTUh3PInMbIWZvWNm88ysKM2x3Gdmn5rZuwnb9jCzF8xsafRz9wyK7QYz+zg6d/PM7MQ0xbaPmc0ys8VmttDMroy2p/3c1RBb2s+dmbU3szlmNj+K7VfR9n5mNjs6b382s7YZFNsDZvZhwnkb0tSxJcTY2szeNrOnovV4zlt1kxk3pwVoDXwA9AfaAvOBgemOKyG+FUDPdMcRxXI0kA+8m7DtFmBC9HoCcHMGxXYD8JMMOG97A/nR6y7A+8DATDh3NcSW9nMHGNA5et0GmA0cDjwKnBVt/wNwaQbF9gAwNt3/5qK4rgIeBp6K1mM5by2lRDAMWObuy939K2AGMCbNMWUkd38V+HeVzWOAB6PXDwKnNmlQkWpiywjuvsbd34pebwIWA73JgHNXQ2xp58HmaLVNtDhwLPBYtD1d56262DKCmfUBTgL+GK0bMZ23lpIIegOrEtaLyZD/CBEHnjezuWY2Pt3BJPE1d18D4aIC7JnmeKq63MwWRFVHaam2SmRmucBQwh1kRp27KrFBBpy7qHpjHvAp8AKh9L7B3UujXdL2/7VqbO5edt4mReftdjNrl47YgMnAz4Cd0XoPYjpvLSURWJJtGZPZgeHung+cAFxmZkenO6Bm5G5gX2AIsAb4bTqDMbPOwF+AH7n75+mMpaoksWXEuXP3He4+BOhDKL0PSLZb00YVfWmV2MxsMPBz4EDgUGAP4OqmjsvMvgV86u5zEzcn2TUl562lJIJiYJ+E9T7A6jTFsgt3Xx39/BR4nPCfIZOsNbO9AaKfn6Y5nnLuvjb6z7oTuJc0njsza0O40E539/+LNmfEuUsWWyaduyieDcDLhHr47mZWNlVu2v+/JsQ2Oqpqc3ffBtxPes7bcOAUM1tBqOo+llBCiOW8tZRE8CawX9Si3hY4C5iZ5pgAMLNOZtal7DUwCni35k81uZnA+dHr84En0xhLJWUX2ci3SdO5i+pn/xdY7O63JbyV9nNXXWyZcO7MrJeZdY9edwCOJ7RhzALGRrul67wli+29hMRuhDr4Jj9v7v5zd+/j7rmE69lL7l5IXOct3a3iKWxdP5HQW+ID4Np0x5MQV39CL6b5wMJ0xwY8Qqgm2E4oSV1EqHv8O7A0+rlHBsX2EPAOsIBw0d07TbEdSSiGLwDmRcuJmXDuaogt7ecOyAPejmJ4F7g+2t4fmAMsA/4f0C6DYnspOm/vAtOIehalawFGUtFrKJbzpiEmRESyXEupGhIRkQZSIhARyXJKBCIiWU6JQEQkyykRiIhkOSUCkYiZ7UgYcXKepXAUWzPLTRxVVSST7Fb7LiJZY6uH4QZEsopKBCK1sDCfxM3R2PVzzOwb0fYcM/t7NDjZ382sb7T9a2b2eDTO/Xwz+4/oUK3N7N5o7Pvno6dZMbMrzGxRdJwZafo1JYspEYhU6FClaujMhPc+d/dhwF2EMV+IXv/J3fOA6cAd0fY7gFfc/WDC/AoLo+37AVPcfRCwATg92j4BGBod55K4fjmR6ujJYpGImW12985Jtq8AjnX35dHgbp+4ew8zW0cYtmF7tH2Nu/c0sxKgj4dBy8qOkUsY5ni/aP1qoI27/9rMngU2A08AT3jFGPkiTUIlApG68WpeV7dPMtsSXu+goo3uJGAKcAgwN2F0SZEmoUQgUjdnJvz8V/T6n4SRIQEKgdei138HLoXyiU+6VndQM2sF7OPuswiTkHQHdimViMRJdx4iFTpEs1WVedbdy7qQtjOz2YSbp3HRtiuA+8zsp0AJcGG0/UpgqpldRLjzv5QwqmoyrYFpZtaNMPHI7R7GxhdpMmojEKlF1EZQ4O7r0h2LSBxUNSQikuVUIhARyXIqEYiIZDklAhGRLKdEICKS5ZQIRESynBKBiEiW+//GpHqb8knT8QAAAABJRU5ErkJggg==\n",
      "text/plain": [
       "<Figure size 432x288 with 1 Axes>"
      ]
     },
     "metadata": {
      "needs_background": "light"
     },
     "output_type": "display_data"
    }
   ],
   "source": [
    "%matplotlib inline\n",
    "import matplotlib.pyplot as plt\n",
    "\n",
    "acc = history_dict['accuracy']\n",
    "val_acc = history_dict['val_accuracy']\n",
    "loss = history_dict['loss']\n",
    "val_loss = history_dict['val_loss']\n",
    "\n",
    "epochs = range(1, len(acc) + 1)\n",
    "\n",
    "# \"bo\" is for \"blue dot\"\n",
    "plt.plot(epochs, loss, 'bo', label='Training loss')\n",
    "# b is for \"solid blue line\"\n",
    "plt.plot(epochs, val_loss, 'b', label='Validation loss')\n",
    "plt.title('Training and validation loss')\n",
    "plt.xlabel('Epochs')\n",
    "plt.ylabel('Loss')\n",
    "plt.legend()\n",
    "\n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAYgAAAEWCAYAAAB8LwAVAAAABHNCSVQICAgIfAhkiAAAAAlwSFlzAAALEgAACxIB0t1+/AAAADh0RVh0U29mdHdhcmUAbWF0cGxvdGxpYiB2ZXJzaW9uMy4xLjEsIGh0dHA6Ly9tYXRwbG90bGliLm9yZy8QZhcZAAAgAElEQVR4nO3deZhU1bX38e8SGWWQSY0gNCqJMjTQtGAixjGKJo4xEcS8KgqJ0eQab24cc+UaiYlxzJUkEqNxaCVEr0qMkTjgGKdGGQSDIKC2IDaTMtPQ6/1jn6Kri6rq6qG6qrt/n+c5T506U606DWfV3vucvc3dERERSbRHrgMQEZH8pAQhIiJJKUGIiEhSShAiIpKUEoSIiCSlBCEiIkkpQUjGzKyVmW00sz4NuW0umdnBZtbg93qb2fFmtjzu/SIzOzKTbevwWXeb2dV13V8klT1zHYBkj5ltjHvbAdgG7Izef9/dS2pzPHffCXRs6G1bAnf/SkMcx8wuAs5196Pjjn1RQxxbJJESRDPm7rsu0NEv1Ivc/dlU25vZnu6+ozFiE6mJ/j3mnqqYWjAzu8HM/mJmD5vZBuBcM/uqmb1uZuvNbKWZ/dbMWkfb72lmbmYF0fsHo/X/MLMNZvaamfWr7bbR+pPM7H0z+9zM/tfMXjWz81PEnUmM3zezJWa2zsx+G7dvKzO7zczWmNkHwOg05+daM5uWsGyKmd0azV9kZu9F3+eD6Nd9qmOVmdnR0XwHM3sgim0BMDzJ5y6NjrvAzE6Nlg8G7gSOjKrvVsed20lx+/8g+u5rzOxxM/tSJuemNuc5Fo+ZPWtma83sUzP7Wdzn/Dw6J1+YWamZ7Z+sOs/MXon9naPz+VL0OWuBa82sv5nNir7L6ui8dYnbv2/0Hcuj9XeYWbso5kPjtvuSmW02s+6pvq8k4e6aWsAELAeOT1h2A7AdOIXwY6E9cBgwklC6PBB4H7g02n5PwIGC6P2DwGqgGGgN/AV4sA7b7gNsAE6L1l0OVADnp/gumcT4BNAFKADWxr47cCmwAOgNdAdeCv8Nkn7OgcBGYK+4Y38GFEfvT4m2MeBYYAtQGK07Hlged6wy4Oho/mbgBaAr0BdYmLDtd4EvRX+Tc6IY9o3WXQS8kBDng8CkaP6EKMahQDvgd8DzmZybWp7nLsAq4D+AtkBnYES07ipgLtA/+g5DgW7AwYnnGngl9neOvtsO4GKgFeHf45eB44A20b+TV4Gb477Pu9H53Cva/oho3VRgctzn/CfwWK7/Hza1KecBaGqkP3TqBPF8Dfv9FPhrNJ/sov+HuG1PBd6tw7bjgZfj1hmwkhQJIsMYD49b/3/AT6P5lwhVbbF1JydetBKO/TpwTjR/EvB+mm2fBC6J5tMliI/i/xbAD+O3TXLcd4FvRvM1JYj7gF/GretMaHfqXdO5qeV5/h5QmmK7D2LxJizPJEEsrSGGs4C3ovkjgU+BVkm2OwJYBlj0fg5wZkP/v2ruk6qY5OP4N2Z2iJn9Paoy+AK4HuiRZv9P4+Y3k75hOtW2+8fH4eF/dFmqg2QYY0afBXyYJl6Ah4Cx0fw5wK6GfTP7lpm9EVWxrCf8ek93rmK+lC4GMzvfzOZG1STrgUMyPC6E77freO7+BbAO6BW3TUZ/sxrO8wHAkhQxHEBIEnWR+O9xPzObbmafRDH8OSGG5R5uiKjG3V8llEZGmdkgoA/w9zrG1GIpQUjiLZ53EX6xHuzunYH/Jvyiz6aVhF+4AJiZUf2Clqg+Ma4kXFhiaroN9y/A8WbWm1AF9lAUY3vgEeBGQvXP3sA/M4zj01QxmNmBwO8J1Szdo+P+O+64Nd2Su4JQbRU7XidCVdYnGcSVKN15/hg4KMV+qdZtimLqELdsv4RtEr/frwl33w2OYjg/IYa+ZtYqRRz3A+cSSjvT3X1biu0kBSUISdQJ+BzYFDXyfb8RPvNJoMjMTjGzPQn12j2zFON04DIz6xU1WF6RbmN3X0WoBrkXWOTui6NVbQn14uXATjP7FqGuPNMYrjazvS08J3Jp3LqOhItkOSFXXkQoQcSsAnrHNxYneBi40MwKzawtIYG97O4pS2RppDvPM4A+ZnapmbUxs85mNiJadzdwg5kdZMFQM+tGSIyfEm6GaGVmE4lLZmli2AR8bmYHEKq5Yl4D1gC/tNDw397Mjohb/wChSuocQrKQWlKCkET/CZxHaDS+i/ALOquii/DZwK2E//AHAe8Qfjk2dIy/B54D5gNvEUoBNXmI0KbwUFzM64GfAI8RGnrPIiS6TFxHKMksB/5B3MXL3ecBvwXejLY5BHgjbt9ngMXAKjOLryqK7f80oSrosWj/PsC4DONKlPI8u/vnwDeAbxMaxd8HjopW/wZ4nHCevyA0GLeLqg4nAFcTblg4OOG7JXMdMIKQqGYAj8bFsAP4FnAooTTxEeHvEFu/nPB33u7u/6rldxeqGnBE8kZUZbACOMvdX851PNJ0mdn9hIbvSbmOpSnSg3KSF8xsNKHKYCvhNskdhF/RInUSteecBgzOdSxNlaqYJF+MApYSqh5GA6erUVHqysxuJDyL8Ut3/yjX8TRVqmISEZGkVIIQEZGkmk0bRI8ePbygoCDXYYiINCmzZ89e7e5JbytvNgmioKCA0tLSXIchItKkmFnK3gRUxSQiIkkpQYiISFJKECIiklTW2iDM7B7CY/CfufugJOsNuIPQ3fJmQpe/b0frzgOujTa9wd3vq0sMFRUVlJWVsXXr1rrsLo2kXbt29O7dm9atU3UvJCK5kM1G6j8TRr9K1UnWSYQBRfoTBiX5PTAy6tTrOsLAMg7MNrMZ7r6utgGUlZXRqVMnCgoKCPlI8o27s2bNGsrKyujXr1/NO4hIo8laFZO7v0ToxCyV04D7PXgd2DsaGvFE4Bl3XxslhWdIMyxkOlu3bqV79+5KDnnMzOjevbtKeSJJlJRAQQHssUd4LSmp3fr6ymUbRC+qDw5SFi1LtXw3ZjYxGu+2tLy8POmHKDnkP/2NpKVKd4EvKYGJE+HDD8E9vE6cWLVNTesbQi4TRLKrgqdZvvtC96nuXuzuxT17phs+QEQkO+r6K7+mC/w118DmzdWPtXlzWJ7J+oaQywRRRvVRtXoTunhOtbzJWbNmDUOHDmXo0KHst99+9OrVa9f77du3Z3SMCy64gEWLFqXdZsqUKZQ0dNlSpIWoTzVOfX7l13SB/yhFF4Ox5TWtbxDZHPAaKCAamD7Jum8SBksx4HDgzWh5N8Jg412jaRnQrabPGj58uCdauHDhbsvSefBB97593c3C64MP1mr3tK677jr/zW9+s9vyyspK37lzZ8N9UBNV27+VSKbS/b9+8EH3Dh3cw+U7TB06VG1T0/q+fauvi019+9a83iz5OrP6H7s2gFJPdQ1PtaK+E2How5VABaFUcCHwA+AH0XoDphAGN58PFMftO54wIPoS4IJMPq++CaKmfwj1FZ8gFi9e7AMHDvTvf//7PnToUC8rK/MJEyb48OHDfcCAAf4///M/u/Y74ogj/J133vGKigrv0qWLX3HFFV5YWOiHH364r1q1yt3dr7nmGr/tttt2bX/FFVf4YYcd5l/+8pf91VdfdXf3jRs3+plnnumFhYU+ZswYHz58uL/zzju7xfnf//3fXlxcvCu+yspKd3dftGiRH3PMMV5YWOjDhg3zZcuWubv75MmTfdCgQV5YWOhXX311nc+PEoTUR6okkM0LvHvNF/l062s6dn2TV6ZykiAae6pvgmiobJxKYoIwM3/zzTd3rV+zZo27u1dUVPioUaN8wYIF7l49QQD+1FNPubv7T37yE7/xxhvdffcE8bOf/czd3Z944gk/8cQT3d39xhtv9B/+8Ifu7j5nzhzfY489kiaIWByVlZU+ZsyYXZ9XVFTkM2bMcHf3LVu2+KZNm3zGjBk+atQo37x5c7V960IJQtKpaykgmxd49/olmEwu8DXVajRErUe6BKEnqSONUp8X56CDDuKwww7b9f7hhx+mqKiIoqIi3nvvPRYuXLjbPu3bt+ekk04CYPjw4Sxfvjzpsc8888zdtnnllVcYM2YMAEOGDGHgwIFJ933uuecYMWIEQ4YM4cUXX2TBggWsW7eO1atXc8oppwDhwbYOHTrw7LPPMn78eNq3bw9At27dan8iRKhfPX+6uvya/l/36ZN8fWx5TesnT4YOHaqv69AhLK9p/bhxMHUq9O0LZuF16tSwPGbcOFi+HCorw+u4hNHFa1pfX0oQkZr+ITS0vfbaa9f84sWLueOOO3j++eeZN28eo0ePTvpcQJs2bXbNt2rVih07diQ9dtu2bXfbJvxQSG/z5s1ceumlPPbYY8ybN4/x48fviiPZrajurltUJSPZSgCQPglk8wIPNV/kM1mfzQt8fSlBRGr6h5BNX3zxBZ06daJz586sXLmSmTNnNvhnjBo1iunTpwMwf/78pCWULVu2sMcee9CjRw82bNjAo48+CkDXrl3p0aMHf/vb34DwAOLmzZs54YQT+NOf/sSWLVsAWLs23XOR0pzlKgFA+iSQ7Qt8bJtc/srPJiWISCb/ELKlqKiIAQMGMGjQICZMmMARRxzR4J/xox/9iE8++YTCwkJuueUWBg0aRJcuXapt0717d8477zwGDRrEGWecwciRI3etKykp4ZZbbqGwsJBRo0ZRXl7Ot771LUaPHk1xcTFDhw7ltttua/C4Jf/lMgFA06/GyWupGiea2tQQt7k2ZxUVFb5lyxZ3d3///fe9oKDAKyoqchxVFf2t8l+qBtH6NgTX926edLFJzdBdTLJu3TovKirywsJCHzx4sM+cOTPXIVWjv1Xu1fVOISWApk0JQvKe/lbZV58HxtJd5JUAmjYlCMl7+ltlV30fGEtXSlACaNrSJQg1Uos0E+nuJMpmQ3FDNARLflKCEGkGarqTKJt3CoESQHOlBCHSRNSnhNAQCSBXt4FL7ihBZNHRRx+920Nvt99+Oz/84Q/T7texY0cAVqxYwVlnnZXy2KWlpWmPc/vtt7M57qpx8skns379+kxClzxT3xJCQyQAlRJaHiWILBo7dizTpk2rtmzatGmMHTs2o/33339/HnnkkTp/fmKCeOqpp9h7773rfDzJnfqWEJQApC6UILLorLPO4sknn2Tbtm0ALF++nBUrVjBq1Cg2btzIcccdR1FREYMHD+aJJ57Ybf/ly5czaNAgIHSDMWbMGAoLCzn77LN3dW8BcPHFF1NcXMzAgQO57rrrAPjtb3/LihUrOOaYYzjmmGMAKCgoYPXq1QDceuutDBo0iEGDBnH77bfv+rxDDz2UCRMmMHDgQE444YRqnxPzt7/9jZEjRzJs2DCOP/54Vq1aBcDGjRu54IILGDx4MIWFhbu66nj66acpKipiyJAhHHfccQ1ybpurVNVI9S0hgBKA1N6euQ6gsVx2GcyZ07DHHDoUomtrUt27d2fEiBE8/fTTnHbaaUybNo2zzz4bM6Ndu3Y89thjdO7cmdWrV3P44Ydz6qmnpuz87ve//z0dOnRg3rx5zJs3j6Kiol3rJk+eTLdu3di5cyfHHXcc8+bN48c//jG33nors2bNokePHtWONXv2bO69917eeOMN3J2RI0dy1FFH0bVrVxYvXszDDz/MH//4R7773e/y6KOPcu6551bbf9SoUbz++uuYGXfffTc33XQTt9xyC7/4xS/o0qUL8+fPB2DdunWUl5czYcIEXnrpJfr166f+mtKIVSPFSgqxaiQIJYEPP9x9n/gSAlT1YBrrh0hJQOpDJYgsi69miq9ecneuvvpqCgsLOf744/nkk092/RJP5qWXXtp1oS4sLKSwsHDXuunTp1NUVMSwYcNYsGBB0o744r3yyiucccYZ7LXXXnTs2JEzzzyTl19+GYB+/foxdOhQIHWX4mVlZZx44okMHjyY3/zmNyxYsACAZ599lksuuWTXdl27duX111/n61//Ov369QPUJXhdG5pVQpBcaDEliHS/9LPp9NNP5/LLL+ftt99my5Ytu375l5SUUF5ezuzZs2ndujUFBQVJu/iOl6x0sWzZMm6++Wbeeustunbtyvnnn1/jccKzMcnFugqH0F14siqmH/3oR1x++eWceuqpvPDCC0yaNGnXcRNjTLaspUpXQhg3Ln01kkoIkgsqQWRZx44dOfrooxk/fny1xunPP/+cffbZh9atWzNr1iw+TFZ/EOfrX/86JdHPzXfffZd58+YBoavwvfbaiy5durBq1Sr+8Y9/7NqnU6dObNiwIemxHn/8cTZv3symTZt47LHHOPLIIzP+Tp9//jm9evUC4L777tu1/IQTTuDOO+/c9X7dunV89atf5cUXX2TZsmVA8+8SPJu3oqqEII1NCaIRjB07lrlz5+4a0Q1g3LhxlJaWUlxcTElJCYccckjaY1x88cVs3LiRwsJCbrrpJkaMGAGE0eGGDRvGwIEDGT9+fLWuwidOnMhJJ520q5E6pqioiPPPP58RI0YwcuRILrroIoYNG5bx95k0aRLf+c53OPLII6u1b1x77bWsW7eOQYMGMWTIEGbNmkXPnj2ZOnUqZ555JkOGDOHss8/O+HOammzfiirS6FL1wdEQEzAaWAQsAa5Msr4v8BwwD3gB6B23bicwJ5pm1PRZ6oupaWsqf6t0fQrVZ3ziTI4vkg3koi8mM2sFTAFOAgYAY81sQMJmNwP3u3shcD1wY9y6Le4+NJpOzVacIplqjBKCqpEkn2SzimkEsMTdl7r7dmAacFrCNgMIJQiAWUnWi+SNxnhYTSSfZDNB9AI+jntfFi2LNxf4djR/BtDJzLpH79uZWamZvW5mpyf7ADObGG1TWl5enjQIT3PHjuSHfPobpWtkVglBWppsJohk9zYmXgl+ChxlZu8ARwGfADuidX3cvRg4B7jdzA7a7WDuU9292N2Le/bsuduHtWvXjjVr1uTVBUiqc3fWrFlDu3btch1KjVVIKiFIS2PZunia2VeBSe5+YvT+KgB3vzHF9h2Bf7t77yTr/gw86e4pOyYqLi72xM7rKioqKCsrq/G5AMmtdu3a0bt3b1q3bt0on1dSkvx5goKC5E8r9+0bfu0nPscAoYSgJCBNmZnNjn6M7yabD8q9BfQ3s36EksEYQmkgPrAewFp3rwSuAu6JlncFNrv7tmibI4CbahtA69atdz3BKwLpH1arqQpJD6tJS5O1EgSAmZ0M3A60Au5x98lmdj3htqoZZnYW4c4lB14CLomSwteAu4BKQjXY7e7+p3SflawEIZIoXSkB0pcgRJqjdCWIrCaIxqQEITGpqpAgND4n+ydvBg88oCokaXnSJQg9SS3NSn0amtXILFKdShDSrKihWaR2VIKQZqU+zyqolCCSuRbT3bc0DzV1mV3TwDqx7ZQQRGqmEoQ0KTV1d6EeUUUajhKENCmqQhJpPEoQknfStTHU1N0FqL8jkYaiBCF5pabbVFWFJNJ4lCAkr9TUxqAqJJHGo+cgJK+ke9K5srLx4xFp7vQchOSV+rYxiEjjUIKQRqU2BpGmQwlCGpXaGESaDrVBSKNSG4NIflEbhDS6VO0MamMQaTrUF5M0uHT9JU2enLw3VbUxiOQfJQhpcOnaGWIjs2nYTpH8pzYIaXBqZxBpOtQGIY1K7QwizUNWE4SZjTazRWa2xMyuTLK+r5k9Z2bzzOwFM+sdt+48M1scTedlM06pvXQPu+lZBpHmIWsJwsxaAVOAk4ABwFgzG5Cw2c3A/e5eCFwP3Bjt2w24DhgJjACuM7Ou2YpVaqemh930LINI85C1Nggz+yowyd1PjN5fBeDuN8ZtswA40d3LzMyAz929s5mNBY529+9H290FvODuD6f6PLVBNJ6axn0WkaYjV20QvYCP496XRcvizQW+Hc2fAXQys+4Z7ouZTTSzUjMrLS8vb7DAJb2aBu0RkeYhmwnCkixLLK78FDjKzN4BjgI+AXZkuC/uPtXdi929uGfPnvWNVzKkRmiRliGbCaIMOCDufW9gRfwG7r7C3c9092HANdGyzzPZV3JHjdAiLUM2E8RbQH8z62dmbYAxwIz4Dcysh5nFYrgKuCeanwmcYGZdo8bpE6Jl0kjS3aWkRmiRliFrT1K7+w4zu5RwYW8F3OPuC8zseqDU3WcARwM3mpkDLwGXRPuuNbNfEJIMwPXuvjZbsUp16brKiCWBceOUEESaOz1JLbvRXUoiLYeepJZa0V1KIgJKEJKE7lISEVCCkCR0l5KIgBJEi6W7lESkJhoPogXSXUoikgmVIFqgdAP6iIjEqATRAukupdz55BN48klYvRp27AjTzp3VXysqQsLetCn5tH077LUXdOpUNXXsWDXfpQt061Y1de9eNd+1K7RqFXrhragIx4p/raiA1q2hffswtWsXqiFTcYetW2HLlurT5s3J32/bVvU9k333/feHY4+FQw4J1ZuSW0oQLVCfPsmfc2hJdymtXw8rV8JnnyWftmyBgQNh6FAYMgS+8pVw4ayLjz6CRx+FRx6Bf/2r+joz2HPPqqlVq/DaoUNIArFp332r5lu3DhfcDRvCVF4Oy5ZVvd+wIfmIfjGtWoULcqbatq2eMLZvr7rob91at3NSU1z77QfHHBOSxbHHQr9+NSeMysr0yawm7kpKiZQgWqDJk6u3QUDLuEvpww+rLtSvvbb7ejPo0QP22SdcpJ9/PvzihXCRjCWMoUOhf//qv+Bjv+Lbtg3HWbYsfM4jj8Cbb4ZjDB0KN9wAZ54JBx8cLoj1uaClsnMnfP45rF0La9aE19j8mjXhl3rr1tCmTfXX2FRRsXuJIDZt3Rq2b98+/JuJJY5kU+L6Dh3C+UlMhnvuWXUeli0L5z02PRx18N+3b0gYnTvDunUhwa9fXzW/bl0oXRUUwODBUFhYNR18cPiMmK1b4b33YN68qmn+/HCcgQN333+ffer2d3AP5yxW8tuwATZurJ7IY9POnTBoEAwfDgcckD+JSk9St1AlJaHN4aOPQslh8uSm1Si9cWP4z9etW7jQpLJ0adWF+q2o45aiIjj99HCR32efqql79+rHqqiARYtg7lyYM6fqNV3P8nvuGRLF+vXh/fDhcNZZYTr44Pp/75bEHf7976pk8eKLIbl17Qp77x2m2HzXriEBLVkSLviLFlWVRmLJ/YAD4P33wxRb165dWFdYGI6zYEHY/9NPq+LYd9+QNPbbr3pVXGL1XGK14ObN6UtyqfToEf7dFBeH12wnjXRPUitBSJPgDu++C//4R5heeSVcLMzCxaFnz/AfKzZ17hwuKG+/HfY/7LBwkf72t+Ggg+oXx8qVocuR2K+/ZL8KCwrCZ/Xr1xDfXmpr69aQXOJLCB99FKoK40sIsZJcovLysE98KWPt2lB6Six5xV7bt69eLRg/deiQus2oU6fw72rePJg9O0ylpSFZxRJZrHov8XNj80OGwD337P49MqEE0QI19RICwBdfwHPPVSWFsrKwvLAQTjoJevUKjb3JprVrQ5XOd74TqnQKCnL6VURqbcuWqqTxwQe7l1jiX/v3h9tuq9vnpEsQaoNohjJ5ziFfVFSEJPbBB2FaurRqfuHCUEro3BmOPx4mTYLRo0NiEGnu2reHkSPDlCsqQTRD+dwb69at8Oyz8Nhj8MILIc74O2ratoUDDwzVQIMGhYTwta/V/Q4iEUlPJYgWJt+ec1i/Hv7+d3j88VBVtGlTValgzJiQDGLT/vtn584eEak9JYhmKB+ec1i7FqZPDyWF558PVUX77QfnngtnnBFuWWzTpvHiEZHaU4JohnL1nIN7uHPo7rvDbaXbtoXGs8svD7eVjhyp0oFIU6IE0QzFGqIb6y6mVavgvvtCYli8OHT1cNFFcOGF4U6ifHnoR0RqJ6sJwsxGA3cQxqS+291/lbC+D3AfsHe0zZXu/pSZFQDvAYuiTV939x9kM9bmJtu9sbrDM8/AXXfBjBmhCunII+HnPw/3/yeOJyEiTU+NBX4zu9TMutb2wGbWCpgCnAQMAMaa2YCEza4Fprv7MGAM8Lu4dR+4+9BoUnJIkG48h2ybNSvcWXTiifDyy3DZZeGhpJdegu99T8lBpLnIpASxH/CWmb0N3APM9MzujR0BLHH3pQBmNg04DVgYt40DnaP5LsCKTANvyXL1nMObb4Zqq2efDc8i3HUXnH++GptFmqsaSxDufi3QH/gTcD6w2Mx+aWY1dVjQC/g47n1ZtCzeJOBcMysDngJ+FLeun5m9Y2YvmtmRNcXZkjT2eA7z51c1Ms+ZE57YXLIkJCUlB5HmK6N7SqISw6fRtAPoCjxiZjel2S1Z02RiyWMs8Gd37w2cDDxgZnsAK4E+UdXT5cBDZtY5YV/MbKKZlZpZaXm6HtSamcZ6zuGDD0KJZMiQ8FDbL34RnnS+7LLQL4yING+ZtEH82MxmAzcBrwKD3f1iYDjw7TS7lgEHxL3vze5VSBcC0wHc/TWgHdDD3be5+5po+WzgA+DLiR/g7lPdvdjdi3v27FnTV2k2Uj3P0FDPOVRWhlLCoEHhOYYrrgiJ4dprQ8diItIyZFKC6AGc6e4nuvtf3b0CwN0rgW+l2e8toL+Z9TOzNoRG6BkJ23wEHAdgZocSEkS5mfWMGrkxswMJVVxLa/G9mrXJk3dvCG6o5xyWLg0PsV1+eXjSeckSuPHG0K22iLQsmSSIp4C1sTdm1snMRgK4+3updnL3HcClwEzCLavT3X2BmV1vZqdGm/0nMMHM5gIPA+dH1VlfB+ZFyx8BfuDua3f/lJZp3DiYOjX0rWQWXqdOrV8DtTv84Q+hp9Q5c+Dee8Ptq/vv33Bxi0jTUmNnfWb2DlAUu3MpaiModfeiRogvY+qsr+4+/jg82PbPf4ZSw5/+1LKGHxVpydJ11pdJCcLib2uNqpb0BHYz4A733x8GUHnlFZgyBWbOVHIQkSCTBLE0aqhuHU3/gdoDmrQVK+COO+Dww+G880KCmDsXfvhD9ZUkIlUyuRz8APga8AnhzqSRwMRsBiUNb/Xq8GDbMcdA797hVtVt2+DOO8MtrBovWUQS1VhV5O6fEe5AkiZm2zaYNi1MzzwTBub5ylfguuvg7LPhkENyHaGI5LMaE4SZtSM8r0+IwzMAABTtSURBVDCQcBsqAO4+PotxCfUbV/qLL+CUU0L/SAUF8F//FQbnKSxU76oikplMGpsfAP4NnAhcD4wj3LYqWVSf/pbWrAlDdc6ZAw88ELZXUhCR2sqkDeJgd/85sMnd7wO+CQzOblhS1/6WVq6Eo44K/Sc9/ngYwU3JQUTqIpMSREX0ut7MBhH6YyrIWkQC1K2/peXLw3MMq1aFsZ+POSYroYlIC5FJCWJqNB7EtYSuMhYCv85qVFLr/pb+/W8YNSqMBf3ss0oOIlJ/aRNE9NT0F+6+zt1fcvcD3X0fd7+rkeJrsWrT39I774TR3HbsCLesjhzZKCGKSDOXNkFET01f2kixSJxM+1t69dVQWujQIYzuVliYm3hFpPnJpA3iGTP7KfAXYFNsoTrPy76axpWO3enUq1eoVlIXGSLSkDJJELHnHS6JW+bAgQ0fjmRiwwa45JJwC+sRR8Cjj8K+++Y6KhFpbjJ5krpfYwQimXnzTTjnHFi2DCZNCre97qmuE0UkCzJ5kvr/JVvu7vc3fDiSSmUl3HQT/PznYYyGF18Mdy2JiGRLJr89D4ubb0cYAe5tQAmikaxYAd/7Hjz/PHznO6HTva5dcx2ViDR3mVQx/Sj+vZl1IXS/IY3gb3+DCy6ALVvg7rth/Hg9GS0ijaMuvf9vJowRLfVUUhI60ttjj/BaUlJ9/auvwmmnhbuT3n4bLrxQyUFEGk8mbRB/I9y1BCGhDACmZzOolqCmzvi2bAklh759Q3tDp065i1VEWqZM2iBujpvfAXzo7mWZHNzMRgN3AK2Au939Vwnr+wD3AXtH21zp7k9F664idDO+E/ixu8/M5DObinSd8Y0bFxqjFy+G555TchCR3MgkQXwErHT3rQBm1t7MCtx9ebqdzKwVMAX4BmEkurfMbIa7L4zb7Fpgurv/3swGAE8BBdH8GMIYFPsDz5rZl919Zy2/X95K1xnfa6/BbbfB978Pxx7buHGJiMRk0gbxV6Ay7v3OaFlNRgBL3H2pu28HpgGnJWzjQOdovguwIpo/DZjm7tvcfRmwJDpes5HqqecDDggN0b17h9taRURyJZMEsWd0gQcgmm+TwX69gI/j3pdFy+JNAs41szJC6SF2x1Qm+zZpqTrjKywMPbPefTd07px8XxGRxpBJgig3s1Njb8zsNGB1Bvslu9/GE96PBf7s7r2Bk4EHoh5kM9kXM5toZqVmVlpeXp5BSPkjWWd8V1wBTz0FF10E3/hGriMUkZYukzaIHwAlZnZn9L4MSPp0dYIy4IC4972pqkKKuRAYDeDur0XjX/fIcF/cfSowFaC4uHi3BJLv4jvj27YNiorCU9I335x+PxGRxlBjCcLdP3D3wwm3tw5096+5+5IMjv0W0N/M+plZG0Kj84yEbT4iPJmNmR1KeFK7PNpujJm1NbN+hOcu3sz0SzVF118PCxfCH/8IXbrkOhoRkQwShJn90sz2dveN7r7BzLqa2Q017efuOwhjScwE3iPcrbTAzK6Pq7L6T2CCmc0FHgbO92AB4VmLhcDTwCXN6Q6mRKWl8Otfh+ceRo/OdTQiIoG5p6+ZMbN33H1YwrK33b0oq5HVUnFxsZeWluY6jFrbtg2Ki8NQoQsWwN575zoiEWlJzGy2uxcnW5dJG0QrM2vr7tuig7UH2jZkgC3ZDTfAu+/Ck08qOYhIfskkQTwIPGdm90bvLyA8/Sz19I9/hNtdzz8fvvnNXEcjIlJdJr253mRm84DjCbefPg30zXZgzd3778PYsTBkCEyZkutoRER2l2lvrp8Snqb+NuGuo/eyFlEL8MUXcPrp0Lo1PP747g/MiYjkg5QlCDP7MuHW1LHAGuAvhEbtYxoptmapshLOPTeUIJ59NjwgJyKSj9KVIP5NKC2c4u6j3P1/Cf0wSYaSjfcwaVIYBOj22+Hoo3Mbn4hIOunaIL5NKEHMMrOnCZ3tabiaDCUb72H8eNi+Pbxecklu4xMRqUnKEoS7P+buZwOHAC8APwH2NbPfm9kJjRRfk5VsvIft26FNG/jd7zQynIjkv0y62tjk7iXu/i1Cn0hzgCuzHlkTl2q8h+3boa2eIhGRJqBWY1K7+1p3v8vdNYxNDVKN96BGaRFpKmqVICRzqcZ7mDw5N/GIiNSWEkSWjBsHv/xl1fu+fcP4D7HuvUVE8l0mXW1IHc2ZE9obFi8OQ4mKiDQlKkFkyYIFcP/9cOmlSg4i0jQpQWTJ1VdDx45w1VW5jkREpG6UILLgX/+CGTPgZz+D7t1zHY2ISN0oQTQwd7jySth3X7jsslxHIyJSd2qkbmBPPQUvvxy68N5rr1xHIyJSdypBNKDKytDmcNBBMGFCrqMREamfrJYgzGw0cAfQCrjb3X+VsP42INZ9eAdgH3ffO1q3E5gfrfvI3U/NZqwN4aGHYP58ePjhMNaDiEhTlrUEYWatgCnAN4Ay4C0zm+HuC2PbuPtP4rb/ETAs7hBb3H1otuJraNu2wc9/DsOGwXe/m+toRETqL5tVTCOAJe6+1N23E7oLPy3N9mOBh7MYT1ZNnQrLl8ONN4bxH0REmrpsXsp6AR/HvS+Llu3GzPoC/YDn4xa3M7NSM3vdzE5Psd/EaJvS8vLyhoo7Y7EBgczCHUsDBsAJ6ghdRJqJbCaIZCMeeIptxwCPuHv8iHV93L0YOAe43cwO2u1g7lPdvdjdi3v27Fn/iGshNiDQhx+G95WV8MEHoR1CRKQ5yGaCKAPiO5noDaxIse0YEqqX3H1F9LqUMGDRsN13y51kAwJt2xaWi4g0B9lMEG8B/c2sn5m1ISSBGYkbmdlXgK7Aa3HLuppZ22i+B3AEsDBx31xKNSBQquUiIk1N1hKEu+8ALgVmAu8B0919gZldb2bxt6yOBaa5e3z106FAqZnNBWYBv4q/+ykfpBoQKNVyEZGmxqpfl5uu4uJiLy0tbbTPKymBCy6AioqqZR06aMwHEWlazGx21N67G92QWUff/S507hzGezDTgEAi0vyoL6Y6euQRWLMm9Np6yim5jkZEpOGpBFEH7nDzzfCVr8A3v5nraEREskMliDp44QV4++1QpaSnpkWkudLlrQ5uuQX22Qe+971cRyIikj1KELW0cCH8/e9hrOl27XIdjYhI9ihB1NKtt0L79nDxxbmOREQku5QgauHTT+GBB8LzDz165DoaEZHsUoKohTvvDA/G/eQnNW8rItLUKUFkaNMm+N3v4PTT4eCDcx2NiEj2KUFk6N57Yd06+OlPcx2JiEjjUILIwM6dcNtt8NWvwte+lutoREQahxJEBh5/HJYuVelBRFoWJYgauMNvfgMHHQSnpRtRW0SkmVFXGzV4440wTZkCrVrlOhoRkcajEkQaJSXwjW+E+V/9KrwXEWkpVIJIoaQEJkyALVvC+48/hokTw7zGfBCRlkAliBSuuaYqOcRs3hyWi4i0BEoQKXz0Ue2Wi4g0N1lNEGY22swWmdkSM7syyfrbzGxONL1vZuvj1p1nZouj6bxsxplM797Jl/fp07hxiIjkStYShJm1AqYAJwEDgLFmNiB+G3f/ibsPdfehwP8C/xft2w24DhgJjACuM7Ou2Yo1mWTDiHboAJMnN2YUIiK5k80SxAhgibsvdfftwDQg3ZMEY4GHo/kTgWfcfa27rwOeAUZnMdbdfPghdO8eSgxm0LdvGEFODdQi0lJkM0H0Aj6Oe18WLduNmfUF+gHP12ZfM5toZqVmVlpeXt4gQQOsXg0zZ8KFF4ZEUVkJy5crOYhIy5LNBGFJlnmKbccAj7j7ztrs6+5T3b3Y3Yt79uxZxzB399e/wo4dSggi0rJlM0GUAQfEve8NrEix7Riqqpdqu2+De+ghGDgQBg9urE8UEck/2UwQbwH9zayfmbUhJIEZiRuZ2VeArsBrcYtnAieYWdeocfqEaFnWffghvPJKKD1YsnKMiEgLkbUnqd19h5ldSriwtwLucfcFZnY9UOrusWQxFpjm7h6371oz+wUhyQBc7+5rsxVrvIejcsyYMY3xaSIi+cvirstNWnFxsZeWltb7OIMHQ+fO8OqrDRCUiEieM7PZ7l6cbJ2epI4zfz68+64ap0VEQAmimpKS0KX3d76T60hERHJPCSJSWRnaH048ERrwjlkRkSZLCSLy6quhI75zzsl1JCIi+UEJIvLQQ6GvJQ0rKiISKEEA27fD9OkhOXTsmOtoRETygxIE8M9/wtq1ql4SEYmnBEGoXurePTRQi4hI0OITxMaN8MQT4dbW1q1zHY2ISP5o8Qli0yb43vfgvEYfs05EJL9lrS+mpmLffeEPf8h1FCIi+afFlyBERCQ5JQgREUlKCUJERJJSghARkaSUIEREJCklCBERSUoJQkREklKCEBGRpLKaIMxstJktMrMlZnZlim2+a2YLzWyBmT0Ut3ynmc2JphnZjFNERHaXtSepzawVMAX4BlAGvGVmM9x9Ydw2/YGrgCPcfZ2Z7RN3iC3uPjRb8YmISHrZLEGMAJa4+1J33w5MAxKH45kATHH3dQDu/lkW4xERkVrIZoLoBXwc974sWhbvy8CXzexVM3vdzEbHrWtnZqXR8tOTfYCZTYy2KS0vL2/Y6EVEWrhsdtZnSZZ5ks/vDxwN9AZeNrNB7r4e6OPuK8zsQOB5M5vv7h9UO5j7VGAqQHFxceKxRUSkHrJZgigDDoh73xtYkWSbJ9y9wt2XAYsICQN3XxG9LgVeAIZlI8iSEigogD32CK8lJdn4FBGRpiebCeItoL+Z9TOzNsAYIPFupMeBYwDMrAehymmpmXU1s7Zxy48AFtLASkpg4kT48ENwD68TJypJiIhAFhOEu+8ALgVmAu8B0919gZldb2anRpvNBNaY2UJgFvBf7r4GOBQoNbO50fJfxd/91FCuuQY2b66+bPPmsFxEpKUz9+ZRdV9cXOylpaW12mePPULJIZEZVFY2UGAiInnMzGa7e3GydS36Seo+fWq3XESkJWnRCWLyZOjQofqyDh3CchGRlq5FJ4hx42DqVOjbN1Qr9e0b3o8bl+vIRERyL5vPQTQJ48YpIYiIJNOiSxAiIpKaEoSIiCSlBCEiIkkpQYiISFJKECIiklSzeZLazMqBD9Ns0gNY3Ujh1JZiqxvFVjeKrW6aa2x93b1nshXNJkHUxMxKUz1OnmuKrW4UW90otrppibGpiklERJJSghARkaRaUoKYmusA0lBsdaPY6kax1U2Li63FtEGIiEjttKQShIiI1IIShIiIJNXsE4SZjTazRWa2xMyuzHU8icxsuZnNN7M5Zla7IfEaPpZ7zOwzM3s3blk3M3vGzBZHr13zKLZJZvZJdO7mmNnJOYjrADObZWbvmdkCM/uPaHnOz1ua2PLhvLUzszfNbG4U2/9Ey/uZ2RvReftLNJ59vsT2ZzNbFnfehjZ2bHExtjKzd8zsyeh9ds6buzfbCWgFfAAcCLQB5gIDch1XQozLgR65jiOK5etAEfBu3LKbgCuj+SuBX+dRbJOAn+b4nH0JKIrmOwHvAwPy4byliS0fzpsBHaP51sAbwOHAdGBMtPwPwMV5FNufgbNyed7iYrwceAh4MnqflfPW3EsQI4Al7r7U3bcD04DTchxT3nL3l4C1CYtPA+6L5u8DTm/UoCIpYss5d1/p7m9H8xuA94Be5MF5SxNbznmwMXrbOpocOBZ4JFqeq/OWKra8YGa9gW8Cd0fvjSydt+aeIHoBH8e9LyNP/oPEceCfZjbbzCbmOpgk9nX3lRAuOMA+OY4n0aVmNi+qgspJ9VeMmRUAwwi/OPPqvCXEBnlw3qJqkjnAZ8AzhNL+enffEW2Ss/+vibG5e+y8TY7O221m1jYXsQG3Az8DKqP33cnSeWvuCcKSLMubXwKRI9y9CDgJuMTMvp7rgJqQ3wMHAUOBlcAtuQrEzDoCjwKXufsXuYojmSSx5cV5c/ed7j4U6E0o7R+abLPGjSr60ITYzGwQcBVwCHAY0A24orHjMrNvAZ+5++z4xUk2bZDz1twTRBlwQNz73sCKHMWSlLuviF4/Ax4j/EfJJ6vM7EsA0etnOY5nF3dfFf1HrgT+SI7OnZm1JlyAS9z9/6LFeXHeksWWL+ctxt3XAy8Q6vn3NrPYUMg5//8aF9voqMrO3X0bcC+5OW9HAKea2XJClfmxhBJFVs5bc08QbwH9oxb+NsAYYEaOY9rFzPYys06xeeAE4N30ezW6GcB50fx5wBM5jKWa2AU4cgY5OHdR/e+fgPfc/da4VTk/b6liy5Pz1tPM9o7m2wPHE9pIZgFnRZvl6rwli+3fcQnfCHX8jX7e3P0qd+/t7gWE69nz7j6ObJ23XLfGZ3sCTibcvfEBcE2u40mI7UDCnVVzgQW5jg94mFDlUEEofV1IqN98DlgcvXbLo9geAOYD8wgX5C/lIK5RhOL8PGBONJ2cD+ctTWz5cN4KgXeiGN4F/jtafiDwJrAE+CvQNo9iez46b+8CDxLd6ZSrCTiaqruYsnLe1NWGiIgk1dyrmEREpI6UIEREJCklCBERSUoJQkREklKCEBGRpJQgRGpgZjvjevCcYw3YK7CZFcT3UCuST/aseRORFm+Lh24XRFoUlSBE6sjCWB6/jsYOeNPMDo6W9zWz56JO3Z4zsz7R8n3N7LFonIG5Zva16FCtzOyP0dgD/4ye3sXMfmxmC6PjTMvR15QWTAlCpGbtE6qYzo5b94W7jwDuJPSJQzR/v7sXAiXAb6PlvwVedPchhLEtFkTL+wNT3H0gsB74drT8SmBYdJwfZOvLiaSiJ6lFamBmG929Y5Lly4Fj3X1p1Cnep+7e3cxWE7qvqIiWr3T3HmZWDvT20Nlb7BgFhO6k+0fvrwBau/sNZvY0sBF4HHjcq8YoEGkUKkGI1I+nmE+1TTLb4uZ3UtU2+E1gCjAcmB3XW6dIo1CCEKmfs+NeX4vm/0XoaRNgHPBKNP8ccDHsGpCmc6qDmtkewAHuPoswOMzewG6lGJFs0i8SkZq1j0YXi3na3WO3urY1szcIP7bGRst+DNxjZv8FlAMXRMv/A5hqZhcSSgoXE3qoTaYV8KCZdSEMCHObh7EJRBqN2iBE6ihqgyh299W5jkUkG1TFJCIiSakEISIiSakEISIiSSlBiIhIUkoQIiKSlBKEiIgkpQQhIiJJ/X+r16U0I07YEQAAAABJRU5ErkJggg==\n",
      "text/plain": [
       "<Figure size 432x288 with 1 Axes>"
      ]
     },
     "metadata": {
      "needs_background": "light"
     },
     "output_type": "display_data"
    }
   ],
   "source": [
    "plt.clf()   # clear figure\n",
    "\n",
    "plt.plot(epochs, acc, 'bo', label='Training acc')\n",
    "plt.plot(epochs, val_acc, 'b', label='Validation acc')\n",
    "plt.title('Training and validation accuracy')\n",
    "plt.xlabel('Epochs')\n",
    "plt.ylabel('Accuracy')\n",
    "plt.legend()\n",
    "\n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "anaconda-cloud": {},
  "kernelspec": {
   "display_name": "Python 3.7 (tensorflow)",
   "language": "python",
   "name": "tensorflow"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.5"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}