d2l_8_2_TextPreprocess.ipynb

{
  "nbformat": 4,
  "nbformat_minor": 0,
  "metadata": {
    "colab": {
      "name": "d2l_8.2_TextPreprocess.ipynb",
      "provenance": [],
      "collapsed_sections": [],
      "authorship_tag": "ABX9TyO7A3ZCzSuJpYm9KGsZWT4E",
      "include_colab_link": true
    },
    "kernelspec": {
      "name": "python3",
      "display_name": "Python 3"
    },
    "language_info": {
      "name": "python"
    },
    "gpuClass": "standard"
  },
  "cells": [
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "view-in-github",
        "colab_type": "text"
      },
      "source": [
        "<a href=\"https://colab.research.google.com/github/forMwish/MyDeepLearn/blob/master/d2l_8_2_TextPreprocess.ipynb\" target=\"_parent\"><img src=\"https://colab.research.google.com/assets/colab-badge.svg\" alt=\"Open In Colab\"/></a>"
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "# 1. 准备"
      ],
      "metadata": {
        "id": "bo_lOangodXE"
      }
    },
    {
      "cell_type": "code",
      "execution_count": 1,
      "metadata": {
        "id": "TjDcbf_9oQwv",
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "outputId": "dbb867d3-8bee-49a1-b345-cf2ba429b17b"
      },
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "Mounted at /gdrive\n"
          ]
        },
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "0"
            ]
          },
          "metadata": {},
          "execution_count": 1
        }
      ],
      "source": [
        "# 挂载 gdrive，选择\n",
        "from google.colab import drive\n",
        "import os\n",
        "\n",
        "gdrive_path = '/gdrive'\n",
        "drive.mount(gdrive_path, force_remount=True)\n",
        "\n",
        "os.chdir(\"%s/MyDrive\"%gdrive_path)\n",
        "\n",
        "name = \"d2l_8.2\"\n",
        "try:\n",
        "    os.mkdir(f\"./{name}\")\n",
        "    os.chdir(f\"./{name}\")\n",
        "except:\n",
        "    os.chdir(f\"./{name}\")\n",
        "\n",
        "# 安装 d2l\n",
        "os.system(\"pip install d2l==0.17.5\")\n",
        "\n",
        "# 解决 matplot 相关问题\n",
        "os.system(\"pip uninstall matplotlib\")\n",
        "os.system(\"pip install matplotlib==3.1.3\")"
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "# 其它配置\n",
        "import torch\n",
        "import numpy as np\n",
        "import matplotlib.pyplot as plt\n",
        "import pandas as pd\n",
        "import random\n",
        "\n",
        "# notebook 设置tag补全\n",
        "%config Completer.use_jedi = False\n",
        "\n",
        "# 优先使用 gpu 设备\n",
        "device = torch.device(\"cuda:0\" if torch.cuda.is_available() else \"cpu\")\n",
        "print(\"use device:\", device)\n",
        "\n",
        "# pyplot 使用黑暗模式\n",
        "plt.style.use(\"default\")\n",
        "# plt.style.use(\"dark_background\")\n",
        "\n",
        "# pytorch 随机种子固定\n",
        "torch.manual_seed(0)\n",
        "if torch.cuda.is_available():\n",
        "    torch.cuda.manual_seed_all(0)\n",
        "\n",
        "# numpy 随机种子固定\n",
        "np.random.seed(0)\n",
        "\n",
        "# python 随机种子固定\n",
        "random.seed(0)"
      ],
      "metadata": {
        "id": "V6L00o91obFr",
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "outputId": "76fb57c4-a221-49a9-a249-9de51e7e7c64"
      },
      "execution_count": 2,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "use device: cpu\n"
          ]
        },
        {
          "output_type": "stream",
          "name": "stderr",
          "text": [
            "/usr/local/lib/python3.7/dist-packages/ipykernel_launcher.py:9: UserWarning: Config option `use_jedi` not recognized by `IPCompleter`.\n",
            "  if __name__ == '__main__':\n"
          ]
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "# 2. 开始"
      ],
      "metadata": {
        "id": "RS73kOxzoiSL"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "import collections\n",
        "import re\n",
        "from d2l import torch as d2l\n",
        "\n",
        "d2l.DATA_HUB['time_machine'] = (d2l.DATA_URL + 'timemachine.txt',\n",
        "                                '090b5e7e70c295757f55df93cb0a180b9691891a')\n",
        "\n",
        "# 读取数据集\n",
        "def read_time_machine():\n",
        "    \"\"\"将时间机器数据集加载到文本行的列表中\"\"\"\n",
        "    with open(d2l.download('time_machine'), 'r') as f:\n",
        "        lines = f.readlines()\n",
        "        \n",
        "    return [re.sub('[^A-Za-z]+', ' ', line).strip().lower() for line in lines], lines\n",
        "\n",
        "lines, lines_orig = read_time_machine()\n",
        "print(f'# 文本总行数: {len(lines)}')\n",
        "print(lines[0],\"\\n\", lines_orig[0])\n",
        "print(lines[10],\"\\n\", lines_orig[10])\n",
        "\n",
        "# print(lines_orig[0])\n",
        "# print(re.sub('[^A-Za-z]+', '1', lines_orig[0]))\n",
        "# print(re.sub('[^A-Za-z]+', '1', lines_orig[0]).strip(\"1T\"))"
      ],
      "metadata": {
        "id": "agb8rkXPS1Gs",
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "outputId": "bef39c13-21a6-462e-b305-5d67fb8bd966"
      },
      "execution_count": 3,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "# 文本总行数: 3221\n",
            "the time machine by h g wells \n",
            " The Time Machine, by H. G. Wells [1898]\n",
            "\n",
            "twinkled and his usually pale face was flushed and animated the \n",
            " twinkled, and his usually pale face was flushed and animated. The\n",
            "\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "# 词元化（tokenize）\n",
        "def tokenize(lines, token='word'):\n",
        "    \"\"\" 将文本行拆分为单词或者字符\n",
        "    \"\"\"\n",
        "    if token == 'word':\n",
        "        return [line.split() for line in lines]\n",
        "    elif token == \"char\":\n",
        "        return [list(line) for line in lines]\n",
        "    else:\n",
        "        print(\"[error]\")\n",
        "\n",
        "tokens = tokenize(lines)\n",
        "for i in range(11):\n",
        "    print(tokens[i])"
      ],
      "metadata": {
        "id": "VbvAFTCeTfvf",
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "outputId": "a81497e5-39cf-46cf-a1b0-f7c591e0d9f7"
      },
      "execution_count": 11,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "['the', 'time', 'machine', 'by', 'h', 'g', 'wells']\n",
            "[]\n",
            "[]\n",
            "[]\n",
            "[]\n",
            "['i']\n",
            "[]\n",
            "[]\n",
            "['the', 'time', 'traveller', 'for', 'so', 'it', 'will', 'be', 'convenient', 'to', 'speak', 'of', 'him']\n",
            "['was', 'expounding', 'a', 'recondite', 'matter', 'to', 'us', 'his', 'grey', 'eyes', 'shone', 'and']\n",
            "['twinkled', 'and', 'his', 'usually', 'pale', 'face', 'was', 'flushed', 'and', 'animated', 'the']\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "# 词表 （vocabulary）:\n",
        "#    对语料中每个唯一词元的出现频率，为其分配一个数字索引。\n",
        "#    很少出现的词元通常被移除，以降低复杂性。\n",
        "#    <unk>: 语料库中不存在或已删除的任何词元\n",
        "#    <pad>: 填充词元，pad长度\n",
        "#    <bos>: 序列开始词元\n",
        "#    <eos>: 序列结束词元\n",
        "# 语料（corpus）:\n",
        "#    将训练集中的所有文档合并在一起，对他们的唯一词元进行统计，得到的统计结果(也就是词元的频率)\n",
        "\n",
        "def count_corpus(tokens):\n",
        "    \"\"\" 统计词元的频率\n",
        "    \"\"\"\n",
        "    # 这里的tokens是1D列表或2D列表\n",
        "    if len(tokens) == 0:\n",
        "        print(\"============\")\n",
        "    if len(tokens) == 0 or isinstance(tokens[0], list):\n",
        "        # 将词元列表展平成一个列表\n",
        "        tokens = [token for line in tokens for token in line]\n",
        "    return collections.Counter(tokens)    \n",
        "\n",
        "class Vocab:\n",
        "    \"\"\" 文本词表\n",
        "    \"\"\"\n",
        "    def __init__(self, tokens=None, min_freq=0, reserved_tokens=None):\n",
        "        if tokens is None:\n",
        "            tokens = []\n",
        "        if reserved_tokens is None:\n",
        "            reserved_tokens = []\n",
        "        # 按出现频率排序\n",
        "        self.counter = count_corpus(tokens)\n",
        "        self._token_freqs = sorted(self.counter.items(), key=lambda x:x[1], reverse=True)\n",
        "\n",
        "        # 未知词元的索引为 0, 并添加 reserved_tokens\n",
        "        self.idx_to_token = ['<unk>'] + reserved_tokens\n",
        "        self.token_to_idx = {token:idx for idx, token in enumerate(self.idx_to_token)}\n",
        "        for token, freq in self._token_freqs:\n",
        "            if freq < min_freq:\n",
        "                break\n",
        "            if token not in self.token_to_idx:\n",
        "                self.idx_to_token.append(token)\n",
        "                self.token_to_idx[token] = len(self.idx_to_token) - 1\n",
        "    \n",
        "    def __len__(self):\n",
        "        return len(self.idx_to_token)\n",
        "    \n",
        "    def __getitem__(self, tokens):\n",
        "        if not isinstance(tokens, (list, tuple)):\n",
        "            return self.token_to_idx.get(tokens, self.unk)\n",
        "        return [self.getitem__(token) for token in tokens]\n",
        "\n",
        "    def to_tokens(self, indices):\n",
        "        if not isinstance(indices, (list, tuple)):\n",
        "            return self.idx_to_token[indices]\n",
        "        return [self.idx_to_token[index] for index in indices]\n",
        "\n",
        "    @property # 修饰器，后面的函数可以当做属性进行调用\n",
        "    def unk(self):\n",
        "        return 0\n",
        "    \n",
        "    @property\n",
        "    def token_freqs(self):\n",
        "        return self._token_freqs\n",
        "\n",
        "\n",
        "vocab = Vocab(tokens)\n",
        "for i, data in enumerate( vocab.counter.most_common()): # 可以直接用 collections.counter.most_common() 返回排序后的数据\n",
        "    print(data)\n",
        "    print(vocab._token_freqs[i])\n",
        "    if i>10:\n",
        "        break"
      ],
      "metadata": {
        "id": "cla5hgrEzNta",
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "outputId": "fb285be1-86c4-4cfe-b930-dc58f2c0abae"
      },
      "execution_count": 12,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "('the', 2261)\n",
            "('the', 2261)\n",
            "('i', 1267)\n",
            "('i', 1267)\n",
            "('and', 1245)\n",
            "('and', 1245)\n",
            "('of', 1155)\n",
            "('of', 1155)\n",
            "('a', 816)\n",
            "('a', 816)\n",
            "('to', 695)\n",
            "('to', 695)\n",
            "('was', 552)\n",
            "('was', 552)\n",
            "('in', 541)\n",
            "('in', 541)\n",
            "('that', 443)\n",
            "('that', 443)\n",
            "('my', 440)\n",
            "('my', 440)\n",
            "('it', 437)\n",
            "('it', 437)\n",
            "('had', 354)\n",
            "('had', 354)\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "# 整合功能\n",
        "\n",
        "def load_corpus_time_machine(max_tokens=-1):\n",
        "    \"\"\" 返回时光机器数据集的词元索引列表和词表\n",
        "    \"\"\"\n",
        "    lines, lines_orig = read_time_machine()\n",
        "    tokens = tokenize(lines, \"char\")\n",
        "    print(f\"tokens:{tokens[:100]}\")\n",
        "    vocab = Vocab(tokens)\n",
        "    print(vocab.token_freqs[:10])\n",
        "    # 因为时光机器数据集中的每个文本行不一定是一个句子或一个段落，\n",
        "    # 所以将所有文本行展平到一个列表中\n",
        "    corpus = [vocab[token] for line in tokens for token in line]\n",
        "    print(corpus[:100])    \n",
        "    if max_tokens > 0:\n",
        "        corpus = corpus[:max_tokens]\n",
        "    return corpus, vocab\n",
        "\n",
        "corpus, vocab = load_corpus_time_machine()\n",
        "len(corpus), len(vocab)\n",
        "print(vocab.idx_to_token[:10])"
      ],
      "metadata": {
        "id": "ycqJh-4gVN2w",
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "outputId": "88e9493a-1051-4c5d-8f76-b8eb367cc124"
      },
      "execution_count": 17,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "tokens:[['t', 'h', 'e', ' ', 't', 'i', 'm', 'e', ' ', 'm', 'a', 'c', 'h', 'i', 'n', 'e', ' ', 'b', 'y', ' ', 'h', ' ', 'g', ' ', 'w', 'e', 'l', 'l', 's'], [], [], [], [], ['i'], [], [], ['t', 'h', 'e', ' ', 't', 'i', 'm', 'e', ' ', 't', 'r', 'a', 'v', 'e', 'l', 'l', 'e', 'r', ' ', 'f', 'o', 'r', ' ', 's', 'o', ' ', 'i', 't', ' ', 'w', 'i', 'l', 'l', ' ', 'b', 'e', ' ', 'c', 'o', 'n', 'v', 'e', 'n', 'i', 'e', 'n', 't', ' ', 't', 'o', ' ', 's', 'p', 'e', 'a', 'k', ' ', 'o', 'f', ' ', 'h', 'i', 'm'], ['w', 'a', 's', ' ', 'e', 'x', 'p', 'o', 'u', 'n', 'd', 'i', 'n', 'g', ' ', 'a', ' ', 'r', 'e', 'c', 'o', 'n', 'd', 'i', 't', 'e', ' ', 'm', 'a', 't', 't', 'e', 'r', ' ', 't', 'o', ' ', 'u', 's', ' ', 'h', 'i', 's', ' ', 'g', 'r', 'e', 'y', ' ', 'e', 'y', 'e', 's', ' ', 's', 'h', 'o', 'n', 'e', ' ', 'a', 'n', 'd'], ['t', 'w', 'i', 'n', 'k', 'l', 'e', 'd', ' ', 'a', 'n', 'd', ' ', 'h', 'i', 's', ' ', 'u', 's', 'u', 'a', 'l', 'l', 'y', ' ', 'p', 'a', 'l', 'e', ' ', 'f', 'a', 'c', 'e', ' ', 'w', 'a', 's', ' ', 'f', 'l', 'u', 's', 'h', 'e', 'd', ' ', 'a', 'n', 'd', ' ', 'a', 'n', 'i', 'm', 'a', 't', 'e', 'd', ' ', 't', 'h', 'e'], ['f', 'i', 'r', 'e', ' ', 'b', 'u', 'r', 'n', 'e', 'd', ' ', 'b', 'r', 'i', 'g', 'h', 't', 'l', 'y', ' ', 'a', 'n', 'd', ' ', 't', 'h', 'e', ' ', 's', 'o', 'f', 't', ' ', 'r', 'a', 'd', 'i', 'a', 'n', 'c', 'e', ' ', 'o', 'f', ' ', 't', 'h', 'e', ' ', 'i', 'n', 'c', 'a', 'n', 'd', 'e', 's', 'c', 'e', 'n', 't'], ['l', 'i', 'g', 'h', 't', 's', ' ', 'i', 'n', ' ', 't', 'h', 'e', ' ', 'l', 'i', 'l', 'i', 'e', 's', ' ', 'o', 'f', ' ', 's', 'i', 'l', 'v', 'e', 'r', ' ', 'c', 'a', 'u', 'g', 'h', 't', ' ', 't', 'h', 'e', ' ', 'b', 'u', 'b', 'b', 'l', 'e', 's', ' ', 't', 'h', 'a', 't', ' ', 'f', 'l', 'a', 's', 'h', 'e', 'd', ' ', 'a', 'n', 'd'], ['p', 'a', 's', 's', 'e', 'd', ' ', 'i', 'n', ' ', 'o', 'u', 'r', ' ', 'g', 'l', 'a', 's', 's', 'e', 's', ' ', 'o', 'u', 'r', ' ', 'c', 'h', 'a', 'i', 'r', 's', ' ', 'b', 'e', 'i', 'n', 'g', ' ', 'h', 'i', 's', ' ', 'p', 'a', 't', 'e', 'n', 't', 's', ' ', 'e', 'm', 'b', 'r', 'a', 'c', 'e', 'd', ' ', 'a', 'n', 'd'], ['c', 'a', 'r', 'e', 's', 's', 'e', 'd', ' ', 'u', 's', ' ', 'r', 'a', 't', 'h', 'e', 'r', ' ', 't', 'h', 'a', 'n', ' ', 's', 'u', 'b', 'm', 'i', 't', 't', 'e', 'd', ' ', 't', 'o', ' ', 'b', 'e', ' ', 's', 'a', 't', ' ', 'u', 'p', 'o', 'n', ' ', 'a', 'n', 'd', ' ', 't', 'h', 'e', 'r', 'e', ' ', 'w', 'a', 's', ' ', 't', 'h', 'a', 't'], ['l', 'u', 'x', 'u', 'r', 'i', 'o', 'u', 's', ' ', 'a', 'f', 't', 'e', 'r', ' ', 'd', 'i', 'n', 'n', 'e', 'r', ' ', 'a', 't', 'm', 'o', 's', 'p', 'h', 'e', 'r', 'e', ' ', 'w', 'h', 'e', 'n', ' ', 't', 'h', 'o', 'u', 'g', 'h', 't', ' ', 'r', 'o', 'a', 'm', 's', ' ', 'g', 'r', 'a', 'c', 'e', 'f', 'u', 'l', 'l', 'y'], ['f', 'r', 'e', 'e', ' ', 'o', 'f', ' ', 't', 'h', 'e', ' ', 't', 'r', 'a', 'm', 'm', 'e', 'l', 's', ' ', 'o', 'f', ' ', 'p', 'r', 'e', 'c', 'i', 's', 'i', 'o', 'n', ' ', 'a', 'n', 'd', ' ', 'h', 'e', ' ', 'p', 'u', 't', ' ', 'i', 't', ' ', 't', 'o', ' ', 'u', 's', ' ', 'i', 'n', ' ', 't', 'h', 'i', 's'], ['w', 'a', 'y', ' ', 'm', 'a', 'r', 'k', 'i', 'n', 'g', ' ', 't', 'h', 'e', ' ', 'p', 'o', 'i', 'n', 't', 's', ' ', 'w', 'i', 't', 'h', ' ', 'a', ' ', 'l', 'e', 'a', 'n', ' ', 'f', 'o', 'r', 'e', 'f', 'i', 'n', 'g', 'e', 'r', ' ', 'a', 's', ' ', 'w', 'e', ' ', 's', 'a', 't', ' ', 'a', 'n', 'd', ' ', 'l', 'a', 'z', 'i', 'l', 'y'], ['a', 'd', 'm', 'i', 'r', 'e', 'd', ' ', 'h', 'i', 's', ' ', 'e', 'a', 'r', 'n', 'e', 's', 't', 'n', 'e', 's', 's', ' ', 'o', 'v', 'e', 'r', ' ', 't', 'h', 'i', 's', ' ', 'n', 'e', 'w', ' ', 'p', 'a', 'r', 'a', 'd', 'o', 'x', ' ', 'a', 's', ' ', 'w', 'e', ' ', 't', 'h', 'o', 'u', 'g', 'h', 't', ' ', 'i', 't'], ['a', 'n', 'd', ' ', 'h', 'i', 's', ' ', 'f', 'e', 'c', 'u', 'n', 'd', 'i', 't', 'y'], [], ['y', 'o', 'u', ' ', 'm', 'u', 's', 't', ' ', 'f', 'o', 'l', 'l', 'o', 'w', ' ', 'm', 'e', ' ', 'c', 'a', 'r', 'e', 'f', 'u', 'l', 'l', 'y', ' ', 'i', ' ', 's', 'h', 'a', 'l', 'l', ' ', 'h', 'a', 'v', 'e', ' ', 't', 'o', ' ', 'c', 'o', 'n', 't', 'r', 'o', 'v', 'e', 'r', 't', ' ', 'o', 'n', 'e', ' ', 'o', 'r', ' ', 't', 'w', 'o'], ['i', 'd', 'e', 'a', 's', ' ', 't', 'h', 'a', 't', ' ', 'a', 'r', 'e', ' ', 'a', 'l', 'm', 'o', 's', 't', ' ', 'u', 'n', 'i', 'v', 'e', 'r', 's', 'a', 'l', 'l', 'y', ' ', 'a', 'c', 'c', 'e', 'p', 't', 'e', 'd', ' ', 't', 'h', 'e', ' ', 'g', 'e', 'o', 'm', 'e', 't', 'r', 'y', ' ', 'f', 'o', 'r'], ['i', 'n', 's', 't', 'a', 'n', 'c', 'e', ' ', 't', 'h', 'e', 'y', ' ', 't', 'a', 'u', 'g', 'h', 't', ' ', 'y', 'o', 'u', ' ', 'a', 't', ' ', 's', 'c', 'h', 'o', 'o', 'l', ' ', 'i', 's', ' ', 'f', 'o', 'u', 'n', 'd', 'e', 'd', ' ', 'o', 'n', ' ', 'a', ' ', 'm', 'i', 's', 'c', 'o', 'n', 'c', 'e', 'p', 't', 'i', 'o', 'n'], [], ['i', 's', ' ', 'n', 'o', 't', ' ', 't', 'h', 'a', 't', ' ', 'r', 'a', 't', 'h', 'e', 'r', ' ', 'a', ' ', 'l', 'a', 'r', 'g', 'e', ' ', 't', 'h', 'i', 'n', 'g', ' ', 't', 'o', ' ', 'e', 'x', 'p', 'e', 'c', 't', ' ', 'u', 's', ' ', 't', 'o', ' ', 'b', 'e', 'g', 'i', 'n', ' ', 'u', 'p', 'o', 'n'], ['s', 'a', 'i', 'd', ' ', 'f', 'i', 'l', 'b', 'y', ' ', 'a', 'n', ' ', 'a', 'r', 'g', 'u', 'm', 'e', 'n', 't', 'a', 't', 'i', 'v', 'e', ' ', 'p', 'e', 'r', 's', 'o', 'n', ' ', 'w', 'i', 't', 'h', ' ', 'r', 'e', 'd', ' ', 'h', 'a', 'i', 'r'], [], ['i', ' ', 'd', 'o', ' ', 'n', 'o', 't', ' ', 'm', 'e', 'a', 'n', ' ', 't', 'o', ' ', 'a', 's', 'k', ' ', 'y', 'o', 'u', ' ', 't', 'o', ' ', 'a', 'c', 'c', 'e', 'p', 't', ' ', 'a', 'n', 'y', 't', 'h', 'i', 'n', 'g', ' ', 'w', 'i', 't', 'h', 'o', 'u', 't', ' ', 'r', 'e', 'a', 's', 'o', 'n', 'a', 'b', 'l', 'e'], ['g', 'r', 'o', 'u', 'n', 'd', ' ', 'f', 'o', 'r', ' ', 'i', 't', ' ', 'y', 'o', 'u', ' ', 'w', 'i', 'l', 'l', ' ', 's', 'o', 'o', 'n', ' ', 'a', 'd', 'm', 'i', 't', ' ', 'a', 's', ' ', 'm', 'u', 'c', 'h', ' ', 'a', 's', ' ', 'i', ' ', 'n', 'e', 'e', 'd', ' ', 'f', 'r', 'o', 'm', ' ', 'y', 'o', 'u', ' ', 'y', 'o', 'u'], ['k', 'n', 'o', 'w', ' ', 'o', 'f', ' ', 'c', 'o', 'u', 'r', 's', 'e', ' ', 't', 'h', 'a', 't', ' ', 'a', ' ', 'm', 'a', 't', 'h', 'e', 'm', 'a', 't', 'i', 'c', 'a', 'l', ' ', 'l', 'i', 'n', 'e', ' ', 'a', ' ', 'l', 'i', 'n', 'e', ' ', 'o', 'f', ' ', 't', 'h', 'i', 'c', 'k', 'n', 'e', 's', 's', ' ', 'n', 'i', 'l'], ['h', 'a', 's', ' ', 'n', 'o', ' ', 'r', 'e', 'a', 'l', ' ', 'e', 'x', 'i', 's', 't', 'e', 'n', 'c', 'e', ' ', 't', 'h', 'e', 'y', ' ', 't', 'a', 'u', 'g', 'h', 't', ' ', 'y', 'o', 'u', ' ', 't', 'h', 'a', 't', ' ', 'n', 'e', 'i', 't', 'h', 'e', 'r', ' ', 'h', 'a', 's', ' ', 'a'], ['m', 'a', 't', 'h', 'e', 'm', 'a', 't', 'i', 'c', 'a', 'l', ' ', 'p', 'l', 'a', 'n', 'e', ' ', 't', 'h', 'e', 's', 'e', ' ', 't', 'h', 'i', 'n', 'g', 's', ' ', 'a', 'r', 'e', ' ', 'm', 'e', 'r', 'e', ' ', 'a', 'b', 's', 't', 'r', 'a', 'c', 't', 'i', 'o', 'n', 's'], [], ['t', 'h', 'a', 't', ' ', 'i', 's', ' ', 'a', 'l', 'l', ' ', 'r', 'i', 'g', 'h', 't', ' ', 's', 'a', 'i', 'd', ' ', 't', 'h', 'e', ' ', 'p', 's', 'y', 'c', 'h', 'o', 'l', 'o', 'g', 'i', 's', 't'], [], ['n', 'o', 'r', ' ', 'h', 'a', 'v', 'i', 'n', 'g', ' ', 'o', 'n', 'l', 'y', ' ', 'l', 'e', 'n', 'g', 't', 'h', ' ', 'b', 'r', 'e', 'a', 'd', 't', 'h', ' ', 'a', 'n', 'd', ' ', 't', 'h', 'i', 'c', 'k', 'n', 'e', 's', 's', ' ', 'c', 'a', 'n', ' ', 'a', ' ', 'c', 'u', 'b', 'e', ' ', 'h', 'a', 'v', 'e', ' ', 'a'], ['r', 'e', 'a', 'l', ' ', 'e', 'x', 'i', 's', 't', 'e', 'n', 'c', 'e'], [], ['t', 'h', 'e', 'r', 'e', ' ', 'i', ' ', 'o', 'b', 'j', 'e', 'c', 't', ' ', 's', 'a', 'i', 'd', ' ', 'f', 'i', 'l', 'b', 'y', ' ', 'o', 'f', ' ', 'c', 'o', 'u', 'r', 's', 'e', ' ', 'a', ' ', 's', 'o', 'l', 'i', 'd', ' ', 'b', 'o', 'd', 'y', ' ', 'm', 'a', 'y', ' ', 'e', 'x', 'i', 's', 't', ' ', 'a', 'l', 'l'], ['r', 'e', 'a', 'l', ' ', 't', 'h', 'i', 'n', 'g', 's'], [], ['s', 'o', ' ', 'm', 'o', 's', 't', ' ', 'p', 'e', 'o', 'p', 'l', 'e', ' ', 't', 'h', 'i', 'n', 'k', ' ', 'b', 'u', 't', ' ', 'w', 'a', 'i', 't', ' ', 'a', ' ', 'm', 'o', 'm', 'e', 'n', 't', ' ', 'c', 'a', 'n', ' ', 'a', 'n', ' ', 'i', 'n', 's', 't', 'a', 'n', 't', 'a', 'n', 'e', 'o', 'u', 's'], ['c', 'u', 'b', 'e', ' ', 'e', 'x', 'i', 's', 't'], [], ['d', 'o', 'n', ' ', 't', ' ', 'f', 'o', 'l', 'l', 'o', 'w', ' ', 'y', 'o', 'u', ' ', 's', 'a', 'i', 'd', ' ', 'f', 'i', 'l', 'b', 'y'], [], ['c', 'a', 'n', ' ', 'a', ' ', 'c', 'u', 'b', 'e', ' ', 't', 'h', 'a', 't', ' ', 'd', 'o', 'e', 's', ' ', 'n', 'o', 't', ' ', 'l', 'a', 's', 't', ' ', 'f', 'o', 'r', ' ', 'a', 'n', 'y', ' ', 't', 'i', 'm', 'e', ' ', 'a', 't', ' ', 'a', 'l', 'l', ' ', 'h', 'a', 'v', 'e', ' ', 'a', ' ', 'r', 'e', 'a', 'l'], ['e', 'x', 'i', 's', 't', 'e', 'n', 'c', 'e'], [], ['f', 'i', 'l', 'b', 'y', ' ', 'b', 'e', 'c', 'a', 'm', 'e', ' ', 'p', 'e', 'n', 's', 'i', 'v', 'e', ' ', 'c', 'l', 'e', 'a', 'r', 'l', 'y', ' ', 't', 'h', 'e', ' ', 't', 'i', 'm', 'e', ' ', 't', 'r', 'a', 'v', 'e', 'l', 'l', 'e', 'r', ' ', 'p', 'r', 'o', 'c', 'e', 'e', 'd', 'e', 'd', ' ', 'a', 'n', 'y'], ['r', 'e', 'a', 'l', ' ', 'b', 'o', 'd', 'y', ' ', 'm', 'u', 's', 't', ' ', 'h', 'a', 'v', 'e', ' ', 'e', 'x', 't', 'e', 'n', 's', 'i', 'o', 'n', ' ', 'i', 'n', ' ', 'f', 'o', 'u', 'r', ' ', 'd', 'i', 'r', 'e', 'c', 't', 'i', 'o', 'n', 's', ' ', 'i', 't', ' ', 'm', 'u', 's', 't', ' ', 'h', 'a', 'v', 'e'], ['l', 'e', 'n', 'g', 't', 'h', ' ', 'b', 'r', 'e', 'a', 'd', 't', 'h', ' ', 't', 'h', 'i', 'c', 'k', 'n', 'e', 's', 's', ' ', 'a', 'n', 'd', ' ', 'd', 'u', 'r', 'a', 't', 'i', 'o', 'n', ' ', 'b', 'u', 't', ' ', 't', 'h', 'r', 'o', 'u', 'g', 'h', ' ', 'a', ' ', 'n', 'a', 't', 'u', 'r', 'a', 'l'], ['i', 'n', 'f', 'i', 'r', 'm', 'i', 't', 'y', ' ', 'o', 'f', ' ', 't', 'h', 'e', ' ', 'f', 'l', 'e', 's', 'h', ' ', 'w', 'h', 'i', 'c', 'h', ' ', 'i', ' ', 'w', 'i', 'l', 'l', ' ', 'e', 'x', 'p', 'l', 'a', 'i', 'n', ' ', 't', 'o', ' ', 'y', 'o', 'u', ' ', 'i', 'n', ' ', 'a', ' ', 'm', 'o', 'm', 'e', 'n', 't', ' ', 'w', 'e'], ['i', 'n', 'c', 'l', 'i', 'n', 'e', ' ', 't', 'o', ' ', 'o', 'v', 'e', 'r', 'l', 'o', 'o', 'k', ' ', 't', 'h', 'i', 's', ' ', 'f', 'a', 'c', 't', ' ', 't', 'h', 'e', 'r', 'e', ' ', 'a', 'r', 'e', ' ', 'r', 'e', 'a', 'l', 'l', 'y', ' ', 'f', 'o', 'u', 'r', ' ', 'd', 'i', 'm', 'e', 'n', 's', 'i', 'o', 'n', 's'], ['t', 'h', 'r', 'e', 'e', ' ', 'w', 'h', 'i', 'c', 'h', ' ', 'w', 'e', ' ', 'c', 'a', 'l', 'l', ' ', 't', 'h', 'e', ' ', 't', 'h', 'r', 'e', 'e', ' ', 'p', 'l', 'a', 'n', 'e', 's', ' ', 'o', 'f', ' ', 's', 'p', 'a', 'c', 'e', ' ', 'a', 'n', 'd', ' ', 'a', ' ', 'f', 'o', 'u', 'r', 't', 'h', ' ', 't', 'i', 'm', 'e'], ['t', 'h', 'e', 'r', 'e', ' ', 'i', 's', ' ', 'h', 'o', 'w', 'e', 'v', 'e', 'r', ' ', 'a', ' ', 't', 'e', 'n', 'd', 'e', 'n', 'c', 'y', ' ', 't', 'o', ' ', 'd', 'r', 'a', 'w', ' ', 'a', 'n', ' ', 'u', 'n', 'r', 'e', 'a', 'l', ' ', 'd', 'i', 's', 't', 'i', 'n', 'c', 't', 'i', 'o', 'n', ' ', 'b', 'e', 't', 'w', 'e', 'e', 'n'], ['t', 'h', 'e', ' ', 'f', 'o', 'r', 'm', 'e', 'r', ' ', 't', 'h', 'r', 'e', 'e', ' ', 'd', 'i', 'm', 'e', 'n', 's', 'i', 'o', 'n', 's', ' ', 'a', 'n', 'd', ' ', 't', 'h', 'e', ' ', 'l', 'a', 't', 't', 'e', 'r', ' ', 'b', 'e', 'c', 'a', 'u', 's', 'e', ' ', 'i', 't', ' ', 'h', 'a', 'p', 'p', 'e', 'n', 's', ' ', 't', 'h', 'a', 't'], ['o', 'u', 'r', ' ', 'c', 'o', 'n', 's', 'c', 'i', 'o', 'u', 's', 'n', 'e', 's', 's', ' ', 'm', 'o', 'v', 'e', 's', ' ', 'i', 'n', 't', 'e', 'r', 'm', 'i', 't', 't', 'e', 'n', 't', 'l', 'y', ' ', 'i', 'n', ' ', 'o', 'n', 'e', ' ', 'd', 'i', 'r', 'e', 'c', 't', 'i', 'o', 'n', ' ', 'a', 'l', 'o', 'n', 'g', ' ', 't', 'h', 'e'], ['l', 'a', 't', 't', 'e', 'r', ' ', 'f', 'r', 'o', 'm', ' ', 't', 'h', 'e', ' ', 'b', 'e', 'g', 'i', 'n', 'n', 'i', 'n', 'g', ' ', 't', 'o', ' ', 't', 'h', 'e', ' ', 'e', 'n', 'd', ' ', 'o', 'f', ' ', 'o', 'u', 'r', ' ', 'l', 'i', 'v', 'e', 's'], [], ['t', 'h', 'a', 't', ' ', 's', 'a', 'i', 'd', ' ', 'a', ' ', 'v', 'e', 'r', 'y', ' ', 'y', 'o', 'u', 'n', 'g', ' ', 'm', 'a', 'n', ' ', 'm', 'a', 'k', 'i', 'n', 'g', ' ', 's', 'p', 'a', 's', 'm', 'o', 'd', 'i', 'c', ' ', 'e', 'f', 'f', 'o', 'r', 't', 's', ' ', 't', 'o', ' ', 'r', 'e', 'l', 'i', 'g', 'h', 't'], ['h', 'i', 's', ' ', 'c', 'i', 'g', 'a', 'r', ' ', 'o', 'v', 'e', 'r', ' ', 't', 'h', 'e', ' ', 'l', 'a', 'm', 'p', ' ', 't', 'h', 'a', 't', ' ', 'v', 'e', 'r', 'y', ' ', 'c', 'l', 'e', 'a', 'r', ' ', 'i', 'n', 'd', 'e', 'e', 'd'], [], ['n', 'o', 'w', ' ', 'i', 't', ' ', 'i', 's', ' ', 'v', 'e', 'r', 'y', ' ', 'r', 'e', 'm', 'a', 'r', 'k', 'a', 'b', 'l', 'e', ' ', 't', 'h', 'a', 't', ' ', 't', 'h', 'i', 's', ' ', 'i', 's', ' ', 's', 'o', ' ', 'e', 'x', 't', 'e', 'n', 's', 'i', 'v', 'e', 'l', 'y', ' ', 'o', 'v', 'e', 'r', 'l', 'o', 'o', 'k', 'e', 'd'], ['c', 'o', 'n', 't', 'i', 'n', 'u', 'e', 'd', ' ', 't', 'h', 'e', ' ', 't', 'i', 'm', 'e', ' ', 't', 'r', 'a', 'v', 'e', 'l', 'l', 'e', 'r', ' ', 'w', 'i', 't', 'h', ' ', 'a', ' ', 's', 'l', 'i', 'g', 'h', 't', ' ', 'a', 'c', 'c', 'e', 's', 's', 'i', 'o', 'n', ' ', 'o', 'f'], ['c', 'h', 'e', 'e', 'r', 'f', 'u', 'l', 'n', 'e', 's', 's', ' ', 'r', 'e', 'a', 'l', 'l', 'y', ' ', 't', 'h', 'i', 's', ' ', 'i', 's', ' ', 'w', 'h', 'a', 't', ' ', 'i', 's', ' ', 'm', 'e', 'a', 'n', 't', ' ', 'b', 'y', ' ', 't', 'h', 'e', ' ', 'f', 'o', 'u', 'r', 't', 'h', ' ', 'd', 'i', 'm', 'e', 'n', 's', 'i', 'o', 'n'], ['t', 'h', 'o', 'u', 'g', 'h', ' ', 's', 'o', 'm', 'e', ' ', 'p', 'e', 'o', 'p', 'l', 'e', ' ', 'w', 'h', 'o', ' ', 't', 'a', 'l', 'k', ' ', 'a', 'b', 'o', 'u', 't', ' ', 't', 'h', 'e', ' ', 'f', 'o', 'u', 'r', 't', 'h', ' ', 'd', 'i', 'm', 'e', 'n', 's', 'i', 'o', 'n', ' ', 'd', 'o', ' ', 'n', 'o', 't', ' ', 'k', 'n', 'o', 'w'], ['t', 'h', 'e', 'y', ' ', 'm', 'e', 'a', 'n', ' ', 'i', 't', ' ', 'i', 't', ' ', 'i', 's', ' ', 'o', 'n', 'l', 'y', ' ', 'a', 'n', 'o', 't', 'h', 'e', 'r', ' ', 'w', 'a', 'y', ' ', 'o', 'f', ' ', 'l', 'o', 'o', 'k', 'i', 'n', 'g', ' ', 'a', 't', ' ', 't', 'i', 'm', 'e', ' ', 't', 'h', 'e', 'r', 'e', ' ', 'i', 's'], ['n', 'o', ' ', 'd', 'i', 'f', 'f', 'e', 'r', 'e', 'n', 'c', 'e', ' ', 'b', 'e', 't', 'w', 'e', 'e', 'n', ' ', 't', 'i', 'm', 'e', ' ', 'a', 'n', 'd', ' ', 'a', 'n', 'y', ' ', 'o', 'f', ' ', 't', 'h', 'e', ' ', 't', 'h', 'r', 'e', 'e', ' ', 'd', 'i', 'm', 'e', 'n', 's', 'i', 'o', 'n', 's', ' ', 'o', 'f', ' ', 's', 'p', 'a', 'c', 'e'], ['e', 'x', 'c', 'e', 'p', 't', ' ', 't', 'h', 'a', 't', ' ', 'o', 'u', 'r', ' ', 'c', 'o', 'n', 's', 'c', 'i', 'o', 'u', 's', 'n', 'e', 's', 's', ' ', 'm', 'o', 'v', 'e', 's', ' ', 'a', 'l', 'o', 'n', 'g', ' ', 'i', 't', ' ', 'b', 'u', 't', ' ', 's', 'o', 'm', 'e', ' ', 'f', 'o', 'o', 'l', 'i', 's', 'h'], ['p', 'e', 'o', 'p', 'l', 'e', ' ', 'h', 'a', 'v', 'e', ' ', 'g', 'o', 't', ' ', 'h', 'o', 'l', 'd', ' ', 'o', 'f', ' ', 't', 'h', 'e', ' ', 'w', 'r', 'o', 'n', 'g', ' ', 's', 'i', 'd', 'e', ' ', 'o', 'f', ' ', 't', 'h', 'a', 't', ' ', 'i', 'd', 'e', 'a', ' ', 'y', 'o', 'u', ' ', 'h', 'a', 'v', 'e', ' ', 'a', 'l', 'l'], ['h', 'e', 'a', 'r', 'd', ' ', 'w', 'h', 'a', 't', ' ', 't', 'h', 'e', 'y', ' ', 'h', 'a', 'v', 'e', ' ', 't', 'o', ' ', 's', 'a', 'y', ' ', 'a', 'b', 'o', 'u', 't', ' ', 't', 'h', 'i', 's', ' ', 'f', 'o', 'u', 'r', 't', 'h', ' ', 'd', 'i', 'm', 'e', 'n', 's', 'i', 'o', 'n'], [], ['i', ' ', 'h', 'a', 'v', 'e', ' ', 'n', 'o', 't', ' ', 's', 'a', 'i', 'd', ' ', 't', 'h', 'e', ' ', 'p', 'r', 'o', 'v', 'i', 'n', 'c', 'i', 'a', 'l', ' ', 'm', 'a', 'y', 'o', 'r'], [], ['i', 't', ' ', 'i', 's', ' ', 's', 'i', 'm', 'p', 'l', 'y', ' ', 't', 'h', 'i', 's', ' ', 't', 'h', 'a', 't', ' ', 's', 'p', 'a', 'c', 'e', ' ', 'a', 's', ' ', 'o', 'u', 'r', ' ', 'm', 'a', 't', 'h', 'e', 'm', 'a', 't', 'i', 'c', 'i', 'a', 'n', 's', ' ', 'h', 'a', 'v', 'e', ' ', 'i', 't', ' ', 'i', 's'], ['s', 'p', 'o', 'k', 'e', 'n', ' ', 'o', 'f', ' ', 'a', 's', ' ', 'h', 'a', 'v', 'i', 'n', 'g', ' ', 't', 'h', 'r', 'e', 'e', ' ', 'd', 'i', 'm', 'e', 'n', 's', 'i', 'o', 'n', 's', ' ', 'w', 'h', 'i', 'c', 'h', ' ', 'o', 'n', 'e', ' ', 'm', 'a', 'y', ' ', 'c', 'a', 'l', 'l', ' ', 'l', 'e', 'n', 'g', 't', 'h'], ['b', 'r', 'e', 'a', 'd', 't', 'h', ' ', 'a', 'n', 'd', ' ', 't', 'h', 'i', 'c', 'k', 'n', 'e', 's', 's', ' ', 'a', 'n', 'd', ' ', 'i', 's', ' ', 'a', 'l', 'w', 'a', 'y', 's', ' ', 'd', 'e', 'f', 'i', 'n', 'a', 'b', 'l', 'e', ' ', 'b', 'y', ' ', 'r', 'e', 'f', 'e', 'r', 'e', 'n', 'c', 'e', ' ', 't', 'o'], ['t', 'h', 'r', 'e', 'e', ' ', 'p', 'l', 'a', 'n', 'e', 's', ' ', 'e', 'a', 'c', 'h', ' ', 'a', 't', ' ', 'r', 'i', 'g', 'h', 't', ' ', 'a', 'n', 'g', 'l', 'e', 's', ' ', 't', 'o', ' ', 't', 'h', 'e', ' ', 'o', 't', 'h', 'e', 'r', 's', ' ', 'b', 'u', 't', ' ', 's', 'o', 'm', 'e'], ['p', 'h', 'i', 'l', 'o', 's', 'o', 'p', 'h', 'i', 'c', 'a', 'l', ' ', 'p', 'e', 'o', 'p', 'l', 'e', ' ', 'h', 'a', 'v', 'e', ' ', 'b', 'e', 'e', 'n', ' ', 'a', 's', 'k', 'i', 'n', 'g', ' ', 'w', 'h', 'y', ' ', 't', 'h', 'r', 'e', 'e', ' ', 'd', 'i', 'm', 'e', 'n', 's', 'i', 'o', 'n', 's'], ['p', 'a', 'r', 't', 'i', 'c', 'u', 'l', 'a', 'r', 'l', 'y', ' ', 'w', 'h', 'y', ' ', 'n', 'o', 't', ' ', 'a', 'n', 'o', 't', 'h', 'e', 'r', ' ', 'd', 'i', 'r', 'e', 'c', 't', 'i', 'o', 'n', ' ', 'a', 't', ' ', 'r', 'i', 'g', 'h', 't', ' ', 'a', 'n', 'g', 'l', 'e', 's', ' ', 't', 'o', ' ', 't', 'h', 'e', ' ', 'o', 't', 'h', 'e', 'r'], ['t', 'h', 'r', 'e', 'e', ' ', 'a', 'n', 'd', ' ', 'h', 'a', 'v', 'e', ' ', 'e', 'v', 'e', 'n', ' ', 't', 'r', 'i', 'e', 'd', ' ', 't', 'o', ' ', 'c', 'o', 'n', 's', 't', 'r', 'u', 'c', 't', ' ', 'a', ' ', 'f', 'o', 'u', 'r', ' ', 'd', 'i', 'm', 'e', 'n', 's', 'i', 'o', 'n', ' ', 'g', 'e', 'o', 'm', 'e', 't', 'r', 'y'], ['p', 'r', 'o', 'f', 'e', 's', 's', 'o', 'r', ' ', 's', 'i', 'm', 'o', 'n', ' ', 'n', 'e', 'w', 'c', 'o', 'm', 'b', ' ', 'w', 'a', 's', ' ', 'e', 'x', 'p', 'o', 'u', 'n', 'd', 'i', 'n', 'g', ' ', 't', 'h', 'i', 's', ' ', 't', 'o', ' ', 't', 'h', 'e', ' ', 'n', 'e', 'w', ' ', 'y', 'o', 'r', 'k'], ['m', 'a', 't', 'h', 'e', 'm', 'a', 't', 'i', 'c', 'a', 'l', ' ', 's', 'o', 'c', 'i', 'e', 't', 'y', ' ', 'o', 'n', 'l', 'y', ' ', 'a', ' ', 'm', 'o', 'n', 't', 'h', ' ', 'o', 'r', ' ', 's', 'o', ' ', 'a', 'g', 'o', ' ', 'y', 'o', 'u', ' ', 'k', 'n', 'o', 'w', ' ', 'h', 'o', 'w', ' ', 'o', 'n', ' ', 'a', ' ', 'f', 'l', 'a', 't'], ['s', 'u', 'r', 'f', 'a', 'c', 'e', ' ', 'w', 'h', 'i', 'c', 'h', ' ', 'h', 'a', 's', ' ', 'o', 'n', 'l', 'y', ' ', 't', 'w', 'o', ' ', 'd', 'i', 'm', 'e', 'n', 's', 'i', 'o', 'n', 's', ' ', 'w', 'e', ' ', 'c', 'a', 'n', ' ', 'r', 'e', 'p', 'r', 'e', 's', 'e', 'n', 't', ' ', 'a', ' ', 'f', 'i', 'g', 'u', 'r', 'e', ' ', 'o', 'f'], ['a', ' ', 't', 'h', 'r', 'e', 'e', ' ', 'd', 'i', 'm', 'e', 'n', 's', 'i', 'o', 'n', 'a', 'l', ' ', 's', 'o', 'l', 'i', 'd', ' ', 'a', 'n', 'd', ' ', 's', 'i', 'm', 'i', 'l', 'a', 'r', 'l', 'y', ' ', 't', 'h', 'e', 'y', ' ', 't', 'h', 'i', 'n', 'k', ' ', 't', 'h', 'a', 't', ' ', 'b', 'y', ' ', 'm', 'o', 'd', 'e', 'l', 's'], ['o', 'f', ' ', 't', 'h', 'r', 'e', 'e', ' ', 'd', 'i', 'm', 'e', 'n', 's', 'i', 'o', 'n', 's', ' ', 't', 'h', 'e', 'y', ' ', 'c', 'o', 'u', 'l', 'd', ' ', 'r', 'e', 'p', 'r', 'e', 's', 'e', 'n', 't', ' ', 'o', 'n', 'e', ' ', 'o', 'f', ' ', 'f', 'o', 'u', 'r', ' ', 'i', 'f', ' ', 't', 'h', 'e', 'y', ' ', 'c', 'o', 'u', 'l', 'd'], ['m', 'a', 's', 't', 'e', 'r', ' ', 't', 'h', 'e', ' ', 'p', 'e', 'r', 's', 'p', 'e', 'c', 't', 'i', 'v', 'e', ' ', 'o', 'f', ' ', 't', 'h', 'e', ' ', 't', 'h', 'i', 'n', 'g', ' ', 's', 'e', 'e'], [], ['i', ' ', 't', 'h', 'i', 'n', 'k', ' ', 's', 'o', ' ', 'm', 'u', 'r', 'm', 'u', 'r', 'e', 'd', ' ', 't', 'h', 'e', ' ', 'p', 'r', 'o', 'v', 'i', 'n', 'c', 'i', 'a', 'l', ' ', 'm', 'a', 'y', 'o', 'r', ' ', 'a', 'n', 'd', ' ', 'k', 'n', 'i', 't', 't', 'i', 'n', 'g', ' ', 'h', 'i', 's'], ['b', 'r', 'o', 'w', 's', ' ', 'h', 'e', ' ', 'l', 'a', 'p', 's', 'e', 'd', ' ', 'i', 'n', 't', 'o', ' ', 'a', 'n', ' ', 'i', 'n', 't', 'r', 'o', 's', 'p', 'e', 'c', 't', 'i', 'v', 'e', ' ', 's', 't', 'a', 't', 'e', ' ', 'h', 'i', 's', ' ', 'l', 'i', 'p', 's', ' ', 'm', 'o', 'v', 'i', 'n', 'g', ' ', 'a', 's', ' ', 'o', 'n', 'e'], ['w', 'h', 'o', ' ', 'r', 'e', 'p', 'e', 'a', 't', 's', ' ', 'm', 'y', 's', 't', 'i', 'c', ' ', 'w', 'o', 'r', 'd', 's', ' ', 'y', 'e', 's', ' ', 'i', ' ', 't', 'h', 'i', 'n', 'k', ' ', 'i', ' ', 's', 'e', 'e', ' ', 'i', 't', ' ', 'n', 'o', 'w', ' ', 'h', 'e', ' ', 's', 'a', 'i', 'd', ' ', 'a', 'f', 't', 'e', 'r'], ['s', 'o', 'm', 'e', ' ', 't', 'i', 'm', 'e', ' ', 'b', 'r', 'i', 'g', 'h', 't', 'e', 'n', 'i', 'n', 'g', ' ', 'i', 'n', ' ', 'a', ' ', 'q', 'u', 'i', 't', 'e', ' ', 't', 'r', 'a', 'n', 's', 'i', 't', 'o', 'r', 'y', ' ', 'm', 'a', 'n', 'n', 'e', 'r'], [], ['w', 'e', 'l', 'l', ' ', 'i', ' ', 'd', 'o', ' ', 'n', 'o', 't', ' ', 'm', 'i', 'n', 'd', ' ', 't', 'e', 'l', 'l', 'i', 'n', 'g', ' ', 'y', 'o', 'u', ' ', 'i', ' ', 'h', 'a', 'v', 'e', ' ', 'b', 'e', 'e', 'n', ' ', 'a', 't', ' ', 'w', 'o', 'r', 'k', ' ', 'u', 'p', 'o', 'n', ' ', 't', 'h', 'i', 's'], ['g', 'e', 'o', 'm', 'e', 't', 'r', 'y', ' ', 'o', 'f', ' ', 'f', 'o', 'u', 'r', ' ', 'd', 'i', 'm', 'e', 'n', 's', 'i', 'o', 'n', 's', ' ', 'f', 'o', 'r', ' ', 's', 'o', 'm', 'e', ' ', 't', 'i', 'm', 'e', ' ', 's', 'o', 'm', 'e', ' ', 'o', 'f', ' ', 'm', 'y', ' ', 'r', 'e', 's', 'u', 'l', 't', 's'], ['a', 'r', 'e', ' ', 'c', 'u', 'r', 'i', 'o', 'u', 's', ' ', 'f', 'o', 'r', ' ', 'i', 'n', 's', 't', 'a', 'n', 'c', 'e', ' ', 'h', 'e', 'r', 'e', ' ', 'i', 's', ' ', 'a', ' ', 'p', 'o', 'r', 't', 'r', 'a', 'i', 't', ' ', 'o', 'f', ' ', 'a', ' ', 'm', 'a', 'n', ' ', 'a', 't', ' ', 'e', 'i', 'g', 'h', 't'], ['y', 'e', 'a', 'r', 's', ' ', 'o', 'l', 'd', ' ', 'a', 'n', 'o', 't', 'h', 'e', 'r', ' ', 'a', 't', ' ', 'f', 'i', 'f', 't', 'e', 'e', 'n', ' ', 'a', 'n', 'o', 't', 'h', 'e', 'r', ' ', 'a', 't', ' ', 's', 'e', 'v', 'e', 'n', 't', 'e', 'e', 'n', ' ', 'a', 'n', 'o', 't', 'h', 'e', 'r', ' ', 'a', 't'], ['t', 'w', 'e', 'n', 't', 'y', ' ', 't', 'h', 'r', 'e', 'e', ' ', 'a', 'n', 'd', ' ', 's', 'o', ' ', 'o', 'n', ' ', 'a', 'l', 'l', ' ', 't', 'h', 'e', 's', 'e', ' ', 'a', 'r', 'e', ' ', 'e', 'v', 'i', 'd', 'e', 'n', 't', 'l', 'y', ' ', 's', 'e', 'c', 't', 'i', 'o', 'n', 's', ' ', 'a', 's', ' ', 'i', 't']]\n",
            "[(' ', 29927), ('e', 17838), ('t', 13515), ('a', 11704), ('i', 10138), ('n', 9917), ('o', 9758), ('s', 8486), ('h', 8257), ('r', 7674)]\n",
            "[3, 9, 2, 1, 3, 5, 13, 2, 1, 13, 4, 15, 9, 5, 6, 2, 1, 21, 19, 1, 9, 1, 18, 1, 17, 2, 12, 12, 8, 5, 3, 9, 2, 1, 3, 5, 13, 2, 1, 3, 10, 4, 22, 2, 12, 12, 2, 10, 1, 16, 7, 10, 1, 8, 7, 1, 5, 3, 1, 17, 5, 12, 12, 1, 21, 2, 1, 15, 7, 6, 22, 2, 6, 5, 2, 6, 3, 1, 3, 7, 1, 8, 20, 2, 4, 23, 1, 7, 16, 1, 9, 5, 13, 17, 4, 8, 1, 2, 24, 20]\n",
            "['<unk>', ' ', 'e', 't', 'a', 'i', 'n', 'o', 's', 'h']\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        ""
      ],
      "metadata": {
        "id": "zQsY4ef13LFO"
      },
      "execution_count": null,
      "outputs": []
    }
  ]
}