1906_masr.ipynb

{
  "nbformat": 4,
  "nbformat_minor": 0,
  "metadata": {
    "colab": {
      "name": "1906-masr.ipynb",
      "version": "0.3.2",
      "provenance": [],
      "collapsed_sections": [
        "JDWEmQlB9y6N"
      ],
      "include_colab_link": true
    },
    "kernelspec": {
      "name": "python3",
      "display_name": "Python 3"
    },
    "accelerator": "GPU"
  },
  "cells": [
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "view-in-github",
        "colab_type": "text"
      },
      "source": [
        "<a href=\"https://colab.research.google.com/github/Da-Capo/Colabstuffs/blob/master/1906_masr.ipynb\" target=\"_parent\"><img src=\"https://colab.research.google.com/assets/colab-badge.svg\" alt=\"Open In Colab\"/></a>"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "JDWEmQlB9y6N",
        "colab_type": "text"
      },
      "source": [
        "# 预处理backup"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "drblqFolzh8T",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "# !wget http://www.openslr.org/resources/33/data_aishell.tgz\n",
        "# !wget http://www.openslr.org/resources/33/resource_aishell.tg\n",
        "# !mv data_aishell.tgz drive/My\\ Drive/MASS_DATA/"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "xggJZiNC3-2p",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "# 转移解压数据 1\n",
        "# !tar -zxvf data_aishell.tgz >/dev/null 2>&1\n",
        "# !tar -zxvf resource_aishell.tgz >/dev/null 2>&1\n",
        "# %cd /content/data_aishell\n",
        "# !for tar in wav/*.tar.gz;  do tar xvf $tar; done >/dev/null 2>&1\n",
        "# %cd /content"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "xB9O_Kv585WZ",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "# 数据预处理\n",
        "# from pathlib import Path\n",
        "# with open(\"data_aishell/transcript/aishell_transcript_v0.8.txt\") as f:\n",
        "#     label_dict = {}\n",
        "#     for i,line in enumerate(f):\n",
        "#         key,value = line.strip().split(\" \",1)\n",
        "#         label_dict[key] = value.replace(\" \",\"\")\n",
        "# train_f  = open(\"data_aishell/train-sort.manifest\",\"w\")\n",
        "# dev_f    = open(\"data_aishell/dev.manifest\",\"w\")\n",
        "\n",
        "# for f_path in Path(\"/content/data_aishell\").rglob('*.wav'):\n",
        "#     x = str(f_path)\n",
        "#     try:\n",
        "#         y = label_dict[f_path.name.split(\".\")[0]]\n",
        "#         if \"train\" in x:\n",
        "#             train_f.write(x+\",\"+y+\"\\n\")\n",
        "#         if \"test\" in x:\n",
        "#             dev_f.write(x+\",\"+y+\"\\n\")\n",
        "#     except:\n",
        "#         print(x)\n",
        "# train_f.close()\n",
        "# dev_f.close()"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "PjCNpgZh9Cp3",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "# 保存数据\n",
        "# !zip -r data_aishell.zip data_aishell >/dev/null 2>&1\n",
        "# !cp data_aishell.zip /content/drive/My\\ Drive/MASS_DATA/"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "BFv_0OJC925x",
        "colab_type": "text"
      },
      "source": [
        "# run"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "_bxvFCLYP3uH",
        "colab_type": "text"
      },
      "source": [
        "## 准备环境和数据"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "aFt446tCZapC",
        "colab_type": "code",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 1000
        },
        "outputId": "765f25b7-7b80-463e-f577-9a0bac1386dd"
      },
      "source": [
        "!pip install gdown\n",
        "!pip install torch_nightly -f https://download.pytorch.org/whl/nightly/cu100/torch_nightly.html\n",
        "!pip install python-levenshtein\n",
        "!pip install tensorboardx\n",
        "!wget https://github.com/libai3/masr/archive/18905979fc091f2256be18a4328805a0b7613704.zip -O masr.zip >/dev/null 2>&1\n",
        "!unzip masr.zip\n",
        "!mv masr-18905979fc091f2256be18a4328805a0b7613704 masr"
      ],
      "execution_count": 5,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "Requirement already satisfied: gdown in /usr/local/lib/python3.6/dist-packages (3.6.4)\n",
            "Requirement already satisfied: six in /usr/local/lib/python3.6/dist-packages (from gdown) (1.12.0)\n",
            "Requirement already satisfied: requests in /usr/local/lib/python3.6/dist-packages (from gdown) (2.21.0)\n",
            "Requirement already satisfied: tqdm in /usr/local/lib/python3.6/dist-packages (from gdown) (4.28.1)\n",
            "Requirement already satisfied: certifi>=2017.4.17 in /usr/local/lib/python3.6/dist-packages (from requests->gdown) (2019.6.16)\n",
            "Requirement already satisfied: chardet<3.1.0,>=3.0.2 in /usr/local/lib/python3.6/dist-packages (from requests->gdown) (3.0.4)\n",
            "Requirement already satisfied: urllib3<1.25,>=1.21.1 in /usr/local/lib/python3.6/dist-packages (from requests->gdown) (1.24.3)\n",
            "Requirement already satisfied: idna<2.9,>=2.5 in /usr/local/lib/python3.6/dist-packages (from requests->gdown) (2.8)\n",
            "Looking in links: https://download.pytorch.org/whl/nightly/cu100/torch_nightly.html\n",
            "Collecting torch_nightly\n",
            "\u001b[?25l  Downloading https://download.pytorch.org/whl/nightly/cu100/torch_nightly-1.2.0.dev20190707-cp36-cp36m-linux_x86_64.whl (722.0MB)\n",
            "\u001b[K     |████████████████████████████████| 722.0MB 22kB/s \n",
            "\u001b[?25hInstalling collected packages: torch-nightly\n",
            "Successfully installed torch-nightly-1.2.0.dev20190707\n",
            "Collecting python-levenshtein\n",
            "\u001b[?25l  Downloading https://files.pythonhosted.org/packages/42/a9/d1785c85ebf9b7dfacd08938dd028209c34a0ea3b1bcdb895208bd40a67d/python-Levenshtein-0.12.0.tar.gz (48kB)\n",
            "\u001b[K     |████████████████████████████████| 51kB 2.0MB/s \n",
            "\u001b[?25hRequirement already satisfied: setuptools in /usr/local/lib/python3.6/dist-packages (from python-levenshtein) (41.0.1)\n",
            "Building wheels for collected packages: python-levenshtein\n",
            "  Building wheel for python-levenshtein (setup.py) ... \u001b[?25l\u001b[?25hdone\n",
            "  Stored in directory: /root/.cache/pip/wheels/de/c2/93/660fd5f7559049268ad2dc6d81c4e39e9e36518766eaf7e342\n",
            "Successfully built python-levenshtein\n",
            "Installing collected packages: python-levenshtein\n",
            "Successfully installed python-levenshtein-0.12.0\n",
            "Collecting tensorboardx\n",
            "\u001b[?25l  Downloading https://files.pythonhosted.org/packages/c3/12/dcaf67e1312475b26db9e45e7bb6f32b540671a9ee120b3a72d9e09bc517/tensorboardX-1.8-py2.py3-none-any.whl (216kB)\n",
            "\u001b[K     |████████████████████████████████| 225kB 2.9MB/s \n",
            "\u001b[?25hRequirement already satisfied: protobuf>=3.2.0 in /usr/local/lib/python3.6/dist-packages (from tensorboardx) (3.7.1)\n",
            "Requirement already satisfied: numpy in /usr/local/lib/python3.6/dist-packages (from tensorboardx) (1.16.4)\n",
            "Requirement already satisfied: six in /usr/local/lib/python3.6/dist-packages (from tensorboardx) (1.12.0)\n",
            "Requirement already satisfied: setuptools in /usr/local/lib/python3.6/dist-packages (from protobuf>=3.2.0->tensorboardx) (41.0.1)\n",
            "Installing collected packages: tensorboardx\n",
            "Successfully installed tensorboardx-1.8\n",
            "Archive:  masr.zip\n",
            "18905979fc091f2256be18a4328805a0b7613704\n",
            "   creating: masr-18905979fc091f2256be18a4328805a0b7613704/\n",
            "  inflating: masr-18905979fc091f2256be18a4328805a0b7613704/.gitignore  \n",
            "  inflating: masr-18905979fc091f2256be18a4328805a0b7613704/LICENSE.996  \n",
            "  inflating: masr-18905979fc091f2256be18a4328805a0b7613704/README.md  \n",
            "  inflating: masr-18905979fc091f2256be18a4328805a0b7613704/beamdecode.py  \n",
            "  inflating: masr-18905979fc091f2256be18a4328805a0b7613704/data.py  \n",
            "  inflating: masr-18905979fc091f2256be18a4328805a0b7613704/decoder.py  \n",
            "   creating: masr-18905979fc091f2256be18a4328805a0b7613704/docs/\n",
            "  inflating: masr-18905979fc091f2256be18a4328805a0b7613704/docs/compare.md  \n",
            "  inflating: masr-18905979fc091f2256be18a4328805a0b7613704/docs/demo.md  \n",
            "  inflating: masr-18905979fc091f2256be18a4328805a0b7613704/docs/embedding.md  \n",
            "  inflating: masr-18905979fc091f2256be18a4328805a0b7613704/docs/lm.md  \n",
            "  inflating: masr-18905979fc091f2256be18a4328805a0b7613704/docs/train.md  \n",
            "   creating: masr-18905979fc091f2256be18a4328805a0b7613704/examples/\n",
            "  inflating: masr-18905979fc091f2256be18a4328805a0b7613704/examples/_init_path.py  \n",
            "  inflating: masr-18905979fc091f2256be18a4328805a0b7613704/examples/demo-client.py  \n",
            "  inflating: masr-18905979fc091f2256be18a4328805a0b7613704/examples/demo-recognize.py  \n",
            "  inflating: masr-18905979fc091f2256be18a4328805a0b7613704/examples/demo-record-recognize.py  \n",
            "  inflating: masr-18905979fc091f2256be18a4328805a0b7613704/examples/demo-server.py  \n",
            "  inflating: masr-18905979fc091f2256be18a4328805a0b7613704/examples/embedding.py  \n",
            "  inflating: masr-18905979fc091f2256be18a4328805a0b7613704/examples/record.py  \n",
            "  inflating: masr-18905979fc091f2256be18a4328805a0b7613704/examples/train.py  \n",
            "  inflating: masr-18905979fc091f2256be18a4328805a0b7613704/feature.py  \n",
            "   creating: masr-18905979fc091f2256be18a4328805a0b7613704/images/\n",
            "  inflating: masr-18905979fc091f2256be18a4328805a0b7613704/images/embedding.png  \n",
            "  inflating: masr-18905979fc091f2256be18a4328805a0b7613704/images/train.svg  \n",
            "   creating: masr-18905979fc091f2256be18a4328805a0b7613704/models/\n",
            " extracting: masr-18905979fc091f2256be18a4328805a0b7613704/models/__init__.py  \n",
            "  inflating: masr-18905979fc091f2256be18a4328805a0b7613704/models/base.py  \n",
            "  inflating: masr-18905979fc091f2256be18a4328805a0b7613704/models/conv.py  \n",
            "  inflating: masr-18905979fc091f2256be18a4328805a0b7613704/models/trainable.py  \n",
            " extracting: masr-18905979fc091f2256be18a4328805a0b7613704/requirements.txt  \n",
            "  inflating: masr-18905979fc091f2256be18a4328805a0b7613704/train.py  \n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "DOZcD0UFIIqc",
        "colab_type": "code",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 107
        },
        "outputId": "1824c384-9ad9-4f9a-8df7-5c8967dde2a5"
      },
      "source": [
        "# 准备数据\n",
        "!gdown https://drive.google.com/uc?id=1FYj9p5OyvZqgJUCGWXTgJMJbqCSx_GBh\n",
        "print(\"解压要挺久的...........\")\n",
        "!unzip data_aishell.zip >/dev/null 2>&1"
      ],
      "execution_count": 6,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "Downloading...\n",
            "From: https://drive.google.com/uc?id=1FYj9p5OyvZqgJUCGWXTgJMJbqCSx_GBh\n",
            "To: /content/data_aishell.zip\n",
            "15.6GB [02:19, 112MB/s]\n",
            "解压要挺久的...........\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "dGOMrwD0vjFc",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "import json\n",
        "\n",
        "vb = [\"_\", \"~\", \"蕉\", \"屯\", \"拿\", \"庵\", \"畿\", \"风\", \"欣\", \"瞬\", \"跻\", \"烤\", \"恪\", \"抹\", \"云\", \"楔\", \"跨\", \"取\", \"捕\", \"逵\", \"慕\", \"璨\", \"佬\", \"禄\", \"掳\", \"恒\", \"墨\", \"坝\", \"忘\", \"轴\", \"寄\", \"德\", \"宁\", \"屎\", \"杉\", \"毫\", \"仰\", \"恤\", \"臣\", \"焜\", \"邪\", \"羞\", \"裕\", \"恶\", \"典\", \"旬\", \"春\", \"璇\", \"文\", \"瘩\", \"仪\", \"宰\", \"榈\", \"阮\", \"颂\", \"跃\", \"契\", \"筱\", \"畊\", \"骐\", \"呆\", \"妙\", \"冀\", \"莓\", \"蛆\", \"健\", \"浮\", \"覆\", \"亏\", \"垫\", \"另\", \"铜\", \"谢\", \"叔\", \"肠\", \"论\", \"私\", \"猎\", \"佃\", \"梯\", \"蝶\", \"眯\", \"拒\", \"溧\", \"镇\", \"犄\", \"桩\", \"糟\", \"寓\", \"强\", \"赝\", \"酵\", \"丹\", \"约\", \"施\", \"傻\", \"顷\", \"止\", \"饰\", \"拢\", \"沪\", \"锥\", \"彝\", \"骥\", \"尴\", \"屡\", \"陶\", \"排\", \"宕\", \"征\", \"芦\", \"翩\", \"鸟\", \"砂\", \"甸\", \"吹\", \"纬\", \"痕\", \"嗤\", \"掖\", \"席\", \"治\", \"烈\", \"镉\", \"兼\", \"铆\", \"罡\", \"赖\", \"亚\", \"烹\", \"纭\", \"稳\", \"津\", \"鲁\", \"椅\", \"酯\", \"瞿\", \"逊\", \"姚\", \"兄\", \"鸳\", \"厅\", \"誉\", \"堤\", \"艇\", \"球\", \"朱\", \"葵\", \"泓\", \"骑\", \"食\", \"贫\", \"浓\", \"啸\", \"器\", \"惦\", \"绞\", \"崃\", \"糊\", \"桶\", \"杖\", \"阐\", \"炖\", \"描\", \"泰\", \"灌\", \"骤\", \"漾\", \"昏\", \"貔\", \"吉\", \"帝\", \"启\", \"汁\", \"堕\", \"泠\", \"鲸\", \"疲\", \"鏖\", \"瘾\", \"答\", \"棉\", \"榜\", \"婿\", \"碘\", \"抛\", \"与\", \"曾\", \"辆\", \"也\", \"骜\", \"蓟\", \"缴\", \"锣\", \"拼\", \"著\", \"粱\", \"涓\", \"耳\", \"丸\", \"绎\", \"靡\", \"兔\", \"隘\", \"枞\", \"旧\", \"嘈\", \"奶\", \"纽\", \"衷\", \"恳\", \"阻\", \"晗\", \"曼\", \"淘\", \"勋\", \"僵\", \"寥\", \"嚣\", \"恐\", \"笃\", \"妯\", \"獗\", \"揍\", \"窃\", \"纹\", \"惯\", \"笨\", \"市\", \"枝\", \"阀\", \"而\", \"腥\", \"墟\", \"抑\", \"邯\", \"泄\", \"割\", \"衙\", \"榕\", \"必\", \"卤\", \"咔\", \"褛\", \"侥\", \"均\", \"往\", \"望\", \"亿\", \"悖\", \"鵰\", \"俺\", \"领\", \"敦\", \"揶\", \"邢\", \"尾\", \"奉\", \"体\", \"除\", \"刘\", \"柱\", \"褒\", \"光\", \"鄢\", \"每\", \"轧\", \"域\", \"灼\", \"松\", \"这\", \"诓\", \"艾\", \"烙\", \"菌\", \"司\", \"金\", \"钓\", \"谣\", \"怨\", \"霁\", \"格\", \"摄\", \"孩\", \"铝\", \"堵\", \"害\", \"幺\", \"蚂\", \"萃\", \"涟\", \"婉\", \"士\", \"纪\", \"褴\", \"图\", \"刷\", \"丁\", \"巴\", \"桎\", \"装\", \"胁\", \"烟\", \"临\", \"垂\", \"潇\", \"诙\", \"卿\", \"裳\", \"泼\", \"藩\", \"男\", \"事\", \"妖\", \"乱\", \"罄\", \"谜\", \"渤\", \"瞻\", \"鹜\", \"距\", \"逞\", \"箭\", \"啶\", \"赋\", \"八\", \"羊\", \"承\", \"全\", \"丑\", \"撩\", \"晏\", \"仔\", \"老\", \"砝\", \"戛\", \"适\", \"壤\", \"雍\", \"祺\", \"唾\", \"梁\", \"店\", \"迷\", \"增\", \"遛\", \"悔\", \"侃\", \"厄\", \"名\", \"桂\", \"麒\", \"扒\", \"筋\", \"郸\", \"盆\", \"诅\", \"胚\", \"晕\", \"茬\", \"匿\", \"雏\", \"武\", \"研\", \"牢\", \"劈\", \"柯\", \"胯\", \"侮\", \"鉴\", \"小\", \"娄\", \"丫\", \"窟\", \"形\", \"媒\", \"粘\", \"呲\", \"业\", \"晶\", \"表\", \"趴\", \"韵\", \"懂\", \"岌\", \"无\", \"截\", \"戮\", \"月\", \"弓\", \"谬\", \"琏\", \"貅\", \"妻\", \"园\", \"萌\", \"赂\", \"欠\", \"令\", \"聪\", \"防\", \"蛟\", \"侨\", \"六\", \"但\", \"筑\", \"厦\", \"役\", \"绘\", \"咫\", \"湍\", \"枢\", \"树\", \"友\", \"动\", \"韩\", \"郊\", \"贼\", \"污\", \"栓\", \"峁\", \"氏\", \"流\", \"笛\", \"燎\", \"湄\", \"鳌\", \"房\", \"抢\", \"醍\", \"伍\", \"蹊\", \"骂\", \"额\", \"麓\", \"珮\", \"蒿\", \"怪\", \"涩\", \"卷\", \"霾\", \"瞟\", \"邑\", \"态\", \"瓶\", \"塌\", \"洛\", \"虹\", \"于\", \"迫\", \"戈\", \"缚\", \"瞰\", \"伊\", \"掷\", \"髓\", \"楷\", \"汶\", \"砸\", \"岛\", \"咤\", \"我\", \"瘟\", \"赶\", \"椰\", \"弛\", \"罗\", \"瘦\", \"缅\", \"翻\", \"韬\", \"爽\", \"厂\", \"碉\", \"巡\", \"猫\", \"琵\", \"忑\", \"郡\", \"叶\", \"骚\", \"靛\", \"蝴\", \"甬\", \"救\", \"钮\", \"肚\", \"协\", \"步\", \"女\", \"玩\", \"举\", \"码\", \"薇\", \"枷\", \"奠\", \"捏\", \"您\", \"皱\", \"赔\", \"铰\", \"妹\", \"蛰\", \"翟\", \"柄\", \"露\", \"隋\", \"荔\", \"螂\", \"嘭\", \"幅\", \"嵛\", \"亭\", \"墙\", \"彰\", \"熬\", \"迟\", \"劣\", \"膳\", \"掏\", \"垦\", \"遭\", \"恋\", \"离\", \"琦\", \"孵\", \"定\", \"勺\", \"濠\", \"疯\", \"巾\", \"住\", \"阴\", \"湘\", \"揄\", \"未\", \"此\", \"序\", \"葛\", \"溯\", \"捡\", \"梏\", \"汞\", \"剂\", \"佶\", \"烫\", \"匡\", \"身\", \"竟\", \"溪\", \"鼓\", \"贩\", \"末\", \"屁\", \"垛\", \"虽\", \"闪\", \"珜\", \"都\", \"悸\", \"俭\", \"讶\", \"朴\", \"妒\", \"坷\", \"史\", \"拄\", \"核\", \"撼\", \"匙\", \"爪\", \"趸\", \"嵘\", \"幢\", \"铮\", \"证\", \"玟\", \"显\", \"邬\", \"谁\", \"轿\", \"恼\", \"汀\", \"漓\", \"髋\", \"铨\", \"挡\", \"法\", \"卞\", \"斜\", \"苍\", \"烽\", \"幕\", \"长\", \"沧\", \"鸦\", \"匠\", \"押\", \"搜\", \"贴\", \"宦\", \"轨\", \"彷\", \"濒\", \"俘\", \"肤\", \"噪\", \"峡\", \"色\", \"剐\", \"矸\", \"尝\", \"堆\", \"柳\", \"瑕\", \"犷\", \"懋\", \"皂\", \"渡\", \"煦\", \"蚓\", \"撵\", \"锁\", \"澄\", \"膺\", \"逡\", \"肌\", \"惶\", \"扳\", \"惠\", \"统\", \"靶\", \"杞\", \"淄\", \"匈\", \"忱\", \"咋\", \"哺\", \"吏\", \"握\", \"刑\", \"界\", \"铀\", \"绰\", \"挛\", \"棱\", \"穷\", \"潦\", \"追\", \"寡\", \"吟\", \"激\", \"祷\", \"右\", \"弥\", \"墓\", \"镯\", \"真\", \"班\", \"喆\", \"庾\", \"躯\", \"缓\", \"折\", \"熄\", \"正\", \"终\", \"屿\", \"斗\", \"詹\", \"渀\", \"噼\", \"枭\", \"槌\", \"亮\", \"穗\", \"摆\", \"泵\", \"悲\", \"退\", \"本\", \"坛\", \"睹\", \"姓\", \"债\", \"哨\", \"璃\", \"蜷\", \"挟\", \"央\", \"种\", \"曙\", \"饼\", \"送\", \"斛\", \"瞄\", \"睫\", \"瑾\", \"幻\", \"诿\", \"贬\", \"肖\", \"孚\", \"危\", \"氢\", \"睁\", \"肋\", \"推\", \"殆\", \"否\", \"吃\", \"摊\", \"签\", \"簿\", \"拗\", \"惺\", \"翱\", \"舅\", \"畏\", \"起\", \"诗\", \"少\", \"则\", \"润\", \"照\", \"槐\", \"创\", \"哟\", \"篪\", \"昼\", \"村\", \"渲\", \"伸\", \"炳\", \"作\", \"靓\", \"洼\", \"生\", \"性\", \"诧\", \"洪\", \"虞\", \"势\", \"婶\", \"蠕\", \"斓\", \"只\", \"天\", \"钛\", \"姬\", \"邦\", \"若\", \"拳\", \"卸\", \"姿\", \"勃\", \"掩\", \"荃\", \"缔\", \"悬\", \"悚\", \"豚\", \"钉\", \"痒\", \"臀\", \"跛\", \"剧\", \"极\", \"抿\", \"罐\", \"修\", \"讼\", \"敛\", \"足\", \"卖\", \"敌\", \"明\", \"诵\", \"容\", \"半\", \"辈\", \"坦\", \"疚\", \"膨\", \"镳\", \"啧\", \"刻\", \"榴\", \"笋\", \"饿\", \"逗\", \"陂\", \"诩\", \"呈\", \"丰\", \"仑\", \"垢\", \"剿\", \"系\", \"渥\", \"副\", \"政\", \"拙\", \"蹴\", \"泛\", \"炯\", \"莞\", \"渝\", \"略\", \"街\", \"濡\", \"藕\", \"怕\", \"蒙\", \"题\", \"莠\", \"绩\", \"牺\", \"汤\", \"磐\", \"量\", \"词\", \"穆\", \"觎\", \"煮\", \"靑\", \"废\", \"盛\", \"遗\", \"累\", \"针\", \"盐\", \"踉\", \"抱\", \"捆\", \"拐\", \"疹\", \"唇\", \"赎\", \"硫\", \"簧\", \"汹\", \"办\", \"改\", \"疵\", \"蜿\", \"速\", \"狈\", \"蟹\", \"询\", \"邻\", \"讧\", \"祠\", \"嗡\", \"圳\", \"娜\", \"抽\", \"碰\", \"那\", \"剃\", \"掮\", \"佩\", \"珏\", \"啡\", \"婴\", \"绳\", \"惨\", \"荆\", \"段\", \"彿\", \"尬\", \"蜴\", \"镐\", \"物\", \"蜻\", \"岁\", \"时\", \"冻\", \"样\", \"炕\", \"戴\", \"逾\", \"划\", \"嵩\", \"裆\", \"乏\", \"伤\", \"慌\", \"保\", \"堂\", \"绣\", \"蹿\", \"膊\", \"跺\", \"始\", \"玛\", \"妞\", \"爵\", \"秋\", \"瓣\", \"秃\", \"骊\", \"伟\", \"琉\", \"喝\", \"抵\", \"锷\", \"晋\", \"鸣\", \"蕾\", \"嬷\", \"缤\", \"邛\", \"暄\", \"机\", \"俸\", \"脐\", \"辍\", \"腿\", \"竖\", \"辞\", \"批\", \"骆\", \"五\", \"菜\", \"怖\", \"搔\", \"脖\", \"客\", \"说\", \"驻\", \"砰\", \"梵\", \"滋\", \"抗\", \"宛\", \"撬\", \"份\", \"绿\", \"疆\", \"粟\", \"ｋ\", \"去\", \"某\", \"彬\", \"南\", \"犹\", \"娶\", \"矗\", \"涎\", \"铸\", \"嫂\", \"筷\", \"片\", \"凹\", \"穴\", \"纤\", \"蛋\", \"瑄\", \"衬\", \"岐\", \"剽\", \"祝\", \"鞘\", \"嫌\", \"益\", \"喊\", \"履\", \"厥\", \"魄\", \"睬\", \"眷\", \"瞳\", \"祖\", \"馗\", \"躲\", \"妊\", \"栖\", \"腾\", \"暧\", \"锅\", \"深\", \"责\", \"邺\", \"财\", \"空\", \"嗪\", \"症\", \"聋\", \"归\", \"邀\", \"仙\", \"裴\", \"遢\", \"雷\", \"霍\", \"乖\", \"沏\", \"以\", \"磅\", \"乳\", \"姨\", \"之\", \"肺\", \"尤\", \"敲\", \"唐\", \"基\", \"邋\", \"吧\", \"蛛\", \"释\", \"仓\", \"续\", \"趁\", \"霆\", \"奖\", \"迈\", \"虫\", \"馈\", \"窦\", \"栈\", \"廓\", \"兆\", \"陆\", \"颇\", \"黍\", \"枉\", \"平\", \"淀\", \"凰\", \"民\", \"芋\", \"窕\", \"崧\", \"懊\", \"混\", \"衅\", \"亨\", \"蹶\", \"燊\", \"挝\", \"莎\", \"轻\", \"暇\", \"苦\", \"陇\", \"闭\", \"珉\", \"纰\", \"蟀\", \"辩\", \"瞧\", \"怵\", \"坍\", \"术\", \"它\", \"兢\", \"眼\", \"波\", \"淝\", \"把\", \"汗\", \"国\", \"抄\", \"翌\", \"件\", \"擅\", \"茵\", \"矫\", \"马\", \"厚\", \"堪\", \"汴\", \"镀\", \"寝\", \"榄\", \"掣\", \"横\", \"古\", \"涌\", \"豆\", \"音\", \"程\", \"丞\", \"裁\", \"昆\", \"敢\", \"掂\", \"娟\", \"棚\", \"怠\", \"话\", \"朋\", \"戒\", \"赢\", \"袭\", \"邓\", \"一\", \"军\", \"轶\", \"禾\", \"巫\", \"冲\", \"擞\", \"措\", \"迅\", \"倜\", \"徉\", \"雪\", \"迁\", \"惜\", \"猛\", \"泪\", \"ｔ\", \"挨\", \"譬\", \"又\", \"插\", \"浆\", \"弹\", \"牵\", \"酗\", \"趾\", \"蜒\", \"窥\", \"茂\", \"叙\", \"黎\", \"革\", \"匣\", \"资\", \"含\", \"赤\", \"倾\", \"绪\", \"舱\", \"庐\", \"瘪\", \"俯\", \"吕\", \"飘\", \"坚\", \"蜡\", \"列\", \"囤\", \"按\", \"羲\", \"尼\", \"示\", \"入\", \"鸡\", \"偿\", \"癌\", \"拯\", \"问\", \"杨\", \"渔\", \"很\", \"移\", \"驴\", \"瞌\", \"底\", \"总\", \"值\", \"邂\", \"咎\", \"灯\", \"抉\", \"庇\", \"许\", \"塬\", \"泾\", \"倡\", \"劫\", \"翅\", \"莅\", \"肥\", \"耸\", \"完\", \"贸\", \"手\", \"珑\", \"滴\", \"晰\", \"逸\", \"悯\", \"浙\", \"钦\", \"侍\", \"姜\", \"靠\", \"结\", \"共\", \"超\", \"隶\", \"汰\", \"缭\", \"馑\", \"钰\", \"蝉\", \"曰\", \"环\", \"楠\", \"菁\", \"噱\", \"恺\", \"漏\", \"评\", \"崛\", \"团\", \"汪\", \"彻\", \"芬\", \"微\", \"农\", \"扁\", \"诽\", \"固\", \"谈\", \"召\", \"玉\", \"钵\", \"趺\", \"凡\", \"驳\", \"魅\", \"精\", \"蜚\", \"傅\", \"槽\", \"粗\", \"惟\", \"庆\", \"指\", \"君\", \"嫩\", \"祢\", \"燕\", \"惚\", \"梨\", \"濮\", \"厌\", \"买\", \"荧\", \"惆\", \"蛀\", \"锹\", \"凇\", \"的\", \"嚼\", \"荼\", \"永\", \"亡\", \"投\", \"捅\", \"乓\", \"饶\", \"胞\", \"锰\", \"糗\", \"酱\", \"柚\", \"痴\", \"公\", \"遥\", \"摇\", \"滇\", \"痪\", \"沃\", \"敖\", \"诚\", \"药\", \"困\", \"潜\", \"倩\", \"哆\", \"挂\", \"揪\", \"吁\", \"反\", \"尽\", \"丈\", \"肯\", \"浏\", \"侣\", \"经\", \"幌\", \"接\", \"邱\", \"酿\", \"冈\", \"浈\", \"婀\", \"橄\", \"铉\", \"漠\", \"己\", \"奂\", \"要\", \"玄\", \"师\", \"锄\", \"萋\", \"堰\", \"摹\", \"谶\", \"讪\", \"孔\", \"茄\", \"削\", \"哈\", \"蔫\", \"会\", \"鳅\", \"忙\", \"姻\", \"饭\", \"峻\", \"掌\", \"鹤\", \"谎\", \"通\", \"董\", \"湖\", \"僻\", \"穿\", \"西\", \"膀\", \"奕\", \"鳞\", \"纯\", \"裔\", \"绸\", \"鹰\", \"杳\", \"碑\", \"犀\", \"哄\", \"箕\", \"纱\", \"卡\", \"仁\", \"醇\", \"点\", \"袒\", \"濑\", \"鳄\", \"渗\", \"砷\", \"伙\", \"阱\", \"委\", \"乃\", \"噬\", \"艳\", \"刊\", \"灶\", \"呵\", \"伉\", \"撸\", \"卯\", \"叫\", \"川\", \"陕\", \"斐\", \"咽\", \"溶\", \"涯\", \"帐\", \"捎\", \"嗽\", \"帮\", \"预\", \"占\", \"摧\", \"祛\", \"啬\", \"阂\", \"羹\", \"腻\", \"殚\", \"府\", \"掺\", \"靳\", \"授\", \"趋\", \"卜\", \"颤\", \"婧\", \"楣\", \"侧\", \"口\", \"铁\", \"沥\", \"嫔\", \"竭\", \"茸\", \"臻\", \"苛\", \"参\", \"梧\", \"居\", \"开\", \"织\", \"舸\", \"荚\", \"锚\", \"馍\", \"鼠\", \"已\", \"娇\", \"耋\", \"化\", \"葩\", \"位\", \"瞅\", \"崖\", \"腮\", \"寻\", \"良\", \"纲\", \"宏\", \"洲\", \"多\", \"虱\", \"姆\", \"镁\", \"七\", \"赛\", \"募\", \"闷\", \"蚌\", \"面\", \"红\", \"净\", \"档\", \"雨\", \"矶\", \"了\", \"煞\", \"觑\", \"洒\", \"喧\", \"僧\", \"好\", \"敷\", \"估\", \"觐\", \"蜈\", \"塍\", \"匮\", \"喽\", \"晚\", \"秒\", \"仲\", \"磨\", \"期\", \"御\", \"蓬\", \"涉\", \"较\", \"捐\", \"分\", \"旺\", \"芸\", \"蹭\", \"叉\", \"篡\", \"奢\", \"毂\", \"隅\", \"晴\", \"诉\", \"酣\", \"陡\", \"箫\", \"仅\", \"偷\", \"舆\", \"迭\", \"涝\", \"坡\", \"碚\", \"搭\", \"泞\", \"饵\", \"脆\", \"悼\", \"湿\", \"宓\", \"瀛\", \"采\", \"暖\", \"搽\", \"葬\", \"泽\", \"宝\", \"肉\", \"勒\", \"踪\", \"唠\", \"扬\", \"从\", \"余\", \"技\", \"关\", \"薪\", \"党\", \"惩\", \"辣\", \"掠\", \"腐\", \"猩\", \"啪\", \"遮\", \"久\", \"饥\", \"艺\", \"簸\", \"托\", \"盈\", \"即\", \"聂\", \"摁\", \"奚\", \"今\", \"枣\", \"妍\", \"埃\", \"耷\", \"涡\", \"挠\", \"漱\", \"锻\", \"疝\", \"缕\", \"崂\", \"宠\", \"神\", \"秦\", \"桔\", \"伺\", \"捷\", \"倪\", \"耄\", \"糖\", \"家\", \"怂\", \"芳\", \"冯\", \"哗\", \"船\", \"缮\", \"涛\", \"衡\", \"故\", \"让\", \"馆\", \"樊\", \"竺\", \"搀\", \"伏\", \"道\", \"携\", \"蜥\", \"建\", \"贡\", \"赁\", \"涂\", \"掘\", \"戳\", \"闯\", \"蕲\", \"茅\", \"搅\", \"荞\", \"悉\", \"伐\", \"拧\", \"卑\", \"抚\", \"特\", \"茎\", \"狰\", \"隼\", \"蔺\", \"洙\", \"连\", \"忽\", \"乞\", \"由\", \"习\", \"劝\", \"瘤\", \"字\", \"傥\", \"钩\", \"拟\", \"嗓\", \"璋\", \"咣\", \"林\", \"威\", \"辘\", \"蘑\", \"并\", \"历\", \"碌\", \"怜\", \"存\", \"泊\", \"游\", \"锏\", \"竿\", \"筹\", \"讨\", \"姝\", \"橘\", \"丽\", \"罢\", \"疃\", \"忪\", \"职\", \"睦\", \"旦\", \"牛\", \"铺\", \"淹\", \"铠\", \"斯\", \"匀\", \"汲\", \"僚\", \"蔚\", \"设\", \"乍\", \"竣\", \"嚏\", \"画\", \"懵\", \"调\", \"蛐\", \"朝\", \"尔\", \"沽\", \"浪\", \"该\", \"验\", \"谩\", \"辙\", \"钝\", \"脚\", \"候\", \"髦\", \"掰\", \"信\", \"洵\", \"晤\", \"拦\", \"浦\", \"贿\", \"煎\", \"朔\", \"热\", \"茁\", \"佛\", \"倒\", \"催\", \"乒\", \"听\", \"哇\", \"褪\", \"个\", \"随\", \"拴\", \"绑\", \"东\", \"广\", \"选\", \"凌\", \"锢\", \"驯\", \"币\", \"猥\", \"襟\", \"棕\", \"嚓\", \"然\", \"沿\", \"毕\", \"幸\", \"午\", \"伢\", \"饺\", \"胡\", \"愕\", \"痰\", \"攥\", \"舍\", \"触\", \"杀\", \"滚\", \"疑\", \"刚\", \"钾\", \"际\", \"郝\", \"售\", \"汽\", \"谅\", \"煊\", \"规\", \"榷\", \"啤\", \"缀\", \"阵\", \"盯\", \"隍\", \"味\", \"库\", \"殭\", \"款\", \"胺\", \"检\", \"高\", \"蒲\", \"别\", \"皎\", \"狒\", \"麦\", \"汉\", \"茨\", \"昙\", \"窒\", \"薙\", \"颍\", \"便\", \"巍\", \"矩\", \"扼\", \"伎\", \"意\", \"暨\", \"躏\", \"跄\", \"卒\", \"句\", \"懈\", \"盘\", \"黛\", \"仨\", \"沛\", \"疾\", \"獾\", \"绷\", \"忌\", \"首\", \"荫\", \"嫣\", \"圩\", \"谴\", \"菩\", \"级\", \"酝\", \"翘\", \"柔\", \"狄\", \"榨\", \"嘻\", \"檬\", \"践\", \"陀\", \"普\", \"氛\", \"茶\", \"拉\", \"慷\", \"蜕\", \"荤\", \"娠\", \"胱\", \"错\", \"类\", \"拍\", \"罩\", \"搐\", \"贵\", \"撂\", \"樱\", \"焖\", \"肆\", \"裟\", \"钥\", \"砺\", \"娘\", \"伴\", \"型\", \"辄\", \"希\", \"柏\", \"耿\", \"罂\", \"霈\", \"谀\", \"荒\", \"卉\", \"纵\", \"酸\", \"腌\", \"蓁\", \"渚\", \"涿\", \"病\", \"控\", \"夏\", \"轰\", \"滞\", \"谭\", \"皇\", \"辗\", \"帕\", \"圾\", \"蒂\", \"北\", \"赏\", \"残\", \"氮\", \"乔\", \"闻\", \"椋\", \"镊\", \"舞\", \"甫\", \"附\", \"碴\", \"掴\", \"旷\", \"瑛\", \"上\", \"宇\", \"蟋\", \"城\", \"槟\", \"徘\", \"犁\", \"银\", \"纠\", \"虐\", \"扰\", \"霜\", \"佣\", \"炸\", \"荷\", \"溥\", \"乎\", \"书\", \"钞\", \"摒\", \"缸\", \"眬\", \"叱\", \"惧\", \"储\", \"旅\", \"囚\", \"锤\", \"赠\", \"铐\", \"骷\", \"坪\", \"奸\", \"嫉\", \"诈\", \"啥\", \"渣\", \"皖\", \"父\", \"衰\", \"撰\", \"婕\", \"吼\", \"锜\", \"琬\", \"嗑\", \"双\", \"哑\", \"揩\", \"腓\", \"谍\", \"泯\", \"朵\", \"磊\", \"烛\", \"瓦\", \"撕\", \"颁\", \"揉\", \"木\", \"石\", \"屹\", \"璞\", \"莒\", \"潢\", \"倍\", \"版\", \"淞\", \"窿\", \"眨\", \"愚\", \"息\", \"埔\", \"铂\", \"岩\", \"鸥\", \"瞒\", \"哼\", \"申\", \"岱\", \"损\", \"ｂ\", \"勘\", \"诠\", \"隐\", \"琊\", \"秀\", \"咯\", \"睾\", \"痱\", \"智\", \"收\", \"唱\", \"悠\", \"忠\", \"至\", \"昕\", \"吭\", \"和\", \"册\", \"壶\", \"盔\", \"毓\", \"亢\", \"涕\", \"禺\", \"搪\", \"减\", \"钒\", \"楚\", \"勿\", \"幽\", \"颜\", \"氾\", \"忻\", \"夯\", \"膑\", \"校\", \"跤\", \"队\", \"慑\", \"芊\", \"髌\", \"义\", \"独\", \"纳\", \"刁\", \"站\", \"浊\", \"下\", \"座\", \"署\", \"盹\", \"琰\", \"搡\", \"视\", \"肘\", \"鲟\", \"孀\", \"来\", \"鬼\", \"踞\", \"包\", \"碱\", \"杜\", \"寺\", \"胳\", \"瓯\", \"秆\", \"滩\", \"舰\", \"号\", \"廖\", \"嗨\", \"麋\", \"次\", \"纷\", \"暮\", \"购\", \"帜\", \"管\", \"蹂\", \"杆\", \"篷\", \"田\", \"珀\", \"剑\", \"扔\", \"莲\", \"磁\", \"挽\", \"鑫\", \"冒\", \"达\", \"诺\", \"稍\", \"气\", \"溃\", \"凝\", \"禽\", \"踢\", \"促\", \"岚\", \"葆\", \"栗\", \"懿\", \"乡\", \"骁\", \"佑\", \"皋\", \"腕\", \"窝\", \"企\", \"憨\", \"漭\", \"难\", \"麾\", \"慧\", \"藏\", \"桑\", \"三\", \"渎\", \"踊\", \"玮\", \"室\", \"挣\", \"脂\", \"零\", \"货\", \"陷\", \"揭\", \"斌\", \"撇\", \"狙\", \"置\", \"娩\", \"薄\", \"倚\", \"莽\", \"佟\", \"牲\", \"萎\", \"权\", \"换\", \"唤\", \"姑\", \"柜\", \"订\", \"碾\", \"煲\", \"儒\", \"仇\", \"吐\", \"勇\", \"驰\", \"航\", \"尿\", \"诶\", \"陌\", \"猪\", \"嗣\", \"范\", \"慨\", \"遏\", \"丢\", \"星\", \"剁\", \"读\", \"岳\", \"竲\", \"舶\", \"可\", \"兀\", \"锦\", \"弘\", \"熨\", \"淡\", \"衫\", \"桐\", \"寞\", \"刀\", \"瑜\", \"券\", \"夸\", \"躺\", \"髅\", \"匹\", \"枚\", \"眠\", \"椒\", \"眈\", \"璐\", \"擘\", \"弄\", \"殴\", \"帼\", \"阁\", \"蔑\", \"噘\", \"腔\", \"充\", \"霖\", \"哀\", \"窘\", \"馨\", \"祁\", \"蚀\", \"漂\", \"谚\", \"姐\", \"冰\", \"脉\", \"锋\", \"忆\", \"透\", \"祥\", \"庭\", \"眶\", \"着\", \"羚\", \"打\", \"颖\", \"阔\", \"糙\", \"稀\", \"碍\", \"舒\", \"憩\", \"磺\", \"油\", \"笑\", \"肛\", \"晦\", \"迪\", \"钟\", \"驾\", \"胸\", \"痹\", \"劵\", \"其\", \"斡\", \"声\", \"劲\", \"蒋\", \"骸\", \"紫\", \"阙\", \"垣\", \"盲\", \"帷\", \"注\", \"嘴\", \"饮\", \"淑\", \"寮\", \"殒\", \"剪\", \"飙\", \"邃\", \"交\", \"扇\", \"俄\", \"熊\", \"睐\", \"醐\", \"湾\", \"赌\", \"处\", \"孢\", \"谊\", \"套\", \"缆\", \"龟\", \"暴\", \"担\", \"骋\", \"皙\", \"嗷\", \"砌\", \"部\", \"泱\", \"圈\", \"乌\", \"陬\", \"阚\", \"馥\", \"切\", \"应\", \"聆\", \"喱\", \"后\", \"米\", \"郎\", \"允\", \"浸\", \"庸\", \"愉\", \"美\", \"庙\", \"瓮\", \"付\", \"殊\", \"睛\", \"集\", \"晃\", \"疏\", \"蜊\", \"税\", \"羿\", \"发\", \"寿\", \"患\", \"谙\", \"监\", \"杭\", \"弟\", \"遨\", \"紊\", \"礼\", \"舟\", \"所\", \"演\", \"埠\", \"塑\", \"皓\", \"溉\", \"秸\", \"喜\", \"垄\", \"甄\", \"釜\", \"径\", \"般\", \"封\", \"嬛\", \"搓\", \"获\", \"侠\", \"块\", \"组\", \"壹\", \"台\", \"敞\", \"淇\", \"抡\", \"震\", \"沣\", \"门\", \"轩\", \"到\", \"枕\", \"染\", \"潮\", \"苑\", \"飒\", \"舀\", \"搂\", \"留\", \"途\", \"沱\", \"赃\", \"稽\", \"育\", \"似\", \"派\", \"十\", \"官\", \"橱\", \"链\", \"借\", \"骅\", \"做\", \"遵\", \"鳝\", \"槿\", \"擎\", \"操\", \"竞\", \"唏\", \"癫\", \"富\", \"蝠\", \"悄\", \"霎\", \"庚\", \"姗\", \"扛\", \"严\", \"汾\", \"惊\", \"命\", \"铿\", \"旁\", \"凿\", \"桓\", \"力\", \"及\", \"跟\", \"间\", \"歪\", \"淳\", \"腼\", \"粮\", \"窑\", \"王\", \"睡\", \"袱\", \"社\", \"中\", \"峙\", \"乘\", \"秤\", \"馒\", \"赴\", \"爆\", \"桥\", \"构\", \"闲\", \"摔\", \"捍\", \"夺\", \"坎\", \"挖\", \"披\", \"车\", \"窍\", \"牙\", \"瀚\", \"汇\", \"勾\", \"愈\", \"邳\", \"莘\", \"花\", \"宿\", \"赚\", \"癖\", \"喷\", \"莉\", \"补\", \"造\", \"瑰\", \"掉\", \"渴\", \"遐\", \"惮\", \"服\", \"效\", \"踩\", \"当\", \"晔\", \"更\", \"没\", \"晾\", \"拭\", \"馋\", \"价\", \"现\", \"藜\", \"助\", \"炬\", \"丝\", \"鹭\", \"诟\", \"英\", \"符\", \"炉\", \"磕\", \"拜\", \"徐\", \"华\", \"张\", \"写\", \"儿\", \"番\", \"锟\", \"裹\", \"坑\", \"亲\", \"氪\", \"温\", \"吸\", \"敏\", \"咨\", \"豪\", \"梗\", \"煌\", \"登\", \"犊\", \"射\", \"灵\", \"塘\", \"福\", \"降\", \"鸿\", \"檐\", \"壮\", \"冕\", \"在\", \"砖\", \"寸\", \"异\", \"锭\", \"雄\", \"殉\", \"黯\", \"捺\", \"呢\", \"陵\", \"拮\", \"粳\", \"磋\", \"裙\", \"祸\", \"澜\", \"非\", \"养\", \"边\", \"孙\", \"弯\", \"床\", \"卦\", \"艋\", \"壕\", \"加\", \"熏\", \"拔\", \"晒\", \"馊\", \"岖\", \"旨\", \"恿\", \"她\", \"升\", \"撑\", \"跪\", \"峥\", \"港\", \"襁\", \"谕\", \"臃\", \"得\", \"黑\", \"响\", \"漕\", \"瑚\", \"俏\", \"鲍\", \"逆\", \"兖\", \"橙\", \"出\", \"骼\", \"娃\", \"袖\", \"轮\", \"野\", \"源\", \"绊\", \"立\", \"殃\", \"像\", \"享\", \"慢\", \"晨\", \"稿\", \"寒\", \"清\", \"埜\", \"撤\", \"贯\", \"杠\", \"巅\", \"氰\", \"朽\", \"奇\", \"海\", \"景\", \"籽\", \"玫\", \"僮\", \"耗\", \"毋\", \"冥\", \"矜\", \"迹\", \"涵\", \"妤\", \"漳\", \"访\", \"硕\", \"顽\", \"垌\", \"炷\", \"媳\", \"隔\", \"簇\", \"恙\", \"俐\", \"橡\", \"炼\", \"驿\", \"咒\", \"破\", \"烷\", \"扩\", \"沙\", \"帽\", \"称\", \"踝\", \"搬\", \"粥\", \"漯\", \"啵\", \"舜\", \"纸\", \"郜\", \"索\", \"侬\", \"蚣\", \"焚\", \"舌\", \"犒\", \"鸾\", \"负\", \"梭\", \"嫁\", \"映\", \"敝\", \"钧\", \"烂\", \"枫\", \"袂\", \"池\", \"昌\", \"姣\", \"怯\", \"琅\", \"模\", \"飓\", \"狩\", \"具\", \"怀\", \"帘\", \"槛\", \"哽\", \"逝\", \"不\", \"鹏\", \"泸\", \"徙\", \"镜\", \"跳\", \"落\", \"雀\", \"见\", \"渺\", \"讯\", \"歹\", \"餮\", \"町\", \"复\", \"伶\", \"啃\", \"尸\", \"屏\", \"瓷\", \"伯\", \"砚\", \"涅\", \"咐\", \"榔\", \"琨\", \"霉\", \"枪\", \"捂\", \"叩\", \"休\", \"栽\", \"利\", \"诲\", \"黄\", \"素\", \"蚊\", \"嵋\", \"黔\", \"笙\", \"昧\", \"叛\", \"心\", \"诏\", \"攻\", \"递\", \"昭\", \"鄙\", \"根\", \"扑\", \"详\", \"汕\", \"槎\", \"呛\", \"绅\", \"肴\", \"巷\", \"邮\", \"辜\", \"脸\", \"涧\", \"颗\", \"缜\", \"偏\", \"料\", \"训\", \"酬\", \"嘲\", \"积\", \"哒\", \"里\", \"仡\", \"吊\", \"筛\", \"擂\", \"就\", \"将\", \"逼\", \"翠\", \"奘\", \"却\", \"醉\", \"痣\", \"毒\", \"辰\", \"萦\", \"延\", \"霞\", \"胛\", \"鹃\", \"嶝\", \"培\", \"斑\", \"缨\", \"焯\", \"凤\", \"局\", \"左\", \"焘\", \"算\", \"牟\", \"弃\", \"亥\", \"瓢\", \"卫\", \"鄞\", \"顾\", \"碧\", \"络\", \"脍\", \"喔\", \"扶\", \"桃\", \"匆\", \"吗\", \"戚\", \"易\", \"喀\", \"血\", \"碳\", \"活\", \"忧\", \"肩\", \"谋\", \"辅\", \"瞩\", \"焱\", \"迄\", \"迥\", \"鳖\", \"短\", \"执\", \"扮\", \"确\", \"乙\", \"饕\", \"毽\", \"嫡\", \"医\", \"吞\", \"慎\", \"想\", \"是\", \"籍\", \"妮\", \"憧\", \"祭\", \"峭\", \"既\", \"娅\", \"玳\", \"砥\", \"崩\", \"萨\", \"旗\", \"啕\", \"抬\", \"蜗\", \"绽\", \"胧\", \"断\", \"佘\", \"板\", \"鹅\", \"糕\", \"诬\", \"呃\", \"栾\", \"河\", \"巨\", \"幄\", \"案\", \"数\", \"惫\", \"鄂\", \"腱\", \"蟒\", \"原\", \"察\", \"赞\", \"涤\", \"报\", \"漆\", \"帅\", \"成\", \"屈\", \"抓\", \"子\", \"杂\", \"诋\", \"迸\", \"人\", \"撮\", \"停\", \"窗\", \"水\", \"廊\", \"獒\", \"晟\", \"奏\", \"需\", \"吝\", \"闰\", \"咀\", \"凉\", \"闹\", \"对\", \"直\", \"藤\", \"逻\", \"思\", \"蚁\", \"歉\", \"哥\", \"硚\", \"瑁\", \"炅\", \"沂\", \"纾\", \"鲨\", \"尖\", \"亩\", \"孱\", \"商\", \"吿\", \"予\", \"挎\", \"彪\", \"他\", \"噩\", \"查\", \"缺\", \"岔\", \"放\", \"鹞\", \"吴\", \"票\", \"潘\", \"踵\", \"畜\", \"嗬\", \"策\", \"曲\", \"纺\", \"窜\", \"俪\", \"鸯\", \"者\", \"浴\", \"绮\", \"莆\", \"麻\", \"认\", \"围\", \"偶\", \"鼻\", \"招\", \"些\", \"赘\", \"涮\", \"畴\", \"宴\", \"户\", \"峰\", \"哭\", \"凭\", \"电\", \"猝\", \"媛\", \"玖\", \"腊\", \"胰\", \"厩\", \"液\", \"媚\", \"蟑\", \"鲜\", \"韧\", \"臭\", \"耽\", \"宋\", \"猬\", \"匕\", \"叼\", \"嬉\", \"俱\", \"忐\", \"嘶\", \"玲\", \"功\", \"乐\", \"聚\", \"节\", \"瘠\", \"跆\", \"赦\", \"罪\", \"耻\", \"喇\", \"氧\", \"焦\", \"搏\", \"淫\", \"稻\", \"秣\", \"如\", \"圃\", \"牧\", \"狮\", \"壑\", \"泔\", \"俊\", \"榉\", \"棺\", \"嗲\", \"烯\", \"弈\", \"瞪\", \"攀\", \"须\", \"犯\", \"坨\", \"京\", \"煤\", \"剔\", \"阎\", \"等\", \"霸\", \"灭\", \"厨\", \"咙\", \"务\", \"淮\", \"酷\", \"几\", \"盼\", \"驱\", \"硝\", \"膛\", \"棍\", \"矛\", \"廉\", \"圣\", \"违\", \"瑙\", \"鞋\", \"赐\", \"竽\", \"骨\", \"嫖\", \"渭\", \"殿\", \"械\", \"愁\", \"氟\", \"载\", \"衍\", \"烦\", \"歇\", \"豁\", \"审\", \"呀\", \"哲\", \"粹\", \"婚\", \"滤\", \"恬\", \"材\", \"饽\", \"殓\", \"耶\", \"禀\", \"痼\", \"侦\", \"艰\", \"盾\", \"垤\", \"觉\", \"舵\", \"阜\", \"沦\", \"熠\", \"粕\", \"缝\", \"唁\", \"安\", \"菠\", \"珺\", \"常\", \"项\", \"爹\", \"涞\", \"嚎\", \"苡\", \"悌\", \"巩\", \"缪\", \"妧\", \"胶\", \"秉\", \"谤\", \"优\", \"骏\", \"什\", \"欧\", \"雹\", \"测\", \"澡\", \"裤\", \"棘\", \"你\", \"螺\", \"梳\", \"拈\", \"袍\", \"焉\", \"牾\", \"感\", \"泳\", \"栅\", \"ａ\", \"善\", \"钴\", \"殡\", \"转\", \"劳\", \"扯\", \"氨\", \"驼\", \"江\", \"蛮\", \"戟\", \"擦\", \"咖\", \"咏\", \"挺\", \"蔓\", \"歧\", \"菱\", \"藻\", \"甯\", \"醒\", \"死\", \"桌\", \"冶\", \"牌\", \"珍\", \"壁\", \"捣\", \"毗\", \"砲\", \"泷\", \"督\", \"嘘\", \"滕\", \"荟\", \"魏\", \"角\", \"扣\", \"闺\", \"夭\", \"铲\", \"筒\", \"埕\", \"溢\", \"筏\", \"兑\", \"坞\", \"散\", \"箱\", \"闸\", \"梓\", \"镶\", \"栏\", \"雾\", \"编\", \"薛\", \"炊\", \"返\", \"磷\", \"麝\", \"瘀\", \"芝\", \"括\", \"郭\", \"拌\", \"俞\", \"章\", \"日\", \"告\", \"击\", \"徽\", \"蕴\", \"朐\", \"遴\", \"骄\", \"低\", \"冠\", \"滨\", \"绚\", \"沮\", \"哉\", \"腩\", \"鹊\", \"觊\", \"囊\", \"跷\", \"豹\", \"烧\", \"娌\", \"彩\", \"弑\", \"拷\", \"萱\", \"锵\", \"蚕\", \"障\", \"芜\", \"讲\", \"探\", \"捻\", \"遁\", \"裸\", \"兴\", \"配\", \"整\", \"萄\", \"展\", \"傍\", \"胎\", \"毅\", \"檀\", \"耘\", \"雌\", \"箔\", \"熙\", \"弗\", \"滔\", \"最\", \"麟\", \"暂\", \"消\", \"淆\", \"烁\", \"扫\", \"欺\", \"耒\", \"昵\", \"吻\", \"瑟\", \"侈\", \"溜\", \"晓\", \"贷\", \"彤\", \"袄\", \"页\", \"陈\", \"臂\", \"媞\", \"虑\", \"科\", \"岭\", \"扭\", \"岷\", \"疙\", \"俩\", \"吾\", \"傲\", \"熔\", \"浇\", \"叭\", \"犬\", \"楞\", \"乾\", \"倘\", \"壳\", \"献\", \"荐\", \"屑\", \"蓉\", \"差\", \"恩\", \"赡\", \"绢\", \"颚\", \"妆\", \"焊\", \"揣\", \"质\", \"惬\", \"二\", \"钻\", \"各\", \"抒\", \"辟\", \"毁\", \"遍\", \"垃\", \"孺\", \"炮\", \"霹\", \"馀\", \"秩\", \"琛\", \"菲\", \"毙\", \"缄\", \"钜\", \"井\", \"束\", \"颈\", \"甘\", \"比\", \"狭\", \"褚\", \"况\", \"究\", \"崭\", \"疫\", \"讹\", \"屋\", \"噎\", \"榭\", \"元\", \"痊\", \"漩\", \"冬\", \"寨\", \"胀\", \"甩\", \"渠\", \"鸵\", \"周\", \"解\", \"尹\", \"疡\", \"沐\", \"呜\", \"扎\", \"挚\", \"筵\", \"贺\", \"疤\", \"凑\", \"背\", \"拘\", \"青\", \"沁\", \"砒\", \"诱\", \"重\", \"懒\", \"条\", \"胖\", \"芽\", \"辫\", \"萤\", \"峪\", \"裂\", \"芮\", \"瑶\", \"鱼\", \"菊\", \"蹄\", \"亵\", \"鸠\", \"愧\", \"痛\", \"腺\", \"薯\", \"酌\", \"袈\", \"实\", \"掬\", \"贪\", \"律\", \"沸\", \"甜\", \"淌\", \"戏\", \"判\", \"孤\", \"毛\", \"颠\", \"庄\", \"窈\", \"谱\", \"澈\", \"翁\", \"镖\", \"拣\", \"芭\", \"耍\", \"棠\", \"羣\", \"狂\", \"陨\", \"求\", \"勤\", \"沫\", \"觥\", \"诡\", \"姊\", \"维\", \"奋\", \"端\", \"巧\", \"艘\", \"娼\", \"娆\", \"钊\", \"情\", \"学\", \"脏\", \"辨\", \"沈\", \"帚\", \"碗\", \"臆\", \"沾\", \"圭\", \"蕊\", \"土\", \"默\", \"呐\", \"餐\", \"蜓\", \"弩\", \"择\", \"早\", \"恣\", \"宣\", \"拆\", \"爬\", \"寅\", \"镑\", \"主\", \"紧\", \"陪\", \"言\", \"孕\", \"尧\", \"志\", \"属\", \"蜘\", \"啼\", \"甲\", \"翰\", \"祉\", \"芪\", \"给\", \"锂\", \"试\", \"叮\", \"滢\", \"剖\", \"玻\", \"蝙\", \"钱\", \"鞠\", \"佼\", \"锈\", \"彼\", \"专\", \"克\", \"宪\", \"葡\", \"芒\", \"禹\", \"母\", \"舛\", \"阅\", \"诸\", \"飞\", \"蔷\", \"莱\", \"钢\", \"珲\", \"带\", \"挤\", \"股\", \"勉\", \"岗\", \"澳\", \"限\", \"哦\", \"坂\", \"么\", \"饲\", \"砍\", \"爱\", \"蕙\", \"疼\", \"摸\", \"辉\", \"绯\", \"蝎\", \"宫\", \"嗅\", \"斟\", \"喘\", \"垭\", \"腹\", \"蒸\", \"唯\", \"盗\", \"录\", \"宗\", \"萝\", \"为\", \"絮\", \"恸\", \"樟\", \"蚯\", \"雁\", \"卓\", \"绒\", \"潍\", \"蜂\", \"黏\", \"滁\", \"凳\", \"缩\", \"墩\", \"酒\", \"颐\", \"叠\", \"汛\", \"烃\", \"语\", \"釉\", \"煜\", \"凄\", \"芙\", \"础\", \"频\", \"康\", \"畅\", \"诞\", \"用\", \"琪\", \"坠\", \"淼\", \"拖\", \"稚\", \"彦\", \"浩\", \"啊\", \"铃\", \"嘎\", \"覃\", \"聘\", \"葫\", \"胜\", \"楼\", \"顿\", \"弱\", \"瘁\", \"痉\", \"新\", \"账\", \"两\", \"匝\", \"狗\", \"尚\", \"骗\", \"鸽\", \"歆\", \"铭\", \"们\", \"细\", \"耕\", \"丐\", \"洗\", \"妥\", \"肿\", \"苯\", \"拾\", \"疗\", \"瑞\", \"坐\", \"杰\", \"湃\", \"杏\", \"蚝\", \"奴\", \"急\", \"目\", \"准\", \"瀑\", \"骇\", \"琥\", \"龄\", \"岂\", \"咳\", \"塾\", \"苗\", \"逮\", \"褶\", \"伦\", \"茜\", \"脊\", \"邹\", \"霄\", \"淖\", \"蔡\", \"员\", \"过\", \"免\", \"粤\", \"省\", \"谦\", \"篮\", \"帆\", \"鲷\", \"梅\", \"振\", \"熹\", \"沟\", \"猿\", \"蜇\", \"哎\", \"路\", \"斥\", \"泌\", \"菡\", \"徒\", \"继\", \"仕\", \"蝗\", \"芷\", \"栋\", \"函\", \"峨\", \"扉\", \"使\", \"决\", \"喂\", \"院\", \"矮\", \"任\", \"抖\", \"妩\", \"癣\", \"谌\", \"邝\", \"惰\", \"费\", \"筐\", \"雅\", \"翔\", \"衣\", \"溺\", \"炫\", \"蹼\", \"瞎\", \"夷\", \"喻\", \"辐\", \"憷\", \"制\", \"巢\", \"博\", \"曦\", \"励\", \"初\", \"恰\", \"攒\", \"珊\", \"状\", \"夜\", \"再\", \"苟\", \"诫\", \"绌\", \"持\", \"株\", \"婪\", \"讳\", \"吵\", \"洞\", \"象\", \"粒\", \"线\", \"饪\", \"黝\", \"芯\", \"肇\", \"歌\", \"皮\", \"丙\", \"椿\", \"冤\", \"脱\", \"捞\", \"倦\", \"第\", \"亳\", \"垅\", \"季\", \"越\", \"铣\", \"粽\", \"娥\", \"叵\", \"顶\", \"头\", \"霏\", \"尘\", \"尊\", \"夫\", \"呗\", \"坊\", \"怡\", \"灾\", \"肪\", \"嫦\", \"祎\", \"白\", \"昊\", \"内\", \"率\", \"护\", \"魇\", \"咸\", \"缘\", \"走\", \"记\", \"憔\", \"柿\", \"阶\", \"崎\", \"假\", \"滑\", \"兜\", \"届\", \"痘\", \"火\", \"猜\", \"销\", \"迎\", \"坯\", \"ｃ\", \"孝\", \"诀\", \"虚\", \"悴\", \"洋\", \"遣\", \"罹\", \"才\", \"眺\", \"前\", \"够\", \"鼎\", \"厢\", \"忍\", \"凶\", \"孜\", \"兰\", \"森\", \"拱\", \"失\", \"灸\", \"蔬\", \"狠\", \"潞\", \"互\", \"蜀\", \"逛\", \"怒\", \"沼\", \"嘉\", \"支\", \"场\", \"叹\", \"练\", \"地\", \"茫\", \"牡\", \"龚\", \"众\", \"玥\", \"盟\", \"惋\", \"驶\", \"娱\", \"渊\", \"昀\", \"貌\", \"唉\", \"矣\", \"谓\", \"羁\", \"近\", \"渍\", \"闳\", \"昱\", \"庶\", \"嗒\", \"琢\", \"灿\", \"嚷\", \"谐\", \"避\", \"嘱\", \"爸\", \"徊\", \"计\", \"缙\", \"寂\", \"袜\", \"悦\", \"稠\", \"鞍\", \"伞\", \"嘛\", \"辖\", \"请\", \"呕\", \"播\", \"险\", \"揽\", \"蠢\", \"皆\", \"变\", \"悟\", \"涨\", \"昂\", \"燥\", \"琼\", \"糯\", \"导\", \"引\", \"致\", \"尺\", \"卢\", \"呦\", \"蓄\", \"鲶\", \"貉\", \"酪\", \"龙\", \"简\", \"雳\", \"仄\", \"祈\", \"看\", \"铡\", \"榆\", \"莴\", \"罚\", \"楂\", \"贱\", \"涠\", \"瘸\", \"冗\", \"恨\", \"族\", \"香\", \"狱\", \"辱\", \"贾\", \"荣\", \"箍\", \"笼\", \"九\", \"逃\", \"踏\", \"亟\", \"秧\", \"齿\", \"兵\", \"百\", \"备\", \"狼\", \"啰\", \"软\", \"繁\", \"碟\", \"拇\", \"墅\", \"铅\", \"肢\", \"键\", \"衔\", \"亦\", \"踹\", \"冉\", \"柬\", \"吆\", \"毯\", \"锐\", \"嵌\", \"寰\", \"产\", \"圆\", \"琐\", \"戬\", \"侵\", \"同\", \"砾\", \"提\", \"考\", \"丘\", \"荇\", \"串\", \"挑\", \"莹\", \"闫\", \"有\", \"蹲\", \"棋\", \"蔽\", \"恭\", \"蜜\", \"静\", \"传\", \"屠\", \"炙\", \"脯\", \"札\", \"蹬\", \"朦\", \"硬\", \"述\", \"秽\", \"俚\", \"谑\", \"自\", \"干\", \"夹\", \"肾\", \"擒\", \"驭\", \"喉\", \"蛇\", \"甥\", \"凯\", \"猴\", \"绍\", \"琶\", \"宙\", \"郑\", \"羔\", \"婆\", \"挫\", \"灰\", \"租\", \"还\", \"纶\", \"驮\", \"坏\", \"宾\", \"沓\", \"被\", \"影\", \"卧\", \"魔\", \"誓\", \"区\", \"辛\", \"坤\", \"怎\", \"冷\", \"县\", \"联\", \"烊\", \"憋\", \"禁\", \"鼾\", \"代\", \"旭\", \"崇\", \"咧\", \"崔\", \"架\", \"脑\", \"钠\", \"螃\", \"袋\", \"鹿\", \"渐\", \"狐\", \"匪\", \"课\", \"谨\", \"呼\", \"蹦\", \"漫\", \"伪\", \"荡\", \"螳\", \"潭\", \"薰\", \"宸\", \"阳\", \"泣\", \"嗯\", \"掐\", \"帖\", \"稣\", \"纣\", \"榻\", \"搁\", \"运\", \"郁\", \"璀\", \"找\", \"守\", \"厮\", \"拽\", \"秘\", \"吓\", \"能\", \"翼\", \"埋\", \"殖\", \"蓝\", \"枯\", \"茆\", \"柠\", \"闽\", \"笈\", \"警\", \"仿\", \"厕\", \"相\", \"腑\", \"缰\", \"躬\", \"夙\", \"谷\", \"奎\", \"烨\", \"焰\", \"萍\", \"大\", \"网\", \"襄\", \"泗\", \"矢\", \"晖\", \"雯\", \"缉\", \"刺\", \"柑\", \"印\", \"钣\", \"羡\", \"争\", \"析\", \"伽\", \"庞\", \"愿\", \"茗\", \"议\", \"啦\", \"菇\", \"焕\", \"昨\", \"綦\", \"肮\", \"幼\", \"综\", \"弧\", \"叨\", \"辑\", \"逢\", \"鞭\", \"单\", \"摩\", \"嫚\", \"览\", \"太\", \"虎\", \"禧\", \"绕\", \"澎\", \"垡\", \"聊\", \"密\", \"瘫\", \"凋\", \"例\", \"千\", \"咕\", \"刹\", \"萧\", \"洽\", \"猾\", \"镍\", \"囧\", \"竹\", \"罕\", \"奈\", \"蝇\", \"飚\", \"逍\", \"郫\", \"迢\", \"迂\", \"憾\", \"橇\", \"妇\", \"琳\", \"山\", \"颓\", \"徇\", \"珠\", \"胫\", \"腋\", \"式\", \"品\", \"蹚\", \"逐\", \"铎\", \"进\", \"贤\", \"欲\", \"狸\", \"隙\", \"弦\", \"胃\", \"豫\", \"替\", \"框\", \"怅\", \"斤\", \"沉\", \"工\", \"眉\", \"趣\", \"椎\", \"州\", \"洁\", \"苇\", \"淋\", \"败\", \"度\", \"腰\", \"朗\", \"斩\", \"闵\", \"撒\", \"旱\", \"嗦\", \"抨\", \"侄\", \"厘\", \"误\", \"兹\", \"粪\", \"搞\", \"巿\", \"妄\", \"桉\", \"赵\", \"棒\", \"颅\", \"耐\", \"醋\", \"颊\", \"层\", \"孪\", \"依\", \"俗\", \"奔\", \"磴\", \"侗\", \"凸\", \"炒\", \"韦\", \"炽\", \"羽\", \"嘀\", \"铬\", \"唬\", \"窖\", \"念\", \"贮\", \"炎\", \"宵\", \"窨\", \"靴\", \"教\", \"氦\", \"摘\", \"喵\", \"年\", \"匾\", \"醛\", \"赣\", \"跑\", \"供\", \"畔\", \"陋\", \"邵\", \"捉\", \"雕\", \"拓\", \"洱\", \"援\", \"悍\", \"玺\", \"掀\", \"溅\", \"盖\", \"暑\", \"圪\", \"腆\", \"嘟\", \"侯\", \"咚\", \"敬\", \"酶\", \"熟\", \"锌\", \"浅\", \"瓜\", \"膝\", \"杯\", \"俨\", \"侑\", \"且\", \"坟\", \"欢\", \"膏\", \"删\", \"潼\", \"塔\", \"褂\", \"媲\", \"满\", \"标\", \"娴\", \"岬\", \"淤\", \"锆\", \"暗\", \"肝\", \"趟\", \"恢\", \"童\", \"辽\", \"彭\", \"佐\", \"译\", \"斋\", \"拨\", \"受\", \"礁\", \"弊\", \"旋\", \"刃\", \"袆\", \"矿\", \"仗\", \"憬\", \"戎\", \"刮\", \"浚\", \"爷\", \"拥\", \"或\", \"肃\", \"厉\", \"魁\", \"愤\", \"卵\", \"刨\", \"果\", \"稼\", \"痫\", \"苏\", \"禅\", \"孰\", \"馅\", \"茹\", \"境\", \"何\", \"膜\", \"褓\", \"姥\", \"缇\", \"酋\", \"莫\", \"堡\", \"氯\", \"卲\", \"盒\", \"贞\", \"氓\", \"世\", \"柞\", \"塞\", \"四\", \"跌\", \"泥\", \"俾\", \"莺\", \"寇\", \"笔\", \"棵\", \"隆\", \"吩\", \"贝\", \"寐\", \"努\", \"岸\", \"饱\", \"济\", \"柴\", \"翡\", \"待\", \"胆\", \"赫\", \"廷\", \"籁\", \"虾\", \"幂\", \"顺\", \"绵\", \"狞\", \"妃\", \"压\", \"先\", \"惑\", \"咪\", \"仍\", \"撞\", \"循\", \"孟\", \"咬\", \"咱\", \"丧\", \"炜\", \"遂\", \"诊\", \"泻\", \"屌\", \"篇\", \"袁\", \"蛙\", \"盎\", \"奥\", \"虏\", \"淅\", \"梦\", \"浑\", \"灞\", \"苣\", \"逅\", \"概\", \"婷\", \"惕\", \"吨\", \"湛\", \"垒\", \"韶\", \"蔗\", \"捧\", \"祯\", \"宜\", \"布\", \"齐\", \"知\", \"猖\", \"璧\", \"远\", \"粉\", \"佳\", \"婵\", \"夕\", \"哪\", \"填\", \"快\", \"硅\", \"脾\", \"挪\", \"回\", \"向\", \"斧\", \"耀\", \"胤\", \"草\", \"崴\", \"葱\", \"汝\", \"垮\", \"鲤\", \"沅\", \"因\", \"咄\", \"烘\", \"讽\", \"碎\", \"群\", \"惹\", \"曝\", \"怦\", \"缠\", \"苹\", \"遇\", \"妈\", \"剥\", \"枱\", \"锡\", \"恍\", \"营\", \"窄\", \"万\", \"燃\", \"绝\", \"宅\", \"磡\", \"睿\", \"隧\", \"植\", \"狡\", \"畸\", \"址\", \"添\", \"妨\", \"靖\", \"桦\", \"抠\", \"泉\", \"甚\", \"躁\", \"介\", \"鸭\", \"觅\", \"琴\", \"突\", \"泡\", \"蹈\", \"方\", \"昔\", \"曹\", \"拎\", \"滥\", \"锯\", \"兽\", \"战\", \"殷\", \"炭\", \"雇\", \"慰\", \"慈\", \"剩\", \"外\", \"观\", \"据\", \"输\", \"融\", \"理\", \"挥\", \"阿\", \"合\", \"李\", \"行\", \"魂\", \"丛\", \"宽\", \"识\", \"蒜\", \"隽\"]\n",
        "\n",
        "with open(\"/content/data_aishell/labels.json\", \"w\") as f:\n",
        "    json.dump(vb, f, ensure_ascii=False)\n"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "n12UMbDQ1PzB",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "!mkdir /content/masr/pretrained"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "iUhJy1Z6P7nH",
        "colab_type": "text"
      },
      "source": [
        "## 修改文件"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "wKfHF1HUctJI",
        "colab_type": "code",
        "cellView": "form",
        "outputId": "c8f0948a-d79f-4162-e4b8-d0cf819a9324",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 35
        }
      },
      "source": [
        "#@title data.py\n",
        "%%writefile /content/masr/data.py\n",
        "import torch\n",
        "import librosa\n",
        "import wave\n",
        "import numpy as np\n",
        "import scipy\n",
        "import json\n",
        "from torch.utils.data import DataLoader\n",
        "from torch.utils.data import Dataset\n",
        "\n",
        "sample_rate = 16000\n",
        "window_size = 0.02\n",
        "window_stride = 0.01\n",
        "n_fft = int(sample_rate * window_size)\n",
        "win_length = n_fft\n",
        "hop_length = int(sample_rate * window_stride)\n",
        "window = \"hamming\"\n",
        "\n",
        "\n",
        "def load_audio(wav_path, normalize=True):  # -> numpy array\n",
        "    with wave.open(wav_path) as wav:\n",
        "        wav = np.frombuffer(wav.readframes(wav.getnframes()), dtype=\"int16\")\n",
        "        wav = wav.astype(\"float\")\n",
        "    if normalize:\n",
        "        return (wav - wav.mean()) / wav.std()\n",
        "    else:\n",
        "        return wav\n",
        "\n",
        "\n",
        "def spectrogram(wav, normalize=True):\n",
        "    D = librosa.stft(\n",
        "        wav, n_fft=n_fft, hop_length=hop_length, win_length=win_length, window=window\n",
        "    )\n",
        "\n",
        "    spec, phase = librosa.magphase(D)\n",
        "    spec = np.log1p(spec)\n",
        "    spec = torch.FloatTensor(spec)\n",
        "\n",
        "    if normalize:\n",
        "        spec = (spec - spec.mean()) / spec.std()\n",
        "\n",
        "    return spec\n",
        "\n",
        "\n",
        "class MASRDataset(Dataset):\n",
        "    def __init__(self, index_path, labels_path):\n",
        "        with open(index_path) as f:\n",
        "            idx = f.readlines()\n",
        "        idx = [x.strip().split(\",\", 1) for x in idx]\n",
        "        self.idx = idx\n",
        "        with open(labels_path) as f:\n",
        "            labels = json.load(f)\n",
        "        self.labels = dict([(labels[i], i) for i in range(len(labels))])\n",
        "        self.labels_str = labels\n",
        "\n",
        "    def __getitem__(self, index):\n",
        "        wav, transcript = self.idx[index]\n",
        "        wav = load_audio(wav)\n",
        "        spect = spectrogram(wav)\n",
        "        transcript = list(filter(None, [self.labels.get(x,1) for x in transcript]))\n",
        "\n",
        "        return spect, transcript\n",
        "\n",
        "    def __len__(self):\n",
        "        return len(self.idx)\n",
        "\n",
        "\n",
        "def _collate_fn(batch):\n",
        "    def func(p):\n",
        "        return p[0].size(1)\n",
        "\n",
        "    batch = sorted(batch, key=lambda sample: sample[0].size(1), reverse=True)\n",
        "    longest_sample = max(batch, key=func)[0]\n",
        "    freq_size = longest_sample.size(0)\n",
        "    minibatch_size = len(batch)\n",
        "    max_seqlength = longest_sample.size(1)\n",
        "    inputs = torch.zeros(minibatch_size, freq_size, max_seqlength)\n",
        "    input_lens = torch.IntTensor(minibatch_size)\n",
        "    target_lens = torch.IntTensor(minibatch_size)\n",
        "    targets = []\n",
        "    for x in range(minibatch_size):\n",
        "        sample = batch[x]\n",
        "        tensor = sample[0]\n",
        "        target = sample[1]\n",
        "        seq_length = tensor.size(1)\n",
        "        inputs[x].narrow(1, 0, seq_length).copy_(tensor)\n",
        "        input_lens[x] = seq_length\n",
        "        target_lens[x] = len(target)\n",
        "        targets.extend(target)\n",
        "    targets = torch.IntTensor(targets)\n",
        "    return inputs, targets, input_lens, target_lens\n",
        "\n",
        "\n",
        "class MASRDataLoader(DataLoader):\n",
        "    def __init__(self, *args, **kwargs):\n",
        "        super(MASRDataLoader, self).__init__(*args, **kwargs)\n",
        "        self.collate_fn = _collate_fn"
      ],
      "execution_count": 9,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "Overwriting /content/masr/data.py\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "WlUs4f7zcikq",
        "colab_type": "code",
        "cellView": "form",
        "outputId": "4ddafa6f-fcee-4cb4-ed94-25aaf0a32ad0",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 35
        }
      },
      "source": [
        "#@title train.py\n",
        "%%writefile /content/masr/train.py\n",
        "import torch\n",
        "import torch.nn as nn\n",
        "import data\n",
        "from models.conv import GatedConv\n",
        "from tqdm import tqdm\n",
        "from decoder import GreedyDecoder\n",
        "import tensorboardX as tensorboard\n",
        "import torch.nn.functional as F\n",
        "import json\n",
        "\n",
        "\n",
        "def train(\n",
        "    model,\n",
        "    epochs=1000,\n",
        "    batch_size=64,\n",
        "    train_index_path=\"/content/data_aishell/train-sort.manifest\",\n",
        "    dev_index_path=\"/content/data_aishell/dev.manifest\",\n",
        "    labels_path=\"/content/data_aishell/labels.json\",\n",
        "    learning_rate=0.06,\n",
        "    momentum=0.8,\n",
        "    max_grad_norm=0.2,\n",
        "    weight_decay=0,\n",
        "):\n",
        "    train_dataset = data.MASRDataset(train_index_path, labels_path)\n",
        "    batchs = (len(train_dataset) + batch_size - 1) // batch_size\n",
        "    dev_dataset = data.MASRDataset(dev_index_path, labels_path)\n",
        "    train_dataloader = data.MASRDataLoader(\n",
        "        train_dataset, batch_size=batch_size, num_workers=2\n",
        "    )\n",
        "    train_dataloader_shuffle = data.MASRDataLoader(\n",
        "        train_dataset, batch_size=batch_size, num_workers=2, shuffle=True\n",
        "    )\n",
        "    dev_dataloader = data.MASRDataLoader(\n",
        "        dev_dataset, batch_size=batch_size, num_workers=2\n",
        "    )\n",
        "    parameters = model.parameters()\n",
        "    optimizer = torch.optim.SGD(\n",
        "        parameters,\n",
        "        lr=learning_rate,\n",
        "        momentum=momentum,\n",
        "        nesterov=True,\n",
        "        weight_decay=weight_decay,\n",
        "    )\n",
        "    ctcloss = nn.CTCLoss()\n",
        "    # lr_sched = torch.optim.lr_scheduler.ExponentialLR(optimizer, 0.985)\n",
        "    writer = tensorboard.SummaryWriter()\n",
        "    gstep = 0\n",
        "    for epoch in range(epochs):\n",
        "        epoch_loss = 0\n",
        "        if epoch > 0:\n",
        "            train_dataloader = train_dataloader_shuffle\n",
        "        # lr_sched.step()\n",
        "        lr = get_lr(optimizer)\n",
        "        writer.add_scalar(\"lr/epoch\", lr, epoch)\n",
        "        for i, (x, y, x_lens, y_lens) in enumerate(train_dataloader):\n",
        "            x = x.to(\"cuda\")\n",
        "            y = y.to(\"cuda\")\n",
        "            out, out_lens = model(x, x_lens)\n",
        "            out = out.transpose(0, 1).transpose(0, 2).log_softmax(2)\n",
        "            loss = ctcloss(out, y, out_lens, y_lens)\n",
        "            optimizer.zero_grad()\n",
        "            loss.backward()\n",
        "            nn.utils.clip_grad_norm_(model.parameters(), max_grad_norm)\n",
        "            optimizer.step()\n",
        "            epoch_loss += loss.item()\n",
        "            writer.add_scalar(\"loss/step\", loss.item(), gstep)\n",
        "            gstep += 1\n",
        "            print(\n",
        "                \"[{}/{}][{}/{}]\\tLoss = {}\".format(\n",
        "                    epoch + 1, epochs, i, int(batchs), loss.item()\n",
        "                )\n",
        "            )\n",
        "        epoch_loss = epoch_loss / batchs\n",
        "        cer = eval(model, dev_dataloader)\n",
        "        writer.add_scalar(\"loss/epoch\", epoch_loss, epoch)\n",
        "        writer.add_scalar(\"cer/epoch\", cer, epoch)\n",
        "        print(\"Epoch {}: Loss= {}, CER = {}\".format(epoch, epoch_loss, cer))\n",
        "        torch.save(model, \"pretrained/model_{}.pth\".format(epoch))\n",
        "\n",
        "\n",
        "def get_lr(optimizer):\n",
        "    for param_group in optimizer.param_groups:\n",
        "        return param_group[\"lr\"]\n",
        "\n",
        "\n",
        "def eval(model, dataloader):\n",
        "    model.eval()\n",
        "    decoder = GreedyDecoder(dataloader.dataset.labels_str)\n",
        "    cer = 0\n",
        "    print(\"decoding\")\n",
        "    with torch.no_grad():\n",
        "        for i, (x, y, x_lens, y_lens) in tqdm(enumerate(dataloader)):\n",
        "            x = x.to(\"cuda\")\n",
        "            outs, out_lens = model(x, x_lens)\n",
        "            outs = F.softmax(outs, 1)\n",
        "            outs = outs.transpose(1, 2)\n",
        "            ys = []\n",
        "            offset = 0\n",
        "            for y_len in y_lens:\n",
        "                ys.append(y[offset : offset + y_len])\n",
        "                offset += y_len\n",
        "            out_strings, out_offsets = decoder.decode(outs, out_lens)\n",
        "            y_strings = decoder.convert_to_strings(ys)\n",
        "            for pred, truth in zip(out_strings, y_strings):\n",
        "                trans, ref = pred[0], truth[0]\n",
        "                cer += decoder.cer(trans, ref) / float(len(ref))\n",
        "        cer /= len(dataloader.dataset)\n",
        "    model.train()\n",
        "    return cer\n",
        "\n",
        "\n",
        "if __name__ == \"__main__\":\n",
        "    with open(\"/content/data_aishell/labels.json\") as f:\n",
        "        vocabulary = json.load(f)\n",
        "        vocabulary = \"\".join(vocabulary)\n",
        "    model = GatedConv(vocabulary)\n",
        "    model.to(\"cuda\")\n",
        "    train(model)"
      ],
      "execution_count": 12,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "Overwriting /content/masr/train.py\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "5PDMoC1kP-IG",
        "colab_type": "text"
      },
      "source": [
        "## 执行训练"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "wvbpNJ6I-7XE",
        "colab_type": "code",
        "outputId": "aa94cda9-fa87-42d0-af4c-e53bbb7c0f4d",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 1000
        }
      },
      "source": [
        "%cd /content/masr\n",
        "!python train.py"
      ],
      "execution_count": 0,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "/content/masr\n",
            "[1/1000][0/1877]\tLoss = 130.90032958984375\n",
            "[1/1000][1/1877]\tLoss = 132.1158447265625\n",
            "[1/1000][2/1877]\tLoss = 131.01666259765625\n",
            "[1/1000][3/1877]\tLoss = 128.91085815429688\n",
            "[1/1000][4/1877]\tLoss = 128.94992065429688\n",
            "[1/1000][5/1877]\tLoss = 130.52545166015625\n",
            "[1/1000][6/1877]\tLoss = 140.97862243652344\n",
            "[1/1000][7/1877]\tLoss = 139.47406005859375\n",
            "[1/1000][8/1877]\tLoss = 131.07821655273438\n",
            "[1/1000][9/1877]\tLoss = 117.67388916015625\n",
            "[1/1000][10/1877]\tLoss = 108.4754638671875\n",
            "[1/1000][11/1877]\tLoss = 90.99855041503906\n",
            "[1/1000][12/1877]\tLoss = 70.55731201171875\n",
            "[1/1000][13/1877]\tLoss = 48.534576416015625\n",
            "[1/1000][14/1877]\tLoss = 29.036481857299805\n",
            "[1/1000][15/1877]\tLoss = 16.09016990661621\n",
            "[1/1000][16/1877]\tLoss = 10.734220504760742\n",
            "[1/1000][17/1877]\tLoss = 9.432001113891602\n",
            "[1/1000][18/1877]\tLoss = 10.596626281738281\n",
            "[1/1000][19/1877]\tLoss = 10.977276802062988\n",
            "[1/1000][20/1877]\tLoss = 9.930727005004883\n",
            "[1/1000][21/1877]\tLoss = 8.977896690368652\n",
            "[1/1000][22/1877]\tLoss = 9.408096313476562\n",
            "[1/1000][23/1877]\tLoss = 9.188300132751465\n",
            "[1/1000][24/1877]\tLoss = 9.265350341796875\n",
            "[1/1000][25/1877]\tLoss = 9.76474380493164\n",
            "[1/1000][26/1877]\tLoss = 9.204263687133789\n",
            "[1/1000][27/1877]\tLoss = 9.433649063110352\n",
            "[1/1000][28/1877]\tLoss = 9.371246337890625\n",
            "[1/1000][29/1877]\tLoss = 9.049324035644531\n",
            "[1/1000][30/1877]\tLoss = 10.017583847045898\n",
            "[1/1000][31/1877]\tLoss = 9.494359970092773\n",
            "[1/1000][32/1877]\tLoss = 9.094386100769043\n",
            "[1/1000][33/1877]\tLoss = 9.461994171142578\n",
            "[1/1000][34/1877]\tLoss = 9.532429695129395\n",
            "[1/1000][35/1877]\tLoss = 8.954355239868164\n",
            "[1/1000][36/1877]\tLoss = 8.938035011291504\n",
            "[1/1000][37/1877]\tLoss = 9.21662712097168\n",
            "[1/1000][38/1877]\tLoss = 8.90700912475586\n",
            "[1/1000][39/1877]\tLoss = 8.935321807861328\n",
            "[1/1000][40/1877]\tLoss = 8.938529968261719\n",
            "[1/1000][41/1877]\tLoss = 8.823419570922852\n",
            "[1/1000][42/1877]\tLoss = 8.946523666381836\n",
            "[1/1000][43/1877]\tLoss = 8.832070350646973\n",
            "[1/1000][44/1877]\tLoss = 8.985941886901855\n",
            "[1/1000][45/1877]\tLoss = 9.041790008544922\n",
            "[1/1000][46/1877]\tLoss = 9.108606338500977\n",
            "[1/1000][47/1877]\tLoss = 8.87115478515625\n",
            "[1/1000][48/1877]\tLoss = 8.891962051391602\n",
            "[1/1000][49/1877]\tLoss = 8.799349784851074\n",
            "[1/1000][50/1877]\tLoss = 9.05514907836914\n",
            "[1/1000][51/1877]\tLoss = 8.637121200561523\n",
            "[1/1000][52/1877]\tLoss = 9.00705337524414\n",
            "[1/1000][53/1877]\tLoss = 8.76898193359375\n",
            "[1/1000][54/1877]\tLoss = 9.134061813354492\n",
            "[1/1000][55/1877]\tLoss = 8.620231628417969\n",
            "[1/1000][56/1877]\tLoss = 10.661308288574219\n",
            "[1/1000][57/1877]\tLoss = 8.681716918945312\n",
            "[1/1000][58/1877]\tLoss = 9.480001449584961\n",
            "[1/1000][59/1877]\tLoss = 8.89229965209961\n",
            "[1/1000][60/1877]\tLoss = 8.905012130737305\n",
            "[1/1000][61/1877]\tLoss = 8.846562385559082\n",
            "[1/1000][62/1877]\tLoss = 8.68212604522705\n",
            "[1/1000][63/1877]\tLoss = 8.882837295532227\n",
            "[1/1000][64/1877]\tLoss = 8.61420726776123\n",
            "[1/1000][65/1877]\tLoss = 8.763603210449219\n",
            "[1/1000][66/1877]\tLoss = 8.634514808654785\n",
            "[1/1000][67/1877]\tLoss = 8.778275489807129\n",
            "[1/1000][68/1877]\tLoss = 8.603739738464355\n",
            "[1/1000][69/1877]\tLoss = 8.86756420135498\n",
            "[1/1000][70/1877]\tLoss = 8.66384220123291\n",
            "[1/1000][71/1877]\tLoss = 8.703696250915527\n",
            "[1/1000][72/1877]\tLoss = 8.574612617492676\n",
            "[1/1000][73/1877]\tLoss = 8.976375579833984\n",
            "[1/1000][74/1877]\tLoss = 8.570926666259766\n",
            "[1/1000][75/1877]\tLoss = 8.877762794494629\n",
            "[1/1000][76/1877]\tLoss = 8.592606544494629\n",
            "[1/1000][77/1877]\tLoss = 8.687612533569336\n",
            "[1/1000][78/1877]\tLoss = 8.636436462402344\n",
            "[1/1000][79/1877]\tLoss = 8.595483779907227\n",
            "[1/1000][80/1877]\tLoss = 8.678633689880371\n",
            "[1/1000][81/1877]\tLoss = 8.527676582336426\n",
            "[1/1000][82/1877]\tLoss = 8.718865394592285\n",
            "[1/1000][83/1877]\tLoss = 8.588632583618164\n",
            "[1/1000][84/1877]\tLoss = 8.508652687072754\n",
            "[1/1000][85/1877]\tLoss = 8.703651428222656\n",
            "[1/1000][86/1877]\tLoss = 8.541213989257812\n",
            "[1/1000][87/1877]\tLoss = 8.658206939697266\n",
            "[1/1000][88/1877]\tLoss = 8.609546661376953\n",
            "[1/1000][89/1877]\tLoss = 8.491958618164062\n",
            "[1/1000][90/1877]\tLoss = 8.612897872924805\n",
            "[1/1000][91/1877]\tLoss = 8.570455551147461\n",
            "[1/1000][92/1877]\tLoss = 8.63520336151123\n",
            "[1/1000][93/1877]\tLoss = 8.50999927520752\n",
            "[1/1000][94/1877]\tLoss = 8.706486701965332\n",
            "[1/1000][95/1877]\tLoss = 8.364229202270508\n",
            "[1/1000][96/1877]\tLoss = 8.4782075881958\n",
            "[1/1000][97/1877]\tLoss = 8.70728874206543\n",
            "[1/1000][98/1877]\tLoss = 8.42898941040039\n",
            "[1/1000][99/1877]\tLoss = 9.506566047668457\n",
            "[1/1000][100/1877]\tLoss = 8.55135726928711\n",
            "[1/1000][101/1877]\tLoss = 8.820188522338867\n",
            "[1/1000][102/1877]\tLoss = 8.517531394958496\n",
            "[1/1000][103/1877]\tLoss = 8.76152229309082\n",
            "[1/1000][104/1877]\tLoss = 8.45417594909668\n",
            "[1/1000][105/1877]\tLoss = 8.715738296508789\n",
            "[1/1000][106/1877]\tLoss = 8.464536666870117\n",
            "[1/1000][107/1877]\tLoss = 8.872737884521484\n",
            "[1/1000][108/1877]\tLoss = 8.478607177734375\n",
            "[1/1000][109/1877]\tLoss = 8.610298156738281\n",
            "[1/1000][110/1877]\tLoss = 8.489831924438477\n",
            "[1/1000][111/1877]\tLoss = 8.626241683959961\n",
            "[1/1000][112/1877]\tLoss = 8.413558006286621\n",
            "[1/1000][113/1877]\tLoss = 8.891674041748047\n",
            "[1/1000][114/1877]\tLoss = 8.374523162841797\n",
            "[1/1000][115/1877]\tLoss = 8.717466354370117\n",
            "[1/1000][116/1877]\tLoss = 8.50609016418457\n",
            "[1/1000][117/1877]\tLoss = 8.500113487243652\n",
            "[1/1000][118/1877]\tLoss = 8.29770278930664\n",
            "[1/1000][119/1877]\tLoss = 8.833772659301758\n",
            "[1/1000][120/1877]\tLoss = 8.315067291259766\n",
            "[1/1000][121/1877]\tLoss = 8.299341201782227\n",
            "[1/1000][122/1877]\tLoss = 8.884256362915039\n",
            "[1/1000][123/1877]\tLoss = 8.291844367980957\n",
            "[1/1000][124/1877]\tLoss = 8.666692733764648\n",
            "[1/1000][125/1877]\tLoss = 8.323692321777344\n",
            "[1/1000][126/1877]\tLoss = 8.500543594360352\n",
            "[1/1000][127/1877]\tLoss = 8.342844009399414\n",
            "[1/1000][128/1877]\tLoss = 8.412878036499023\n",
            "[1/1000][129/1877]\tLoss = 8.329228401184082\n",
            "[1/1000][130/1877]\tLoss = 8.310039520263672\n",
            "[1/1000][131/1877]\tLoss = 8.342513084411621\n",
            "[1/1000][132/1877]\tLoss = 8.300107955932617\n",
            "[1/1000][133/1877]\tLoss = 8.386595726013184\n",
            "[1/1000][134/1877]\tLoss = 8.361023902893066\n",
            "[1/1000][135/1877]\tLoss = 8.413536071777344\n",
            "[1/1000][136/1877]\tLoss = 8.338804244995117\n",
            "[1/1000][137/1877]\tLoss = 8.29352855682373\n",
            "[1/1000][138/1877]\tLoss = 8.581222534179688\n",
            "[1/1000][139/1877]\tLoss = 8.29159927368164\n",
            "[1/1000][140/1877]\tLoss = 8.496335983276367\n",
            "[1/1000][141/1877]\tLoss = 8.138875961303711\n",
            "[1/1000][142/1877]\tLoss = 8.344226837158203\n",
            "[1/1000][143/1877]\tLoss = 8.37649917602539\n",
            "[1/1000][144/1877]\tLoss = 8.330460548400879\n",
            "[1/1000][145/1877]\tLoss = 8.421396255493164\n",
            "[1/1000][146/1877]\tLoss = 8.306695938110352\n",
            "[1/1000][147/1877]\tLoss = 8.361348152160645\n",
            "[1/1000][148/1877]\tLoss = 8.248144149780273\n",
            "[1/1000][149/1877]\tLoss = 8.359189987182617\n",
            "[1/1000][150/1877]\tLoss = 8.220144271850586\n",
            "[1/1000][151/1877]\tLoss = 8.352118492126465\n",
            "[1/1000][152/1877]\tLoss = 8.193511962890625\n",
            "[1/1000][153/1877]\tLoss = 8.346109390258789\n",
            "[1/1000][154/1877]\tLoss = 8.230756759643555\n",
            "[1/1000][155/1877]\tLoss = 8.43646240234375\n",
            "[1/1000][156/1877]\tLoss = 8.230871200561523\n",
            "[1/1000][157/1877]\tLoss = 8.345834732055664\n",
            "[1/1000][158/1877]\tLoss = 8.271944999694824\n",
            "[1/1000][159/1877]\tLoss = 8.228720664978027\n",
            "[1/1000][160/1877]\tLoss = 8.565397262573242\n",
            "[1/1000][161/1877]\tLoss = 8.25262451171875\n",
            "[1/1000][162/1877]\tLoss = 8.460881233215332\n",
            "[1/1000][163/1877]\tLoss = 8.209770202636719\n",
            "[1/1000][164/1877]\tLoss = 8.342426300048828\n",
            "[1/1000][165/1877]\tLoss = 8.155165672302246\n",
            "[1/1000][166/1877]\tLoss = 8.243124008178711\n",
            "[1/1000][167/1877]\tLoss = 8.188260078430176\n",
            "[1/1000][168/1877]\tLoss = 8.275270462036133\n",
            "[1/1000][169/1877]\tLoss = 8.258984565734863\n",
            "[1/1000][170/1877]\tLoss = 8.221004486083984\n",
            "[1/1000][171/1877]\tLoss = 8.136421203613281\n",
            "[1/1000][172/1877]\tLoss = 8.23740005493164\n",
            "[1/1000][173/1877]\tLoss = 8.137832641601562\n",
            "[1/1000][174/1877]\tLoss = 8.214607238769531\n",
            "[1/1000][175/1877]\tLoss = 8.160099029541016\n",
            "[1/1000][176/1877]\tLoss = 8.196027755737305\n",
            "[1/1000][177/1877]\tLoss = 8.293191909790039\n",
            "[1/1000][178/1877]\tLoss = 8.22800350189209\n",
            "[1/1000][179/1877]\tLoss = 8.341602325439453\n",
            "[1/1000][180/1877]\tLoss = 8.181941986083984\n",
            "[1/1000][181/1877]\tLoss = 8.3030366897583\n",
            "[1/1000][182/1877]\tLoss = 8.365443229675293\n",
            "[1/1000][183/1877]\tLoss = 8.091355323791504\n",
            "[1/1000][184/1877]\tLoss = 8.20577621459961\n",
            "[1/1000][185/1877]\tLoss = 8.172996520996094\n",
            "[1/1000][186/1877]\tLoss = 8.226097106933594\n",
            "[1/1000][187/1877]\tLoss = 8.1932373046875\n",
            "[1/1000][188/1877]\tLoss = 8.122480392456055\n",
            "[1/1000][189/1877]\tLoss = 8.203731536865234\n",
            "[1/1000][190/1877]\tLoss = 8.105267524719238\n",
            "[1/1000][191/1877]\tLoss = 8.091133117675781\n",
            "[1/1000][192/1877]\tLoss = 8.140323638916016\n",
            "[1/1000][193/1877]\tLoss = 8.153871536254883\n",
            "[1/1000][194/1877]\tLoss = 8.230916976928711\n",
            "[1/1000][195/1877]\tLoss = 8.141562461853027\n",
            "[1/1000][196/1877]\tLoss = 8.07198715209961\n",
            "[1/1000][197/1877]\tLoss = 8.025303840637207\n",
            "[1/1000][198/1877]\tLoss = 8.124153137207031\n",
            "[1/1000][199/1877]\tLoss = 8.25399112701416\n",
            "[1/1000][200/1877]\tLoss = 7.992992877960205\n",
            "[1/1000][201/1877]\tLoss = 8.274683952331543\n",
            "[1/1000][202/1877]\tLoss = 8.07264518737793\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "Hx7bzeyNSmTm",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        ""
      ],
      "execution_count": 0,
      "outputs": []
    }
  ]
}