prepare_language_model.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 55,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "def _read_probs_from_freqs(loc, max_length=100, min_doc_freq=1, min_freq=50):\n",
    "    if not loc.exists():\n",
    "        print(\"Warning: Frequencies file not found\")\n",
    "        return {}, 0.0\n",
    "    counts = PreshCounter()\n",
    "    total = 0\n",
    "    if str(loc).endswith('gz'):\n",
    "        file_ = gzip.open(str(loc))\n",
    "    else:\n",
    "        file_ = loc.open()\n",
    "    for i, line in enumerate(file_):\n",
    "        freq, doc_freq, key = line.rstrip().split('\\t', 2)\n",
    "        freq = int(freq)\n",
    "        counts.inc(i+1, freq)\n",
    "        total += freq\n",
    "    counts.smooth()\n",
    "    log_total = math.log(total)\n",
    "    if str(loc).endswith('gz'):\n",
    "        file_ = gzip.open(str(loc))\n",
    "    else:\n",
    "        file_ = loc.open()\n",
    "    probs = {}\n",
    "    for line in file_:\n",
    "        freq, doc_freq, key = line.rstrip().split('\\t', 2)\n",
    "        doc_freq = int(doc_freq)\n",
    "        if doc_freq >= min_doc_freq and int(freq) >= min_freq and len(key) < max_length:\n",
    "            word = literal_eval(key)\n",
    "            smooth_count = counts.smoother(int(freq))\n",
    "            probs[word] = math.log(smooth_count) - log_total\n",
    "    oov_prob = math.log(counts.smoother(0)) - log_total\n",
    "    return probs, oov_prob"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 56,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "from pathlib import Path\n",
    "from preshed.counter import PreshCounter\n",
    "import math\n",
    "from ast import literal_eval\n",
    "\n",
    "freqs_loc = Path('./vi/vi_wiki.freqs')\n",
    "probs, oov_prob = _read_probs_from_freqs(freqs_loc)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 57,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "-14.563428693534554"
      ]
     },
     "execution_count": 57,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "probs['ma-nơ-canh']"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "brown_vocab = {}\n",
    "with open('./vi/brown/paths', 'r', errors='ignore') as f:\n",
    "    for line in f:\n",
    "        cluster, word, fred = line.split('\\t')\n",
    "        brown_vocab[word] = (int(cluster,2), word, fred)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "15035"
      ]
     },
     "execution_count": 19,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "brown_vocab['tạm_biệt'][0]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "from gensim.models.keyedvectors import KeyedVectors\n",
    "from gensim.models import Word2Vec"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "model = KeyedVectors.load_word2vec_format('./vi/vi_wiki.word2vec', binary=False, unicode_errors='ignore')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "#model = KeyedVectors.load_word2vec_format('./vi/vi_core_news_md/vocab/vectors', binary=True, unicode_errors='ignore')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "model"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "model[u'tạm_biệt']"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "import re\n",
    "with open('./vi/vi_wiki.word2vec_out', 'w') as fout:\n",
    "    with open('./vi/vi_wiki.word2vec', 'r', errors='ignore') as fin:\n",
    "        for line in fin:\n",
    "            new_line = re.sub(r'(\\w)(_)(\\w)', r'\\1 \\3', line)\n",
    "            fout.write(new_line)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "import re \n",
    "article = '_tam_biet _ _'\n",
    "article = re.sub(r'(\\w)(_)(\\w)', r'\\1 \\3', article)\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 60,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "import json\n",
    "import re\n",
    "import string_utils\n",
    "from curses.ascii import *\n",
    "def prepare_vocab_jsonl(w2v_model, probs, oov_prob, brown_vocab, output):\n",
    "    info = '{\"lang\": \"vi\", \"settings\": {\"oov_prob\": -20.502029418945312}}'\n",
    "    token_json = '{\"orth\": \".\", \"id\": 1, \"lower\": \".\", \"norm\": \".\", \"shape\": \".\", \"prefix\": \".\", \"suffix\": \".\", \"length\": 1, \"cluster\": \"8\", \"prob\": -3.0678977966308594, \"is_alpha\": false, \"is_ascii\": true, \"is_digit\": false, \"is_lower\": false, \"is_punct\": true, \"is_space\": false, \"is_title\": false, \"is_upper\": false, \"like_url\": false, \"like_num\": false, \"like_email\": false, \"is_stop\": false, \"is_oov\": false, \"is_quote\": false, \"is_left_punct\": false, \"is_right_punct\": false}'\n",
    "    token_obj = json.loads(token_json)\n",
    "\n",
    "    fout = open(output, 'w')\n",
    "    info_obj = json.loads(info)\n",
    "    info_obj['oov_prob'] = oov_prob\n",
    "    print(json.dumps(info_obj), file=fout)\n",
    "    i = 1\n",
    "    def is_number(s):\n",
    "        try:\n",
    "            float(s)\n",
    "            return True\n",
    "        except ValueError:\n",
    "            return False\n",
    "\n",
    "    for token in w2v_model.vocab: \n",
    "            if len(token) == 0:\n",
    "                continue\n",
    "            if token not in probs:\n",
    "                continue\n",
    "            token_obj['orth'] = token \n",
    "            token_obj['id'] = i\n",
    "            token_obj['lower'] = token.lower()\n",
    "            token_obj['norm'] = re.sub(r'(\\w)(_)(\\w)', r'\\1 \\3', token)\n",
    "            token_obj['shape'] = re.sub(r'(\\w)', r'x', token)\n",
    "            token_obj['prefix'] = token[0]\n",
    "            token_obj['suffix'] = token\n",
    "            token_obj['length'] = len(token)\n",
    "            token_obj['cluster'] = brown_vocab[token][0]\n",
    "            token_obj['prob'] = probs[token]\n",
    "            token_obj['is_alpha'] = token.isalpha()\n",
    "            token_obj['is_ascii'] = True if len(token) == len(token.encode()) else False\n",
    "            token_obj['is_digit'] = token.isdigit()\n",
    "            token_obj['is_lower'] = token.islower()\n",
    "            token_obj['is_punct'] = False if len(token) > 1 else ispunct(token)\n",
    "            token_obj['is_space'] = token.isspace()\n",
    "            token_obj['is_title'] = token.istitle()\n",
    "            token_obj['is_upper'] = token.isupper()\n",
    "            token_obj['like_url'] = string_utils.is_url(token)\n",
    "            token_obj['like_num'] = is_number(token)\n",
    "            token_obj['like_email'] = string_utils.is_email(token)\n",
    "            token_obj['is_stop'] = True if token.lower() in STOP_WORDS else False\n",
    "            token_obj['is_oov'] = False \n",
    "            token_obj['is_quote'] = True if token in '\"\\'' else False \n",
    "            left_token = token[0]\n",
    "            token_obj['is_left_punct'] = ispunct(left_token)\n",
    "            right_token = token[-1]\n",
    "            token_obj['is_right_punct'] = ispunct(right_token)\n",
    "            print(json.dumps(token_obj), file=fout)\n",
    "            i += 1\n",
    "    fout.close()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 61,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "prepare_vocab_jsonl(model, probs, oov_prob, brown_vocab, 'vi-vocab-data.jsonl')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 30,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "# Stop words\n",
    "\n",
    "STOP_WORDS = set(\"\"\"\n",
    "a_lô\n",
    "a_ha\n",
    "ai\n",
    "ai_ai\n",
    "ai_nấy\n",
    "ai_đó\n",
    "alô\n",
    "amen\n",
    "anh\n",
    "anh_ấy\n",
    "ba\n",
    "ba_bau\n",
    "ba_bản\n",
    "ba_cùng\n",
    "ba_họ\n",
    "ba_ngày\n",
    "ba_ngôi\n",
    "ba_tăng\n",
    "bao_giờ\n",
    "bao_lâu\n",
    "bao_nhiêu\n",
    "bao_nả\n",
    "bay_biến\n",
    "biết\n",
    "biết_bao\n",
    "biết_bao_nhiêu\n",
    "biết_chắc\n",
    "biết_chừng_nào\n",
    "biết_mình\n",
    "biết_mấy\n",
    "biết_thế\n",
    "biết_trước\n",
    "biết_việc\n",
    "biết_đâu\n",
    "biết_đâu_chừng\n",
    "biết_đâu_đấy\n",
    "biết_được\n",
    "buổi\n",
    "buổi_làm\n",
    "buổi_mới\n",
    "buổi_ngày\n",
    "buổi_sớm\n",
    "bà\n",
    "bà_ấy\n",
    "bài\n",
    "bài_bác\n",
    "bài_bỏ\n",
    "bài_cái\n",
    "bác\n",
    "bán\n",
    "bán_cấp\n",
    "bán_dạ\n",
    "bán_thế\n",
    "bây_bẩy\n",
    "bây_chừ\n",
    "bây_giờ\n",
    "bây_nhiêu\n",
    "bèn\n",
    "béng\n",
    "bên\n",
    "bên_bị\n",
    "bên_có\n",
    "bên_cạnh\n",
    "bông\n",
    "bước\n",
    "bước_khỏi\n",
    "bước_tới\n",
    "bước_đi\n",
    "bạn\n",
    "bản\n",
    "bản_bộ\n",
    "bản_riêng\n",
    "bản_thân\n",
    "bản_ý\n",
    "bất_chợt\n",
    "bất_cứ\n",
    "bất_giác\n",
    "bất_kì\n",
    "bất_kể\n",
    "bất_kỳ\n",
    "bất_luận\n",
    "bất_ngờ\n",
    "bất_nhược\n",
    "bất_quá\n",
    "bất_quá_chỉ\n",
    "bất_thình_lình\n",
    "bất_tử\n",
    "bất_đồ\n",
    "bấy\n",
    "bấy_chầy\n",
    "bấy_chừ\n",
    "bấy_giờ\n",
    "bấy_lâu\n",
    "bấy_lâu_nay\n",
    "bấy_nay\n",
    "bấy_nhiêu\n",
    "bập_bà_bập_bõm\n",
    "bập_bõm\n",
    "bắt_đầu\n",
    "bắt_đầu_từ\n",
    "bằng\n",
    "bằng_cứ\n",
    "bằng_không\n",
    "bằng_người\n",
    "bằng_nhau\n",
    "bằng_như\n",
    "bằng_nào\n",
    "bằng_nấy\n",
    "bằng_vào\n",
    "bằng_được\n",
    "bằng_ấy\n",
    "bển\n",
    "bệt\n",
    "bị\n",
    "bị_chú\n",
    "bị_vì\n",
    "bỏ\n",
    "bỏ_bà\n",
    "bỏ_cha\n",
    "bỏ_cuộc\n",
    "bỏ_không\n",
    "bỏ_lại\n",
    "bỏ_mình\n",
    "bỏ_mất\n",
    "bỏ_mẹ\n",
    "bỏ_nhỏ\n",
    "bỏ_quá\n",
    "bỏ_ra\n",
    "bỏ_riêng\n",
    "bỏ_việc\n",
    "bỏ_xa\n",
    "bỗng\n",
    "bỗng_chốc\n",
    "bỗng_dưng\n",
    "bỗng_không\n",
    "bỗng_nhiên\n",
    "bỗng_nhưng\n",
    "bỗng_thấy\n",
    "bỗng_đâu\n",
    "bộ\n",
    "bộ_thuộc\n",
    "bộ_điều\n",
    "bội_phần\n",
    "bớ\n",
    "bởi\n",
    "bởi_ai\n",
    "bởi_chưng\n",
    "bởi_nhưng\n",
    "bởi_sao\n",
    "bởi_thế\n",
    "bởi_thế_cho_nên\n",
    "bởi_tại\n",
    "bởi_vì\n",
    "bởi_vậy\n",
    "bởi_đâu\n",
    "bức\n",
    "cao\n",
    "cao_lâu\n",
    "cao_ráo\n",
    "cao_răng\n",
    "cao_sang\n",
    "cao_số\n",
    "cao_thấp\n",
    "cao_thế\n",
    "cao_xa\n",
    "cha\n",
    "cha_chả\n",
    "chao_ôi\n",
    "chia_sẻ\n",
    "chiếc\n",
    "cho\n",
    "cho_biết\n",
    "cho_chắc\n",
    "cho_hay\n",
    "cho_nhau\n",
    "cho_nên\n",
    "cho_rằng\n",
    "cho_rồi\n",
    "cho_thấy\n",
    "cho_tin\n",
    "cho_tới\n",
    "cho_tới_khi\n",
    "cho_về\n",
    "cho_ăn\n",
    "cho_đang\n",
    "cho_được\n",
    "cho_đến\n",
    "cho_đến_khi\n",
    "cho_đến_nỗi\n",
    "choa\n",
    "chu_cha\n",
    "chui_cha\n",
    "chung\n",
    "chung_cho\n",
    "chung_chung\n",
    "chung_cuộc\n",
    "chung_cục\n",
    "chung_nhau\n",
    "chung_qui\n",
    "chung_quy\n",
    "chung_quy_lại\n",
    "chung_ái\n",
    "chuyển\n",
    "chuyển_tự\n",
    "chuyển_đạt\n",
    "chuyện\n",
    "chuẩn_bị\n",
    "chành_chạnh\n",
    "chí_chết\n",
    "chính\n",
    "chính_bản\n",
    "chính_giữa\n",
    "chính_là\n",
    "chính_thị\n",
    "chính_điểm\n",
    "chùn_chùn\n",
    "chùn_chũn\n",
    "chú\n",
    "chú_dẫn\n",
    "chú_khách\n",
    "chú_mày\n",
    "chú_mình\n",
    "chúng\n",
    "chúng_mình\n",
    "chúng_ta\n",
    "chúng_tôi\n",
    "chúng_ông\n",
    "chăn_chắn\n",
    "chăng\n",
    "chăng_chắc\n",
    "chăng_nữa\n",
    "chơi\n",
    "chơi_họ\n",
    "chưa\n",
    "chưa_bao_giờ\n",
    "chưa_chắc\n",
    "chưa_có\n",
    "chưa_cần\n",
    "chưa_dùng\n",
    "chưa_dễ\n",
    "chưa_kể\n",
    "chưa_tính\n",
    "chưa_từng\n",
    "chầm_chập\n",
    "chậc\n",
    "chắc\n",
    "chắc_chắn\n",
    "chắc_dạ\n",
    "chắc_hẳn\n",
    "chắc_lòng\n",
    "chắc_người\n",
    "chắc_vào\n",
    "chắc_ăn\n",
    "chẳng_lẽ\n",
    "chẳng_những\n",
    "chẳng_nữa\n",
    "chẳng_phải\n",
    "chết_nỗi\n",
    "chết_thật\n",
    "chết_tiệt\n",
    "chỉ\n",
    "chỉ_chính\n",
    "chỉ_có\n",
    "chỉ_là\n",
    "chỉ_tên\n",
    "chỉn\n",
    "chị\n",
    "chị_bộ\n",
    "chị_ấy\n",
    "chịu\n",
    "chịu_chưa\n",
    "chịu_lời\n",
    "chịu_tốt\n",
    "chịu_ăn\n",
    "chọn\n",
    "chọn_bên\n",
    "chọn_ra\n",
    "chốc_chốc\n",
    "chớ\n",
    "chớ_chi\n",
    "chớ_gì\n",
    "chớ_không\n",
    "chớ_kể\n",
    "chớ_như\n",
    "chợt\n",
    "chợt_nghe\n",
    "chợt_nhìn\n",
    "chủn\n",
    "chứ\n",
    "chứ_ai\n",
    "chứ_còn\n",
    "chứ_gì\n",
    "chứ_không\n",
    "chứ_không_phải\n",
    "chứ_lại\n",
    "chứ_lị\n",
    "chứ_như\n",
    "chứ_sao\n",
    "coi_bộ\n",
    "coi_mòi\n",
    "con\n",
    "con_con\n",
    "con_dạ\n",
    "con_nhà\n",
    "con_tính\n",
    "cu_cậu\n",
    "cuối\n",
    "cuối_cùng\n",
    "cuối_điểm\n",
    "cuốn\n",
    "cuộc\n",
    "càng\n",
    "càng_càng\n",
    "càng_hay\n",
    "cá_nhân\n",
    "các\n",
    "các_cậu\n",
    "cách\n",
    "cách_bức\n",
    "cách_không\n",
    "cách_nhau\n",
    "cách_đều\n",
    "cái\n",
    "cái_gì\n",
    "cái_họ\n",
    "cái_đã\n",
    "cái_đó\n",
    "cái_ấy\n",
    "câu_hỏi\n",
    "cây\n",
    "cây_nước\n",
    "còn\n",
    "còn_như\n",
    "còn_nữa\n",
    "còn_thời_gian\n",
    "còn_về\n",
    "có\n",
    "có_ai\n",
    "có_chuyện\n",
    "có_chăng\n",
    "có_chăng_là\n",
    "có_chứ\n",
    "có_cơ\n",
    "có_dễ\n",
    "có_họ\n",
    "có_khi\n",
    "có_ngày\n",
    "có_người\n",
    "có_nhiều\n",
    "có_nhà\n",
    "có_phải\n",
    "có_số\n",
    "có_tháng\n",
    "có_thế\n",
    "có_thể\n",
    "có_vẻ\n",
    "có_ý\n",
    "có_ăn\n",
    "có_điều\n",
    "có_điều_kiện\n",
    "có_đáng\n",
    "có_đâu\n",
    "có_được\n",
    "cóc_khô\n",
    "cô\n",
    "cô_mình\n",
    "cô_quả\n",
    "cô_tăng\n",
    "cô_ấy\n",
    "công_nhiên\n",
    "cùng\n",
    "cùng_chung\n",
    "cùng_cực\n",
    "cùng_nhau\n",
    "cùng_tuổi\n",
    "cùng_tột\n",
    "cùng_với\n",
    "cùng_ăn\n",
    "căn\n",
    "căn_cái\n",
    "căn_cắt\n",
    "căn_tính\n",
    "cũng\n",
    "cũng_như\n",
    "cũng_nên\n",
    "cũng_thế\n",
    "cũng_vậy\n",
    "cũng_vậy_thôi\n",
    "cũng_được\n",
    "cơ\n",
    "cơ_chỉ\n",
    "cơ_chừng\n",
    "cơ_cùng\n",
    "cơ_dẫn\n",
    "cơ_hồ\n",
    "cơ_hội\n",
    "cơ_mà\n",
    "cơn\n",
    "cả\n",
    "cả_nghe\n",
    "cả_nghĩ\n",
    "cả_ngày\n",
    "cả_người\n",
    "cả_nhà\n",
    "cả_năm\n",
    "cả_thảy\n",
    "cả_thể\n",
    "cả_tin\n",
    "cả_ăn\n",
    "cả_đến\n",
    "cảm_thấy\n",
    "cảm_ơn\n",
    "cấp\n",
    "cấp_số\n",
    "cấp_trực_tiếp\n",
    "cần\n",
    "cần_cấp\n",
    "cần_gì\n",
    "cần_số\n",
    "cật_lực\n",
    "cật_sức\n",
    "cậu\n",
    "cổ_lai\n",
    "cụ_thể\n",
    "cụ_thể_là\n",
    "cụ_thể_như\n",
    "của\n",
    "của_ngọt\n",
    "của_tin\n",
    "cứ\n",
    "cứ_như\n",
    "cứ_việc\n",
    "cứ_điểm\n",
    "cực_lực\n",
    "do\n",
    "do_vì\n",
    "do_vậy\n",
    "do_đó\n",
    "duy\n",
    "duy_chỉ\n",
    "duy_có\n",
    "dài\n",
    "dài_lời\n",
    "dài_ra\n",
    "dành\n",
    "dành_dành\n",
    "dào\n",
    "dì\n",
    "dù\n",
    "dù_cho\n",
    "dù_dì\n",
    "dù_gì\n",
    "dù_rằng\n",
    "dù_sao\n",
    "dùng\n",
    "dùng_cho\n",
    "dùng_hết\n",
    "dùng_làm\n",
    "dùng_đến\n",
    "dưới\n",
    "dưới_nước\n",
    "dạ\n",
    "dạ_bán\n",
    "dạ_con\n",
    "dạ_dài\n",
    "dạ_dạ\n",
    "dạ_khách\n",
    "dần_dà\n",
    "dần_dần\n",
    "dầu_sao\n",
    "dẫn\n",
    "dẫu\n",
    "dẫu_mà\n",
    "dẫu_rằng\n",
    "dẫu_sao\n",
    "dễ\n",
    "dễ_dùng\n",
    "dễ_gì\n",
    "dễ_khiến\n",
    "dễ_nghe\n",
    "dễ_ngươi\n",
    "dễ_như_chơi\n",
    "dễ_sợ\n",
    "dễ_sử_dụng\n",
    "dễ_thường\n",
    "dễ_thấy\n",
    "dễ_ăn\n",
    "dễ_đâu\n",
    "dở_chừng\n",
    "dữ\n",
    "dữ_cách\n",
    "em\n",
    "em_em\n",
    "giá_trị\n",
    "giá_trị_thực_tế\n",
    "giảm\n",
    "giảm_chính\n",
    "giảm_thấp\n",
    "giảm_thế\n",
    "giống\n",
    "giống_người\n",
    "giống_nhau\n",
    "giống_như\n",
    "giờ\n",
    "giờ_lâu\n",
    "giờ_này\n",
    "giờ_đi\n",
    "giờ_đây\n",
    "giờ_đến\n",
    "giữ\n",
    "giữ_lấy\n",
    "giữ_ý\n",
    "giữa\n",
    "giữa_lúc\n",
    "gây\n",
    "gây_cho\n",
    "gây_giống\n",
    "gây_ra\n",
    "gây_thêm\n",
    "gì\n",
    "gì_gì\n",
    "gì_đó\n",
    "gần\n",
    "gần_bên\n",
    "gần_hết\n",
    "gần_ngày\n",
    "gần_như\n",
    "gần_xa\n",
    "gần_đây\n",
    "gần_đến\n",
    "gặp\n",
    "gặp_khó_khăn\n",
    "gặp_phải\n",
    "gồm\n",
    "hay\n",
    "hay_biết\n",
    "hay_hay\n",
    "hay_không\n",
    "hay_là\n",
    "hay_làm\n",
    "hay_nhỉ\n",
    "hay_nói\n",
    "hay_sao\n",
    "hay_tin\n",
    "hay_đâu\n",
    "hiểu\n",
    "hiện_nay\n",
    "hiện_tại\n",
    "hoàn_toàn\n",
    "hoặc\n",
    "hoặc_là\n",
    "hãy\n",
    "hãy_còn\n",
    "hơn\n",
    "hơn_cả\n",
    "hơn_hết\n",
    "hơn_là\n",
    "hơn_nữa\n",
    "hơn_trước\n",
    "hầu_hết\n",
    "hết\n",
    "hết_chuyện\n",
    "hết_cả\n",
    "hết_của\n",
    "hết_nói\n",
    "hết_ráo\n",
    "hết_rồi\n",
    "hết_ý\n",
    "họ\n",
    "họ_gần\n",
    "họ_xa\n",
    "hỏi\n",
    "hỏi_lại\n",
    "hỏi_xem\n",
    "hỏi_xin\n",
    "hỗ_trợ\n",
    "khi\n",
    "khi_khác\n",
    "khi_không\n",
    "khi_nào\n",
    "khi_nên\n",
    "khi_trước\n",
    "khiến\n",
    "khoảng\n",
    "khoảng_cách\n",
    "khoảng_không\n",
    "khá\n",
    "khá_tốt\n",
    "khác\n",
    "khác_gì\n",
    "khác_khác\n",
    "khác_nhau\n",
    "khác_nào\n",
    "khác_thường\n",
    "khác_xa\n",
    "khách\n",
    "khó\n",
    "khó_biết\n",
    "khó_chơi\n",
    "khó_khăn\n",
    "khó_làm\n",
    "khó_mở\n",
    "khó_nghe\n",
    "khó_nghĩ\n",
    "khó_nói\n",
    "khó_thấy\n",
    "khó_tránh\n",
    "không\n",
    "không_ai\n",
    "không_bao_giờ\n",
    "không_bao_lâu\n",
    "không_biết\n",
    "không_bán\n",
    "không_chỉ\n",
    "không_còn\n",
    "không_có\n",
    "không_có_gì\n",
    "không_cùng\n",
    "không_cần\n",
    "không_cứ\n",
    "không_dùng\n",
    "không_gì\n",
    "không_hay\n",
    "không_khỏi\n",
    "không_kể\n",
    "không_ngoài\n",
    "không_nhận\n",
    "không_những\n",
    "không_phải\n",
    "không_phải_không\n",
    "không_thể\n",
    "không_tính\n",
    "không_điều_kiện\n",
    "không_được\n",
    "không_đầy\n",
    "không_để\n",
    "khẳng_định\n",
    "khỏi\n",
    "khỏi_nói\n",
    "kể\n",
    "kể_cả\n",
    "kể_như\n",
    "kể_tới\n",
    "kể_từ\n",
    "liên_quan\n",
    "loại\n",
    "loại_từ\n",
    "luôn\n",
    "luôn_cả\n",
    "luôn_luôn\n",
    "luôn_tay\n",
    "là\n",
    "là_cùng\n",
    "là_là\n",
    "là_nhiều\n",
    "là_phải\n",
    "là_thế_nào\n",
    "là_vì\n",
    "là_ít\n",
    "làm\n",
    "làm_bằng\n",
    "làm_cho\n",
    "làm_dần_dần\n",
    "làm_gì\n",
    "làm_lòng\n",
    "làm_lại\n",
    "làm_lấy\n",
    "làm_mất\n",
    "làm_ngay\n",
    "làm_như\n",
    "làm_nên\n",
    "làm_ra\n",
    "làm_riêng\n",
    "làm_sao\n",
    "làm_theo\n",
    "làm_thế_nào\n",
    "làm_tin\n",
    "làm_tôi\n",
    "làm_tăng\n",
    "làm_tại\n",
    "làm_tắp_lự\n",
    "làm_vì\n",
    "làm_đúng\n",
    "làm_được\n",
    "lâu\n",
    "lâu_các\n",
    "lâu_lâu\n",
    "lâu_nay\n",
    "lâu_ngày\n",
    "lên\n",
    "lên_cao\n",
    "lên_cơn\n",
    "lên_mạnh\n",
    "lên_ngôi\n",
    "lên_nước\n",
    "lên_số\n",
    "lên_xuống\n",
    "lên_đến\n",
    "lòng\n",
    "lòng_không\n",
    "lúc\n",
    "lúc_khác\n",
    "lúc_lâu\n",
    "lúc_nào\n",
    "lúc_này\n",
    "lúc_sáng\n",
    "lúc_trước\n",
    "lúc_đi\n",
    "lúc_đó\n",
    "lúc_đến\n",
    "lúc_ấy\n",
    "lý_do\n",
    "lượng\n",
    "lượng_cả\n",
    "lượng_số\n",
    "lượng_từ\n",
    "lại\n",
    "lại_bộ\n",
    "lại_cái\n",
    "lại_còn\n",
    "lại_giống\n",
    "lại_làm\n",
    "lại_người\n",
    "lại_nói\n",
    "lại_nữa\n",
    "lại_quả\n",
    "lại_thôi\n",
    "lại_ăn\n",
    "lại_đây\n",
    "lấy\n",
    "lấy_có\n",
    "lấy_cả\n",
    "lấy_giống\n",
    "lấy_làm\n",
    "lấy_lý_do\n",
    "lấy_lại\n",
    "lấy_ra\n",
    "lấy_ráo\n",
    "lấy_sau\n",
    "lấy_số\n",
    "lấy_thêm\n",
    "lấy_thế\n",
    "lấy_vào\n",
    "lấy_xuống\n",
    "lấy_được\n",
    "lấy_để\n",
    "lần\n",
    "lần_khác\n",
    "lần_lần\n",
    "lần_nào\n",
    "lần_này\n",
    "lần_sang\n",
    "lần_sau\n",
    "lần_theo\n",
    "lần_trước\n",
    "lần_tìm\n",
    "lớn\n",
    "lớn_lên\n",
    "lớn_nhỏ\n",
    "lời\n",
    "lời_chú\n",
    "lời_nói\n",
    "mang\n",
    "mang_lại\n",
    "mang_mang\n",
    "mang_nặng\n",
    "mang_về\n",
    "muốn\n",
    "mà\n",
    "mà_cả\n",
    "mà_không\n",
    "mà_lại\n",
    "mà_thôi\n",
    "mà_vẫn\n",
    "mình\n",
    "mạnh\n",
    "mất\n",
    "mất_còn\n",
    "mọi\n",
    "mọi_giờ\n",
    "mọi_khi\n",
    "mọi_lúc\n",
    "mọi_người\n",
    "mọi_nơi\n",
    "mọi_sự\n",
    "mọi_thứ\n",
    "mọi_việc\n",
    "mối\n",
    "mỗi\n",
    "mỗi_lúc\n",
    "mỗi_lần\n",
    "mỗi_một\n",
    "mỗi_ngày\n",
    "mỗi_người\n",
    "một\n",
    "một_cách\n",
    "một_cơn\n",
    "một_khi\n",
    "một_lúc\n",
    "một_số\n",
    "một_vài\n",
    "một_ít\n",
    "mới\n",
    "mới_hay\n",
    "mới_rồi\n",
    "mới_đây\n",
    "mở\n",
    "mở_mang\n",
    "mở_nước\n",
    "mở_ra\n",
    "mợ\n",
    "mức\n",
    "nay\n",
    "ngay\n",
    "ngay_bây_giờ\n",
    "ngay_cả\n",
    "ngay_khi\n",
    "ngay_khi_đến\n",
    "ngay_lúc\n",
    "ngay_lúc_này\n",
    "ngay_lập_tức\n",
    "ngay_thật\n",
    "ngay_tức_khắc\n",
    "ngay_tức_thì\n",
    "ngay_từ\n",
    "nghe\n",
    "nghe_chừng\n",
    "nghe_hiểu\n",
    "nghe_không\n",
    "nghe_lại\n",
    "nghe_nhìn\n",
    "nghe_như\n",
    "nghe_nói\n",
    "nghe_ra\n",
    "nghe_rõ\n",
    "nghe_thấy\n",
    "nghe_tin\n",
    "nghe_trực_tiếp\n",
    "nghe_đâu\n",
    "nghe_đâu_như\n",
    "nghe_được\n",
    "nghen\n",
    "nghiễm_nhiên\n",
    "nghĩ\n",
    "nghĩ_lại\n",
    "nghĩ_ra\n",
    "nghĩ_tới\n",
    "nghĩ_xa\n",
    "nghĩ_đến\n",
    "nghỉm\n",
    "ngoài\n",
    "ngoài_này\n",
    "ngoài_ra\n",
    "ngoài_xa\n",
    "ngoải\n",
    "nguồn\n",
    "ngày\n",
    "ngày_càng\n",
    "ngày_cấp\n",
    "ngày_giờ\n",
    "ngày_ngày\n",
    "ngày_nào\n",
    "ngày_này\n",
    "ngày_nọ\n",
    "ngày_qua\n",
    "ngày_rày\n",
    "ngày_tháng\n",
    "ngày_xưa\n",
    "ngày_xửa\n",
    "ngày_đến\n",
    "ngày_ấy\n",
    "ngôi\n",
    "ngôi_nhà\n",
    "ngôi_thứ\n",
    "ngõ_hầu\n",
    "ngăn_ngắt\n",
    "ngươi\n",
    "người\n",
    "người_hỏi\n",
    "người_khác\n",
    "người_khách\n",
    "người_mình\n",
    "người_nghe\n",
    "người_người\n",
    "người_nhận\n",
    "ngọn\n",
    "ngọn_nguồn\n",
    "ngọt\n",
    "ngồi\n",
    "ngồi_bệt\n",
    "ngồi_không\n",
    "ngồi_sau\n",
    "ngồi_trệt\n",
    "ngộ_nhỡ\n",
    "nhanh\n",
    "nhanh_lên\n",
    "nhanh_tay\n",
    "nhau\n",
    "nhiên_hậu\n",
    "nhiều\n",
    "nhiều_ít\n",
    "nhiệt_liệt\n",
    "nhung_nhăng\n",
    "nhà\n",
    "nhà_chung\n",
    "nhà_khó\n",
    "nhà_làm\n",
    "nhà_ngoài\n",
    "nhà_ngươi\n",
    "nhà_tôi\n",
    "nhà_việc\n",
    "nhân_dịp\n",
    "nhân_tiện\n",
    "nhé\n",
    "nhìn\n",
    "nhìn_chung\n",
    "nhìn_lại\n",
    "nhìn_nhận\n",
    "nhìn_theo\n",
    "nhìn_thấy\n",
    "nhìn_xuống\n",
    "nhóm\n",
    "nhón_nhén\n",
    "như\n",
    "như_ai\n",
    "như_chơi\n",
    "như_không\n",
    "như_là\n",
    "như_nhau\n",
    "như_quả\n",
    "như_sau\n",
    "như_thường\n",
    "như_thế\n",
    "như_thế_nào\n",
    "như_thể\n",
    "như_trên\n",
    "như_trước\n",
    "như_tuồng\n",
    "như_vậy\n",
    "như_ý\n",
    "nhưng\n",
    "nhưng_mà\n",
    "nhược_bằng\n",
    "nhất\n",
    "nhất_loạt\n",
    "nhất_luật\n",
    "nhất_là\n",
    "nhất_mực\n",
    "nhất_nhất\n",
    "nhất_quyết\n",
    "nhất_sinh\n",
    "nhất_thiết\n",
    "nhất_thì\n",
    "nhất_tâm\n",
    "nhất_tề\n",
    "nhất_đán\n",
    "nhất_định\n",
    "nhận\n",
    "nhận_biết\n",
    "nhận_họ\n",
    "nhận_làm\n",
    "nhận_nhau\n",
    "nhận_ra\n",
    "nhận_thấy\n",
    "nhận_việc\n",
    "nhận_được\n",
    "nhằm\n",
    "nhằm_khi\n",
    "nhằm_lúc\n",
    "nhằm_vào\n",
    "nhằm_để\n",
    "nhỉ\n",
    "nhỏ\n",
    "nhỏ_người\n",
    "nhớ\n",
    "nhớ_bập_bõm\n",
    "nhớ_lại\n",
    "nhớ_lấy\n",
    "nhớ_ra\n",
    "nhờ\n",
    "nhờ_chuyển\n",
    "nhờ_có\n",
    "nhờ_nhờ\n",
    "nhờ_đó\n",
    "nhỡ_ra\n",
    "những\n",
    "những_ai\n",
    "những_khi\n",
    "những_là\n",
    "những_lúc\n",
    "những_muốn\n",
    "những_như\n",
    "nào\n",
    "nào_cũng\n",
    "nào_hay\n",
    "nào_là\n",
    "nào_phải\n",
    "nào_đâu\n",
    "nào_đó\n",
    "này\n",
    "này_nọ\n",
    "nên\n",
    "nên_chi\n",
    "nên_chăng\n",
    "nên_làm\n",
    "nên_người\n",
    "nên_tránh\n",
    "nó\n",
    "nóc\n",
    "nói\n",
    "nói_bông\n",
    "nói_chung\n",
    "nói_khó\n",
    "nói_là\n",
    "nói_lên\n",
    "nói_lại\n",
    "nói_nhỏ\n",
    "nói_phải\n",
    "nói_qua\n",
    "nói_ra\n",
    "nói_riêng\n",
    "nói_rõ\n",
    "nói_thêm\n",
    "nói_thật\n",
    "nói_toẹt\n",
    "nói_trước\n",
    "nói_tốt\n",
    "nói_với\n",
    "nói_xa\n",
    "nói_ý\n",
    "nói_đến\n",
    "nói_đủ\n",
    "năm\n",
    "năm_tháng\n",
    "nơi\n",
    "nơi_nơi\n",
    "nước\n",
    "nước_bài\n",
    "nước_cùng\n",
    "nước_lên\n",
    "nước_nặng\n",
    "nước_quả\n",
    "nước_xuống\n",
    "nước_ăn\n",
    "nước_đến\n",
    "nấy\n",
    "nặng\n",
    "nặng_căn\n",
    "nặng_mình\n",
    "nặng_về\n",
    "nếu\n",
    "nếu_có\n",
    "nếu_cần\n",
    "nếu_không\n",
    "nếu_mà\n",
    "nếu_như\n",
    "nếu_thế\n",
    "nếu_vậy\n",
    "nếu_được\n",
    "nền\n",
    "nọ\n",
    "nớ\n",
    "nức_nở\n",
    "nữa\n",
    "nữa_khi\n",
    "nữa_là\n",
    "nữa_rồi\n",
    "oai_oái\n",
    "oái\n",
    "pho\n",
    "phè\n",
    "phè_phè\n",
    "phía\n",
    "phía_bên\n",
    "phía_bạn\n",
    "phía_dưới\n",
    "phía_sau\n",
    "phía_trong\n",
    "phía_trên\n",
    "phía_trước\n",
    "phóc\n",
    "phót\n",
    "phù_hợp\n",
    "phăn_phắt\n",
    "phương_chi\n",
    "phải\n",
    "phải_biết\n",
    "phải_chi\n",
    "phải_chăng\n",
    "phải_cách\n",
    "phải_cái\n",
    "phải_giờ\n",
    "phải_khi\n",
    "phải_không\n",
    "phải_lại\n",
    "phải_lời\n",
    "phải_người\n",
    "phải_như\n",
    "phải_rồi\n",
    "phải_tay\n",
    "phần\n",
    "phần_lớn\n",
    "phần_nhiều\n",
    "phần_nào\n",
    "phần_sau\n",
    "phần_việc\n",
    "phắt\n",
    "phỉ_phui\n",
    "phỏng\n",
    "phỏng_như\n",
    "phỏng_nước\n",
    "phỏng_theo\n",
    "phỏng_tính\n",
    "phốc\n",
    "phụt\n",
    "phứt\n",
    "qua\n",
    "qua_chuyện\n",
    "qua_khỏi\n",
    "qua_lại\n",
    "qua_lần\n",
    "qua_ngày\n",
    "qua_tay\n",
    "qua_thì\n",
    "qua_đi\n",
    "quan_trọng\n",
    "quan_trọng_vấn_đề\n",
    "quan_tâm\n",
    "quay\n",
    "quay_bước\n",
    "quay_lại\n",
    "quay_số\n",
    "quay_đi\n",
    "quá\n",
    "quá_bán\n",
    "quá_bộ\n",
    "quá_giờ\n",
    "quá_lời\n",
    "quá_mức\n",
    "quá_nhiều\n",
    "quá_tay\n",
    "quá_thì\n",
    "quá_tin\n",
    "quá_trình\n",
    "quá_tuổi\n",
    "quá_đáng\n",
    "quá_ư\n",
    "quả\n",
    "quả_là\n",
    "quả_thật\n",
    "quả_thế\n",
    "quả_vậy\n",
    "quận\n",
    "ra\n",
    "ra_bài\n",
    "ra_bộ\n",
    "ra_chơi\n",
    "ra_gì\n",
    "ra_lại\n",
    "ra_lời\n",
    "ra_ngôi\n",
    "ra_người\n",
    "ra_sao\n",
    "ra_tay\n",
    "ra_vào\n",
    "ra_ý\n",
    "ra_điều\n",
    "ra_đây\n",
    "ren_rén\n",
    "riu_ríu\n",
    "riêng\n",
    "riêng_từng\n",
    "riệt\n",
    "rày\n",
    "ráo\n",
    "ráo_cả\n",
    "ráo_nước\n",
    "ráo_trọi\n",
    "rén\n",
    "rén_bước\n",
    "rích\n",
    "rón_rén\n",
    "rõ\n",
    "rõ_là\n",
    "rõ_thật\n",
    "rút_cục\n",
    "răng\n",
    "răng_răng\n",
    "rất\n",
    "rất_lâu\n",
    "rằng\n",
    "rằng_là\n",
    "rốt_cuộc\n",
    "rốt_cục\n",
    "rồi\n",
    "rồi_nữa\n",
    "rồi_ra\n",
    "rồi_sao\n",
    "rồi_sau\n",
    "rồi_tay\n",
    "rồi_thì\n",
    "rồi_xem\n",
    "rồi_đây\n",
    "rứa\n",
    "sa_sả\n",
    "sang\n",
    "sang_năm\n",
    "sang_sáng\n",
    "sang_tay\n",
    "sao\n",
    "sao_bản\n",
    "sao_bằng\n",
    "sao_cho\n",
    "sao_vậy\n",
    "sao_đang\n",
    "sau\n",
    "sau_chót\n",
    "sau_cuối\n",
    "sau_cùng\n",
    "sau_hết\n",
    "sau_này\n",
    "sau_nữa\n",
    "sau_sau\n",
    "sau_đây\n",
    "sau_đó\n",
    "so\n",
    "so_với\n",
    "song_le\n",
    "suýt\n",
    "suýt_nữa\n",
    "sáng\n",
    "sáng_ngày\n",
    "sáng_rõ\n",
    "sáng_thế\n",
    "sáng_ý\n",
    "sì\n",
    "sì_sì\n",
    "sất\n",
    "sắp\n",
    "sắp_đặt\n",
    "sẽ\n",
    "sẽ_biết\n",
    "sẽ_hay\n",
    "số\n",
    "số_cho_biết\n",
    "số_cụ_thể\n",
    "số_loại\n",
    "số_là\n",
    "số_người\n",
    "số_phần\n",
    "số_thiếu\n",
    "sốt_sột\n",
    "sớm\n",
    "sớm_ngày\n",
    "sở_dĩ\n",
    "sử_dụng\n",
    "sự\n",
    "sự_thế\n",
    "sự_việc\n",
    "tanh\n",
    "tanh_tanh\n",
    "tay\n",
    "tay_quay\n",
    "tha_hồ\n",
    "tha_hồ_chơi\n",
    "tha_hồ_ăn\n",
    "than_ôi\n",
    "thanh\n",
    "thanh_ba\n",
    "thanh_chuyển\n",
    "thanh_không\n",
    "thanh_thanh\n",
    "thanh_tính\n",
    "thanh_điều_kiện\n",
    "thanh_điểm\n",
    "thay_đổi\n",
    "thay_đổi_tình_trạng\n",
    "theo\n",
    "theo_bước\n",
    "theo_như\n",
    "theo_tin\n",
    "thi_thoảng\n",
    "thiếu\n",
    "thiếu_gì\n",
    "thiếu_điểm\n",
    "thoạt\n",
    "thoạt_nghe\n",
    "thoạt_nhiên\n",
    "thoắt\n",
    "thuần\n",
    "thuần_ái\n",
    "thuộc\n",
    "thuộc_bài\n",
    "thuộc_cách\n",
    "thuộc_lại\n",
    "thuộc_từ\n",
    "thà\n",
    "thà_là\n",
    "thà_rằng\n",
    "thành_ra\n",
    "thành_thử\n",
    "thái_quá\n",
    "tháng\n",
    "tháng_ngày\n",
    "tháng_năm\n",
    "tháng_tháng\n",
    "thêm\n",
    "thêm_chuyện\n",
    "thêm_giờ\n",
    "thêm_vào\n",
    "thì\n",
    "thì_giờ\n",
    "thì_là\n",
    "thì_phải\n",
    "thì_ra\n",
    "thì_thôi\n",
    "thình_lình\n",
    "thích\n",
    "thích_cứ\n",
    "thích_thuộc\n",
    "thích_tự\n",
    "thích_ý\n",
    "thím\n",
    "thôi\n",
    "thôi_việc\n",
    "thúng_thắng\n",
    "thương_ôi\n",
    "thường\n",
    "thường_bị\n",
    "thường_hay\n",
    "thường_khi\n",
    "thường_số\n",
    "thường_sự\n",
    "thường_thôi\n",
    "thường_thường\n",
    "thường_tính\n",
    "thường_tại\n",
    "thường_xuất_hiện\n",
    "thường_đến\n",
    "thảo_hèn\n",
    "thảo_nào\n",
    "thấp\n",
    "thấp_cơ\n",
    "thấp_thỏm\n",
    "thấp_xuống\n",
    "thấy\n",
    "thấy_tháng\n",
    "thẩy\n",
    "thậm\n",
    "thậm_chí\n",
    "thậm_cấp\n",
    "thậm_từ\n",
    "thật\n",
    "thật_chắc\n",
    "thật_là\n",
    "thật_lực\n",
    "thật_quả\n",
    "thật_ra\n",
    "thật_sự\n",
    "thật_thà\n",
    "thật_tốt\n",
    "thật_vậy\n",
    "thế\n",
    "thế_chuẩn_bị\n",
    "thế_là\n",
    "thế_lại\n",
    "thế_mà\n",
    "thế_nào\n",
    "thế_nên\n",
    "thế_ra\n",
    "thế_sự\n",
    "thế_thì\n",
    "thế_thôi\n",
    "thế_thường\n",
    "thế_thế\n",
    "thế_à\n",
    "thế_đó\n",
    "thếch\n",
    "thỉnh_thoảng\n",
    "thỏm\n",
    "thốc\n",
    "thốc_tháo\n",
    "thốt\n",
    "thốt_nhiên\n",
    "thốt_nói\n",
    "thốt_thôi\n",
    "thộc\n",
    "thời_gian\n",
    "thời_gian_sử_dụng\n",
    "thời_gian_tính\n",
    "thời_điểm\n",
    "thục_mạng\n",
    "thứ\n",
    "thứ_bản\n",
    "thứ_đến\n",
    "thửa\n",
    "thực_hiện\n",
    "thực_hiện_đúng\n",
    "thực_ra\n",
    "thực_sự\n",
    "thực_tế\n",
    "thực_vậy\n",
    "tin\n",
    "tin_thêm\n",
    "tin_vào\n",
    "tiếp_theo\n",
    "tiếp_tục\n",
    "tiếp_đó\n",
    "tiện_thể\n",
    "toà\n",
    "toé_khói\n",
    "toẹt\n",
    "trong\n",
    "trong_khi\n",
    "trong_lúc\n",
    "trong_mình\n",
    "trong_ngoài\n",
    "trong_này\n",
    "trong_số\n",
    "trong_vùng\n",
    "trong_đó\n",
    "trong_ấy\n",
    "tránh\n",
    "tránh_khỏi\n",
    "tránh_ra\n",
    "tránh_tình_trạng\n",
    "tránh_xa\n",
    "trên\n",
    "trên_bộ\n",
    "trên_dưới\n",
    "trước\n",
    "trước_hết\n",
    "trước_khi\n",
    "trước_kia\n",
    "trước_nay\n",
    "trước_ngày\n",
    "trước_nhất\n",
    "trước_sau\n",
    "trước_tiên\n",
    "trước_tuổi\n",
    "trước_đây\n",
    "trước_đó\n",
    "trả\n",
    "trả_của\n",
    "trả_lại\n",
    "trả_ngay\n",
    "trả_trước\n",
    "trếu_tráo\n",
    "trển\n",
    "trệt\n",
    "trệu_trạo\n",
    "trỏng\n",
    "trời_đất_ơi\n",
    "trở_thành\n",
    "trừ_phi\n",
    "trực_tiếp\n",
    "trực_tiếp_làm\n",
    "tuy\n",
    "tuy_có\n",
    "tuy_là\n",
    "tuy_nhiên\n",
    "tuy_rằng\n",
    "tuy_thế\n",
    "tuy_vậy\n",
    "tuy_đã\n",
    "tuyệt_nhiên\n",
    "tuần_tự\n",
    "tuốt_luốt\n",
    "tuốt_tuồn_tuột\n",
    "tuốt_tuột\n",
    "tuổi\n",
    "tuổi_cả\n",
    "tuổi_tôi\n",
    "tà_tà\n",
    "tên\n",
    "tên_chính\n",
    "tên_cái\n",
    "tên_họ\n",
    "tên_tự\n",
    "tênh\n",
    "tênh_tênh\n",
    "tìm\n",
    "tìm_bạn\n",
    "tìm_cách\n",
    "tìm_hiểu\n",
    "tìm_ra\n",
    "tìm_việc\n",
    "tình_trạng\n",
    "tính\n",
    "tính_cách\n",
    "tính_căn\n",
    "tính_người\n",
    "tính_phỏng\n",
    "tính_từ\n",
    "tít_mù\n",
    "tò_te\n",
    "tôi\n",
    "tôi_con\n",
    "tông_tốc\n",
    "tù_tì\n",
    "tăm_tắp\n",
    "tăng\n",
    "tăng_chúng\n",
    "tăng_cấp\n",
    "tăng_giảm\n",
    "tăng_thêm\n",
    "tăng_thế\n",
    "tại\n",
    "tại_lòng\n",
    "tại_nơi\n",
    "tại_sao\n",
    "tại_tôi\n",
    "tại_vì\n",
    "tại_đâu\n",
    "tại_đây\n",
    "tại_đó\n",
    "tạo\n",
    "tạo_cơ_hội\n",
    "tạo_nên\n",
    "tạo_ra\n",
    "tạo_ý\n",
    "tạo_điều_kiện\n",
    "tấm\n",
    "tấm_bản\n",
    "tấm_các\n",
    "tấn\n",
    "tấn_tới\n",
    "tất_cả\n",
    "tất_cả_bao_nhiêu\n",
    "tất_thảy\n",
    "tất_tần_tật\n",
    "tất_tật\n",
    "tập_trung\n",
    "tắp\n",
    "tắp_lự\n",
    "tắp_tắp\n",
    "tọt\n",
    "tỏ_ra\n",
    "tỏ_vẻ\n",
    "tốc_tả\n",
    "tối_ư\n",
    "tốt\n",
    "tốt_bạn\n",
    "tốt_bộ\n",
    "tốt_hơn\n",
    "tốt_mối\n",
    "tốt_ngày\n",
    "tột\n",
    "tột_cùng\n",
    "tớ\n",
    "tới\n",
    "tới_gần\n",
    "tới_mức\n",
    "tới_nơi\n",
    "tới_thì\n",
    "tức_thì\n",
    "tức_tốc\n",
    "từ\n",
    "từ_căn\n",
    "từ_giờ\n",
    "từ_khi\n",
    "từ_loại\n",
    "từ_nay\n",
    "từ_thế\n",
    "từ_tính\n",
    "từ_tại\n",
    "từ_từ\n",
    "từ_ái\n",
    "từ_điều\n",
    "từ_đó\n",
    "từ_ấy\n",
    "từng\n",
    "từng_cái\n",
    "từng_giờ\n",
    "từng_nhà\n",
    "từng_phần\n",
    "từng_thời_gian\n",
    "từng_đơn_vị\n",
    "từng_ấy\n",
    "tự\n",
    "tự_cao\n",
    "tự_khi\n",
    "tự_lượng\n",
    "tự_tính\n",
    "tự_tạo\n",
    "tự_vì\n",
    "tự_ý\n",
    "tự_ăn\n",
    "tựu_trung\n",
    "veo\n",
    "veo_veo\n",
    "việc\n",
    "việc_gì\n",
    "vung_thiên_địa\n",
    "vung_tàn_tán\n",
    "vung_tán_tàn\n",
    "và\n",
    "vài\n",
    "vài_ba\n",
    "vài_người\n",
    "vài_nhà\n",
    "vài_nơi\n",
    "vài_tên\n",
    "vài_điều\n",
    "vào\n",
    "vào_gặp\n",
    "vào_khoảng\n",
    "vào_lúc\n",
    "vào_vùng\n",
    "vào_đến\n",
    "vâng\n",
    "vâng_chịu\n",
    "vâng_dạ\n",
    "vâng_vâng\n",
    "vâng_ý\n",
    "vèo\n",
    "vèo_vèo\n",
    "vì\n",
    "vì_chưng\n",
    "vì_rằng\n",
    "vì_sao\n",
    "vì_thế\n",
    "vì_vậy\n",
    "ví_bằng\n",
    "ví_dù\n",
    "ví_phỏng\n",
    "ví_thử\n",
    "vô_hình_trung\n",
    "vô_kể\n",
    "vô_luận\n",
    "vô_vàn\n",
    "vùng\n",
    "vùng_lên\n",
    "vùng_nước\n",
    "văng_tê\n",
    "vượt\n",
    "vượt_khỏi\n",
    "vượt_quá\n",
    "vạn_nhất\n",
    "vả_chăng\n",
    "vả_lại\n",
    "vấn_đề\n",
    "vấn_đề_quan_trọng\n",
    "vẫn\n",
    "vẫn_thế\n",
    "vậy\n",
    "vậy_là\n",
    "vậy_mà\n",
    "vậy_nên\n",
    "vậy_ra\n",
    "vậy_thì\n",
    "vậy_ư\n",
    "về\n",
    "về_không\n",
    "về_nước\n",
    "về_phần\n",
    "về_sau\n",
    "về_tay\n",
    "vị_trí\n",
    "vị_tất\n",
    "vốn_dĩ\n",
    "với\n",
    "với_lại\n",
    "với_nhau\n",
    "vở\n",
    "vụt\n",
    "vừa\n",
    "vừa_khi\n",
    "vừa_lúc\n",
    "vừa_mới\n",
    "vừa_qua\n",
    "vừa_rồi\n",
    "vừa_vừa\n",
    "xa\n",
    "xa_cách\n",
    "xa_gần\n",
    "xa_nhà\n",
    "xa_tanh\n",
    "xa_tắp\n",
    "xa_xa\n",
    "xa_xả\n",
    "xem\n",
    "xem_lại\n",
    "xem_ra\n",
    "xem_số\n",
    "xin\n",
    "xin_gặp\n",
    "xin_vâng\n",
    "xiết_bao\n",
    "xon_xón\n",
    "xoành_xoạch\n",
    "xoét\n",
    "xoẳn\n",
    "xoẹt\n",
    "xuất_hiện\n",
    "xuất_kì_bất_ý\n",
    "xuất_kỳ_bất_ý\n",
    "xuể\n",
    "xuống\n",
    "xăm_xúi\n",
    "xăm_xăm\n",
    "xăm_xắm\n",
    "xảy_ra\n",
    "xềnh_xệch\n",
    "xệp\n",
    "xử_lý\n",
    "yêu_cầu\n",
    "à\n",
    "à_này\n",
    "à_ơi\n",
    "ào\n",
    "ào_vào\n",
    "ào_ào\n",
    "á\n",
    "á_à\n",
    "ái\n",
    "ái_chà\n",
    "ái_dà\n",
    "áng\n",
    "áng_như\n",
    "âu_là\n",
    "ít\n",
    "ít_biết\n",
    "ít_có\n",
    "ít_hơn\n",
    "ít_khi\n",
    "ít_lâu\n",
    "ít_nhiều\n",
    "ít_nhất\n",
    "ít_nữa\n",
    "ít_quá\n",
    "ít_ra\n",
    "ít_thôi\n",
    "ít_thấy\n",
    "ô_hay\n",
    "ô_hô\n",
    "ô_kê\n",
    "ô_kìa\n",
    "ôi_chao\n",
    "ôi_thôi\n",
    "ông\n",
    "ông_nhỏ\n",
    "ông_tạo\n",
    "ông_từ\n",
    "ông_ấy\n",
    "ông_ổng\n",
    "úi\n",
    "úi_chà\n",
    "úi_dào\n",
    "ý\n",
    "ý_chừng\n",
    "ý_da\n",
    "ý_hoặc\n",
    "ăn\n",
    "ăn_chung\n",
    "ăn_chắc\n",
    "ăn_chịu\n",
    "ăn_cuộc\n",
    "ăn_hết\n",
    "ăn_hỏi\n",
    "ăn_làm\n",
    "ăn_người\n",
    "ăn_ngồi\n",
    "ăn_quá\n",
    "ăn_riêng\n",
    "ăn_sáng\n",
    "ăn_tay\n",
    "ăn_trên\n",
    "ăn_về\n",
    "đang\n",
    "đang_tay\n",
    "đang_thì\n",
    "điều\n",
    "điều_gì\n",
    "điều_kiện\n",
    "điểm\n",
    "điểm_chính\n",
    "điểm_gặp\n",
    "điểm_đầu_tiên\n",
    "đành_đạch\n",
    "đáng\n",
    "đáng_kể\n",
    "đáng_lí\n",
    "đáng_lý\n",
    "đáng_lẽ\n",
    "đáng_số\n",
    "đánh_giá\n",
    "đánh_đùng\n",
    "đáo_để\n",
    "đâu\n",
    "đâu_có\n",
    "đâu_cũng\n",
    "đâu_như\n",
    "đâu_nào\n",
    "đâu_phải\n",
    "đâu_đâu\n",
    "đâu_đây\n",
    "đâu_đó\n",
    "đây\n",
    "đây_này\n",
    "đây_rồi\n",
    "đây_đó\n",
    "đã\n",
    "đã_hay\n",
    "đã_không\n",
    "đã_là\n",
    "đã_lâu\n",
    "đã_thế\n",
    "đã_vậy\n",
    "đã_đủ\n",
    "đó\n",
    "đó_đây\n",
    "đúng\n",
    "đúng_ngày\n",
    "đúng_ra\n",
    "đúng_tuổi\n",
    "đúng_với\n",
    "đơn_vị\n",
    "đưa\n",
    "đưa_cho\n",
    "đưa_chuyện\n",
    "đưa_em\n",
    "đưa_ra\n",
    "đưa_tay\n",
    "đưa_tin\n",
    "đưa_tới\n",
    "đưa_vào\n",
    "đưa_về\n",
    "đưa_xuống\n",
    "đưa_đến\n",
    "được\n",
    "được_cái\n",
    "được_lời\n",
    "được_nước\n",
    "được_tin\n",
    "đại_loại\n",
    "đại_nhân\n",
    "đại_phàm\n",
    "đại_để\n",
    "đạt\n",
    "đảm_bảo\n",
    "đầu_tiên\n",
    "đầy\n",
    "đầy_năm\n",
    "đầy_phè\n",
    "đầy_tuổi\n",
    "đặc_biệt\n",
    "đặt\n",
    "đặt_làm\n",
    "đặt_mình\n",
    "đặt_mức\n",
    "đặt_ra\n",
    "đặt_trước\n",
    "đặt_để\n",
    "đến\n",
    "đến_bao_giờ\n",
    "đến_cùng\n",
    "đến_cùng_cực\n",
    "đến_cả\n",
    "đến_giờ\n",
    "đến_gần\n",
    "đến_hay\n",
    "đến_khi\n",
    "đến_lúc\n",
    "đến_lời\n",
    "đến_nay\n",
    "đến_ngày\n",
    "đến_nơi\n",
    "đến_nỗi\n",
    "đến_thì\n",
    "đến_thế\n",
    "đến_tuổi\n",
    "đến_xem\n",
    "đến_điều\n",
    "đến_đâu\n",
    "đều\n",
    "đều_bước\n",
    "đều_nhau\n",
    "đều_đều\n",
    "để\n",
    "để_cho\n",
    "để_giống\n",
    "để_không\n",
    "để_lòng\n",
    "để_lại\n",
    "để_mà\n",
    "để_phần\n",
    "để_được\n",
    "để_đến_nỗi\n",
    "đối_với\n",
    "đồng_thời\n",
    "đủ\n",
    "đủ_dùng\n",
    "đủ_nơi\n",
    "đủ_số\n",
    "đủ_điều\n",
    "đủ_điểm\n",
    "ơ\n",
    "ơ_hay\n",
    "ơ_kìa\n",
    "ơi\n",
    "ơi_là\n",
    "ư\n",
    "ạ\n",
    "ạ_ơi\n",
    "ấy\n",
    "ấy_là\n",
    "ầu_ơ\n",
    "ắt\n",
    "ắt_hẳn\n",
    "ắt_là\n",
    "ắt_phải\n",
    "ắt_thật\n",
    "ối_dào\n",
    "ối_giời\n",
    "ối_giời_ơi\n",
    "ồ\n",
    "ồ_ồ\n",
    "ổng\n",
    "ớ\n",
    "ớ_này\n",
    "ờ\n",
    "ờ_ờ\n",
    "ở\n",
    "ở_lại\n",
    "ở_như\n",
    "ở_nhờ\n",
    "ở_năm\n",
    "ở_trên\n",
    "ở_vào\n",
    "ở_đây\n",
    "ở_đó\n",
    "ở_được\n",
    "ủa\n",
    "ứ_hự\n",
    "ứ_ừ\n",
    "ừ\n",
    "ừ_nhé\n",
    "ừ_thì\n",
    "ừ_ào\n",
    "ừ_ừ\n",
    "ử\n",
    "\"\"\".split('\\n'))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "import spacy\n",
    "nlp = spacy.load('vi_spacy_model')\n",
    "doc = nlp('khoa học')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "khoa_học "
      ]
     },
     "execution_count": 2,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "doc"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "-5.733574390411377"
      ]
     },
     "execution_count": 3,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "doc[0].prob"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Cộng_đồng Cộng_đồng X N nsubj xxxxxxxxx False False\n",
      "xử_lý xử_lý X V ROOT xxxxx False True\n",
      "ngôn_ngữ ngôn_ngữ X N obj xxxxxxxx False False\n",
      "tự_nhiên tự_nhiên X A compound xxxxxxxx False False\n",
      ", , X , punct , False False\n",
      "đại_học đại_học X N nsubj xxxxxxx False False\n",
      "bách_khoa bách_khoa X N compound xxxxxxxxx False False\n",
      "hà_nội hà_nội X N compound xx_xxx False False\n",
      "thật_sự thật_sự X P advmod xxxxxxx False True\n",
      "rất rất X R advmod xxx True True\n",
      "đẹp đẹp X A parataxis xxx True False\n"
     ]
    }
   ],
   "source": [
    "doc = nlp(u'Cộng đồng xử lý ngôn ngữ tự nhiên, đại học bách khoa hà nội thật sự rất đẹp')\n",
    "\n",
    "for token in doc:\n",
    "    print(token.text, token.lemma_, token.pos_, token.tag_, token.dep_,\n",
    "            token.shape_, token.is_alpha, token.is_stop)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [],
   "source": [
    "for chunk in doc.noun_chunks:\n",
    "    print(chunk)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 85,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "from gensim.models import Word2Vec"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 76,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "class SentenceIterator: \n",
    "    def __init__(self, filepath): \n",
    "        self.filepath = filepath \n",
    "\n",
    "    def __iter__(self): \n",
    "        for line in open(self.filepath): \n",
    "            yield line.split() \n",
    "\n",
    "sentences = SentenceIterator('./vi/raw_text/wiki_docbao_tokenized.txt') \n",
    "model = Word2Vec(sentences, size=128, window=5, min_count=50, workers=4)\n",
    "model.save(\"word2vec.model\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 79,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "model.wv.save_word2vec_format('word2vec.txt', binary=False)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "python -m spacy init-model vi ./language_data/ -j vi-vocab-data.jsonl -v ./word2vec.txt\n",
    "python -m spacy package ./language_data/ ./packages"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Apple Apple PROPN NNP nsubj Xxxxx True False\n",
      "is be VERB VBZ aux xx True True\n",
      "looking look VERB VBG ROOT xxxx True False\n",
      "at at ADP IN prep xx True True\n",
      "buying buy VERB VBG pcomp xxxx True False\n",
      "U.K. U.K. PROPN NNP compound X.X. False False\n",
      "startup startup NOUN NN dobj xxxx True False\n",
      "for for ADP IN prep xxx True True\n",
      "$ $ SYM $ quantmod $ False False\n",
      "1 1 NUM CD compound d False False\n",
      "billion billion NUM CD pobj xxxx True False\n"
     ]
    }
   ],
   "source": [
    "nlp = spacy.load('en_core_web_sm')\n",
    "doc = nlp(u'Apple is looking at buying U.K. startup for $1 billion')\n",
    "\n",
    "for token in doc:\n",
    "    print(token.text, token.lemma_, token.pos_, token.tag_, token.dep_,\n",
    "            token.shape_, token.is_alpha, token.is_stop)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.3"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}