start.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "id": "2221dd40-a1c8-41ec-8219-9ebedf554dd1",
   "metadata": {},
   "outputs": [],
   "source": [
    "import pandas as pd\n",
    "import numpy as np\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "id": "0d6e54a0-5ae4-4c70-aa59-c388e387130f",
   "metadata": {},
   "outputs": [],
   "source": [
    "train = pd.read_csv('data/train', sep='\\t')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "id": "a352839e-27e3-4515-8934-e66df0a30c96",
   "metadata": {},
   "outputs": [],
   "source": [
    "train = train[:20000].dropna()\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "id": "376ba598-1697-42ed-b14b-b8b89f8b2567",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>CLIENT_ID</th>\n",
       "      <th>RETRO_DT</th>\n",
       "      <th>tokens</th>\n",
       "      <th>DEF</th>\n",
       "      <th>urls_hashed</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>5909886</td>\n",
       "      <td>20200911</td>\n",
       "      <td>форм 1 мачеха 1 работы 1 пасынка 1 горячую 1 м...</td>\n",
       "      <td>0</td>\n",
       "      <td>7bbcc146c0ba4df814701ff7297b2205 1 ee0d49cbc99...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>1385448</td>\n",
       "      <td>20210519</td>\n",
       "      <td>platiza 1 мобильные 2 sergej 1 code 3 отказов ...</td>\n",
       "      <td>1</td>\n",
       "      <td>1889e0cbd3e343e9521a07aa312257ac 2 8253d8d3a67...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>1866195</td>\n",
       "      <td>20210913</td>\n",
       "      <td>sims 3 кредит 1 языке 1 разлива 1 огромное 1 о...</td>\n",
       "      <td>0</td>\n",
       "      <td>6e617b4bfdbef85d8b09ec08ac72f0f2 1 94309f5f116...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>1587081</td>\n",
       "      <td>20210702</td>\n",
       "      <td>code 1 историй 1 scf 1 шаг 1 деньги 3 серый 1 ...</td>\n",
       "      <td>0</td>\n",
       "      <td>1e833434273e04ba76cfcfb4b48ad21b 3 aee71c8d18d...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>1400908</td>\n",
       "      <td>20210522</td>\n",
       "      <td>отказов 2 tovara 1 сергея 1 купальный 1 чёрный...</td>\n",
       "      <td>0</td>\n",
       "      <td>83e85bee0d81c0e9e5047e202cddf534 3 6e617b4bfdb...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19995</th>\n",
       "      <td>5424938</td>\n",
       "      <td>20200408</td>\n",
       "      <td>займы 3 loan 1 деньги 1 kredito 1 зимний 3 кар...</td>\n",
       "      <td>1</td>\n",
       "      <td>9111377e394acb4f5ec7ef1991fb28b5 1 89eed7fb016...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19996</th>\n",
       "      <td>5428130</td>\n",
       "      <td>20200409</td>\n",
       "      <td>самовывозом 1 телешоу 1 мобильные 1 видеохости...</td>\n",
       "      <td>0</td>\n",
       "      <td>99be73cd2a77189126ff02119a897ba7 1 cd4192c564c...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19997</th>\n",
       "      <td>5474592</td>\n",
       "      <td>20200421</td>\n",
       "      <td>выплату 1 снять 1 zdorovya 1 cruiser 2 svyazi ...</td>\n",
       "      <td>0</td>\n",
       "      <td>4aafb7e452abfdab09c834eceffc4aff 3 d8877075c35...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19998</th>\n",
       "      <td>5337694</td>\n",
       "      <td>20200321</td>\n",
       "      <td>showrecipe 1 arestovali 2 вкусных 1 suburban 2...</td>\n",
       "      <td>0</td>\n",
       "      <td>0e989f11b85cbae272b0d509f19949ce 1 a09034648a7...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19999</th>\n",
       "      <td>6069592</td>\n",
       "      <td>20201102</td>\n",
       "      <td>сериал 2 ser 1 бесплатно 2 смотреть 2 video 1 ...</td>\n",
       "      <td>0</td>\n",
       "      <td>b58d1eb5070747f7e7bf3733b97389bc 1 aee71c8d18d...</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>19939 rows × 5 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "       CLIENT_ID  RETRO_DT                                             tokens  \\\n",
       "0        5909886  20200911  форм 1 мачеха 1 работы 1 пасынка 1 горячую 1 м...   \n",
       "1        1385448  20210519  platiza 1 мобильные 2 sergej 1 code 3 отказов ...   \n",
       "2        1866195  20210913  sims 3 кредит 1 языке 1 разлива 1 огромное 1 о...   \n",
       "3        1587081  20210702  code 1 историй 1 scf 1 шаг 1 деньги 3 серый 1 ...   \n",
       "4        1400908  20210522  отказов 2 tovara 1 сергея 1 купальный 1 чёрный...   \n",
       "...          ...       ...                                                ...   \n",
       "19995    5424938  20200408  займы 3 loan 1 деньги 1 kredito 1 зимний 3 кар...   \n",
       "19996    5428130  20200409  самовывозом 1 телешоу 1 мобильные 1 видеохости...   \n",
       "19997    5474592  20200421  выплату 1 снять 1 zdorovya 1 cruiser 2 svyazi ...   \n",
       "19998    5337694  20200321  showrecipe 1 arestovali 2 вкусных 1 suburban 2...   \n",
       "19999    6069592  20201102  сериал 2 ser 1 бесплатно 2 смотреть 2 video 1 ...   \n",
       "\n",
       "       DEF                                        urls_hashed  \n",
       "0        0  7bbcc146c0ba4df814701ff7297b2205 1 ee0d49cbc99...  \n",
       "1        1  1889e0cbd3e343e9521a07aa312257ac 2 8253d8d3a67...  \n",
       "2        0  6e617b4bfdbef85d8b09ec08ac72f0f2 1 94309f5f116...  \n",
       "3        0  1e833434273e04ba76cfcfb4b48ad21b 3 aee71c8d18d...  \n",
       "4        0  83e85bee0d81c0e9e5047e202cddf534 3 6e617b4bfdb...  \n",
       "...    ...                                                ...  \n",
       "19995    1  9111377e394acb4f5ec7ef1991fb28b5 1 89eed7fb016...  \n",
       "19996    0  99be73cd2a77189126ff02119a897ba7 1 cd4192c564c...  \n",
       "19997    0  4aafb7e452abfdab09c834eceffc4aff 3 d8877075c35...  \n",
       "19998    0  0e989f11b85cbae272b0d509f19949ce 1 a09034648a7...  \n",
       "19999    0  b58d1eb5070747f7e7bf3733b97389bc 1 aee71c8d18d...  \n",
       "\n",
       "[19939 rows x 5 columns]"
      ]
     },
     "execution_count": 4,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "train"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "id": "5c1745a4-54ef-4d80-8c52-864db8f3dd07",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Defaulting to user installation because normal site-packages is not writeable\n",
      "Requirement already satisfied: gensim in ./.local/lib/python3.9/site-packages (4.2.0)\n",
      "Requirement already satisfied: pyLDAvis in ./.local/lib/python3.9/site-packages (3.3.1)\n",
      "Requirement already satisfied: matplotlib in ./.local/lib/python3.9/site-packages (3.5.3)\n",
      "Requirement already satisfied: numpy>=1.17.0 in /opt/tljh/user/lib/python3.9/site-packages (from gensim) (1.23.2)\n",
      "Requirement already satisfied: smart-open>=1.8.1 in ./.local/lib/python3.9/site-packages (from gensim) (6.1.0)\n",
      "Requirement already satisfied: scipy>=0.18.1 in /opt/tljh/user/lib/python3.9/site-packages (from gensim) (1.9.0)\n",
      "Requirement already satisfied: sklearn in ./.local/lib/python3.9/site-packages (from pyLDAvis) (0.0)\n",
      "Requirement already satisfied: numexpr in ./.local/lib/python3.9/site-packages (from pyLDAvis) (2.8.3)\n",
      "Requirement already satisfied: scikit-learn in ./.local/lib/python3.9/site-packages (from pyLDAvis) (1.1.2)\n",
      "Requirement already satisfied: joblib in ./.local/lib/python3.9/site-packages (from pyLDAvis) (1.1.0)\n",
      "Requirement already satisfied: setuptools in /opt/tljh/user/lib/python3.9/site-packages (from pyLDAvis) (58.2.0)\n",
      "Requirement already satisfied: funcy in ./.local/lib/python3.9/site-packages (from pyLDAvis) (1.17)\n",
      "Requirement already satisfied: future in ./.local/lib/python3.9/site-packages (from pyLDAvis) (0.18.2)\n",
      "Requirement already satisfied: pandas>=1.2.0 in /opt/tljh/user/lib/python3.9/site-packages (from pyLDAvis) (1.4.3)\n",
      "Requirement already satisfied: jinja2 in /opt/tljh/user/lib/python3.9/site-packages (from pyLDAvis) (3.1.2)\n",
      "Requirement already satisfied: packaging>=20.0 in /opt/tljh/user/lib/python3.9/site-packages (from matplotlib) (21.3)\n",
      "Requirement already satisfied: fonttools>=4.22.0 in ./.local/lib/python3.9/site-packages (from matplotlib) (4.37.1)\n",
      "Requirement already satisfied: cycler>=0.10 in ./.local/lib/python3.9/site-packages (from matplotlib) (0.11.0)\n",
      "Requirement already satisfied: python-dateutil>=2.7 in /opt/tljh/user/lib/python3.9/site-packages (from matplotlib) (2.8.2)\n",
      "Requirement already satisfied: pillow>=6.2.0 in ./.local/lib/python3.9/site-packages (from matplotlib) (9.2.0)\n",
      "Requirement already satisfied: kiwisolver>=1.0.1 in ./.local/lib/python3.9/site-packages (from matplotlib) (1.4.4)\n",
      "Requirement already satisfied: pyparsing>=2.2.1 in /opt/tljh/user/lib/python3.9/site-packages (from matplotlib) (3.0.9)\n",
      "Requirement already satisfied: pytz>=2020.1 in /opt/tljh/user/lib/python3.9/site-packages (from pandas>=1.2.0->pyLDAvis) (2022.2.1)\n",
      "Requirement already satisfied: six>=1.5 in /opt/tljh/user/lib/python3.9/site-packages (from python-dateutil>=2.7->matplotlib) (1.16.0)\n",
      "Requirement already satisfied: MarkupSafe>=2.0 in /opt/tljh/user/lib/python3.9/site-packages (from jinja2->pyLDAvis) (2.1.1)\n",
      "Requirement already satisfied: threadpoolctl>=2.0.0 in ./.local/lib/python3.9/site-packages (from scikit-learn->pyLDAvis) (3.1.0)\n",
      "Note: you may need to restart the kernel to use updated packages.\n"
     ]
    }
   ],
   "source": [
    "%pip install gensim pyLDAvis matplotlib\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "id": "feb039d9-981f-42da-9474-4d9caf96205f",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Defaulting to user installation because normal site-packages is not writeable\n",
      "\u001b[31mERROR: Could not find a version that satisfies the requirement pyLDAvis.gensim (from versions: none)\u001b[0m\n",
      "\u001b[31mERROR: No matching distribution found for pyLDAvis.gensim\u001b[0m\n",
      "Note: you may need to restart the kernel to use updated packages.\n"
     ]
    }
   ],
   "source": [
    "%pip install pyLDAvis.gensim gensim.corpora gensim.models "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "id": "6140452a-6d99-4549-b369-425196897835",
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "/home/jupyter-admin/.local/lib/python3.9/site-packages/past/builtins/misc.py:45: DeprecationWarning: the imp module is deprecated in favour of importlib; see the module's documentation for alternative uses\n",
      "  from imp import reload\n",
      "/home/jupyter-admin/.local/lib/python3.9/site-packages/gensim/matutils.py:22: DeprecationWarning: Please use `triu` from the `scipy.linalg` namespace, the `scipy.linalg.special_matrices` namespace is deprecated.\n",
      "  from scipy.linalg.special_matrices import triu\n"
     ]
    }
   ],
   "source": [
    "import pyLDAvis\n",
    "#import pyLDAvis.gensim #don't skip\n",
    "import matplotlib.pyplot as plt\n",
    "\n",
    "import gensim\n",
    "import gensim.corpora as corpora\n",
    "from gensim.models import CoherenceModel\n",
    "\n",
    "\n",
    "%matplotlib inline"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "id": "02d57659-95cc-4350-aa85-96dee4105329",
   "metadata": {},
   "outputs": [],
   "source": [
    "import tqdm"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 23,
   "id": "eb7195cd-1b07-410d-8098-16a585e62519",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'форм 1 мачеха 1 работы 1 пасынка 1 горячую 1 массаж 1 мачехи 1 kakaya 1 tovari 1 дмб 1 milf 2 istoriya 1 парня 1 хуя 1 voyska 1 cvet 1 рода 1 получает 1 слушай 1 molodym 1 porno 3 телепрограмма 1 видит 1 полоса 1 красивыми 1 сделал 1 горячем 1 мама 1 колледже 1 замужняя 1 varit 1 kendra 1 brigada 1 луна 1 цвет 1 lust 1 зрелой 1 зависимости 1 мужиками 1 работу 1 тельняшка 1 sportivnye 1 баба 1 тельняшки 1 завтра 1 зрелых 2 молодых 1 американский 1 качестве 2 дом 1 отличаются 1 заставила 1 мать 1 видео 8 история 1 clothes 1 активация 1 zavisimosti 1 вместо 1 porn 2 неделю 1 летняя 1 бесплатно 1 грудастая 1 предпочитает 1 смотреть 8 пойти 1 video 8 viewmsg 1 молодыми 1 отдельной 1 наказания 1 беспла 1 порно 8 mama 1 негр 1 полная 1 tube 1 массажиста 1 public 1 poshla 1 аппетитную 1 нежный 1 трахается 1 сиськами 1 бригада 1 теплую 1 mature 5 член 1 захотела 1 мамаши 1 форма 1 popular 1 brigady 1 ushli 1 вызвала 1 ranshe 1 genre 1 rus 1 лекси 1 темно 1 расслабиться 1 brat 1 ванну 1 хозяйка 1 зрелые 2 милашка 1 мачеху 2 проблем 1 roditeli 1 облако 1 пасынок 2 ушли 1 пар 1 разговоры 1 утром 1 luna 1 weather 1 trusy 1 групповой 1 соблазняет 1 tomorrow 1 борщ 1 speak 1 русское 1 смотри 1 русский 1 сертификата 1 yekaterinburg 1 seksa 1 русским 1 гламурная 1 настоящие 1 bdsm 1 милф 2 русском 1 молодой 2 бригады 1 lexi 1 williams 1 teen 1 urban 1 никто 1 спортивные 1 старая 1 каналы 1 prochee 1 tiger 1 прелести 1 flag 1 купить 1 женщинами 5 huy 1 bryuki 1 молодого 2 квеста 1 ебётся 1 брюки 1 жанрам 1 соблазнила 1 трусы 1 вдова 1 трусики 1 vozrasta 1 милфа 1 dee 1 выебал 1 baba 1 секс 8 полицейская 1 sisyastaya 1 roda 1 пошалим 1 молодые 1 talking 1 родители 1 сына 1 сюжетом 1 выебана 1 молодым 1 hozyayka 1 chase 1 бабы 1 войск 1 приняла 1 надувной 1 передач 1 парень 3 магазине 1 русскими 1 pensionnogo 1 жирная 1 категории 1 городская 1 lamoda 1 мамаша 1 переводом 1 лучших 5 возрастной 1 трахает 2 популярное 1 деревенский 1 программа 1 мамка 1 vojsk 1 брат 1 студент 1 ekaterinburg 1 уильямс 1 друга 3 хорошем 1 русскую 1 флаг 1 зрелыми 7 ответы 1 зеленая 1'"
      ]
     },
     "execution_count": 23,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "train.tokens[0]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 47,
   "id": "0b2f9842-5ceb-478e-bbce-a25697f886bf",
   "metadata": {},
   "outputs": [
    {
     "ename": "KeyboardInterrupt",
     "evalue": "",
     "output_type": "error",
     "traceback": [
      "\u001b[0;31m---------------------------------------------------------------------------\u001b[0m",
      "\u001b[0;31mKeyboardInterrupt\u001b[0m                         Traceback (most recent call last)",
      "Input \u001b[0;32mIn [47]\u001b[0m, in \u001b[0;36m<cell line: 8>\u001b[0;34m()\u001b[0m\n\u001b[1;32m     19\u001b[0m             list_tokens\u001b[38;5;241m.\u001b[39mappend(i\u001b[38;5;241m.\u001b[39msplit(\u001b[38;5;124m'\u001b[39m\u001b[38;5;124m \u001b[39m\u001b[38;5;124m'\u001b[39m)[n])\n\u001b[1;32m     20\u001b[0m         \u001b[38;5;28;01melse\u001b[39;00m:\n\u001b[0;32m---> 21\u001b[0m             list_count\u001b[38;5;241m.\u001b[39mappend(\u001b[38;5;28mint\u001b[39m(\u001b[43mi\u001b[49m\u001b[38;5;241;43m.\u001b[39;49m\u001b[43msplit\u001b[49m\u001b[43m(\u001b[49m\u001b[38;5;124;43m'\u001b[39;49m\u001b[38;5;124;43m \u001b[39;49m\u001b[38;5;124;43m'\u001b[39;49m\u001b[43m)\u001b[49m[n]))\n\u001b[1;32m     22\u001b[0m \u001b[38;5;28;01mexcept\u001b[39;00m \u001b[38;5;167;01mException\u001b[39;00m:\n\u001b[1;32m     23\u001b[0m     \u001b[38;5;28mprint\u001b[39m(i)\n",
      "\u001b[0;31mKeyboardInterrupt\u001b[0m: "
     ]
    }
   ],
   "source": [
    "def constants_to_dict(const_value, point):\n",
    "    dict_const = {}\n",
    "    for i in range(len(const_value)):\n",
    "        dict_const[const_value[i]] = point[i]\n",
    "    return dict_const \n",
    "train_dict = []\n",
    "counter = 0\n",
    "for i in train.tokens:\n",
    "    #print(i)\n",
    "    counter += 1\n",
    "    if counter%500 == 0:\n",
    "        print(counter)\n",
    "    list_tokens = []\n",
    "    list_count = []\n",
    "    try:\n",
    "        for n in range(len(i.split(' '))):\n",
    "            if n%2 == 0:\n",
    "        # print(n)\n",
    "                list_tokens.append(i.split(' ')[n])\n",
    "            else:\n",
    "                list_count.append(int(i.split(' ')[n]))\n",
    "    except Exception:\n",
    "        print(i)\n",
    "        pass\n",
    "\n",
    "    train_dict.append(constants_to_dict(list_tokens, list_count))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 48,
   "id": "9193b013-1dad-4ee5-a906-b7f089b51321",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "500\n",
      "1000\n",
      "1500\n",
      "2000\n",
      "2500\n",
      "3000\n",
      "3500\n",
      "4000\n",
      "4500\n",
      "5000\n",
      "5500\n",
      "6000\n",
      "6500\n",
      "7000\n",
      "7500\n",
      "8000\n",
      "8500\n",
      "9000\n",
      "9500\n",
      "10000\n",
      "10500\n",
      "11000\n",
      "11500\n",
      "12000\n",
      "12500\n",
      "13000\n",
      "13500\n",
      "14000\n",
      "14500\n",
      "15000\n",
      "15500\n",
      "16000\n",
      "16500\n",
      "17000\n",
      "17500\n",
      "18000\n",
      "18500\n",
      "19000\n",
      "19500\n",
      "20000\n"
     ]
    }
   ],
   "source": [
    "words = []\n",
    "counter = 0\n",
    "for i in train.tokens:\n",
    "    cur_user_words = []\n",
    "    counter += 1\n",
    "    if counter%500 == 0:\n",
    "        print(counter)\n",
    "    #print(i)\n",
    "    try:\n",
    "        for j in range(len(i.split(' '))):\n",
    "            if j%2 == 0:\n",
    "        # print(n)\n",
    "                pass\n",
    "            else:\n",
    "                for k in range(int(i.split(' ')[j])):\n",
    "                    cur_user_words.append(i.split(' ')[j-1])\n",
    "                #print(i.split(' ')[j-1])\n",
    "    except Exception:\n",
    "        print(i, j)\n",
    "        pass\n",
    "    words.append(cur_user_words)\n",
    "\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "id": "efc9e35f-ce07-42d0-8d5f-76ed6f1a91d4",
   "metadata": {},
   "outputs": [
    {
     "ename": "NameError",
     "evalue": "name 'data_words' is not defined",
     "output_type": "error",
     "traceback": [
      "\u001b[0;31m---------------------------------------------------------------------------\u001b[0m",
      "\u001b[0;31mNameError\u001b[0m                                 Traceback (most recent call last)",
      "Input \u001b[0;32mIn [2]\u001b[0m, in \u001b[0;36m<cell line: 1>\u001b[0;34m()\u001b[0m\n\u001b[0;32m----> 1\u001b[0m \u001b[43mdata_words\u001b[49m[:\u001b[38;5;241m20\u001b[39m]\n",
      "\u001b[0;31mNameError\u001b[0m: name 'data_words' is not defined"
     ]
    }
   ],
   "source": [
    "data_words[:20]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 42,
   "id": "d9afcac2-5f0f-4cfd-b484-57be19389038",
   "metadata": {},
   "outputs": [],
   "source": [
    "def dict_to_list(d):\n",
    "    data_words = []\n",
    "    for i in d.items():\n",
    "        for j in range(i[1]):\n",
    "            data_words.append(i[0])\n",
    "    return data_words\n",
    "data_words = []\n",
    "for tr_d in tran_dict:\n",
    "    data_words.append(dict_to_list(tr_d))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "e56c115f-1463-4270-a30d-8d45a6728ef0",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "['platiza_мобильные', 'мобильные', 'sergej', 'code_code', 'code_отказов', 'отказов_отказов', 'самовывозом', 'pesen_pesen', 'статья', 'global', 'косметики_продолжительность', 'nalichnimi', 'праздники', 'vysokoy', 'деньги_деньги', 'деньги_деньги', 'деньги_деньги', 'деньги_деньги', 'деньги_деньги', 'деньги_деньги', 'деньги_деньги', 'деньги_деньги', 'дружить_дружить', 'microloans_microloans', 'microloans_microloans', 'microloans_microloans', 'microloans_microloans', 'microloans', 'davaj', 'майские_майские', 'analiza', 'авиабилеты', 'операции_операции', 'операции', 'смартфон', 'сумму', 'пасху', 'омскую', 'лекарства', 'займах', 'wizard', 'кабинет', 'кабинет', 'кабинет', 'кабинет', 'кабинет', 'кабинет', 'кабинет', 'кабинет', 'кабинет', 'кабинет', 'кабинет', 'кабинет', 'кабинет', 'кабинет', 'кабинет', 'кабинет', 'кабинет', 'кабинет', 'кабинет', 'кабинет', 'кабинет', 'кабинет', 'кабинет', 'кабинет', 'кабинет', 'кабинет', 'кабинет', 'кабинет', 'кабинет', 'кабинет', 'кабинет', 'кабинет', 'кабинет', 'кабинет', 'кабинет', 'кабинет', 'кабинет', 'кабинет', 'корзина', 'передать_передать', 'брокеров', 'центр', 'виды_solntse', 'tush', 'микрозайм_микрозайм', 'микрозайм_микрозайм', 'микрозайм_микрозайм', 'микрозайм_микрозайм', 'микрозайм_микрозайм', 'микрозайм_микрозайм', 'микрозайм_микрозайм', 'микрозайм_микрозайм', 'подтвердить_подтвердить', 'подтвердить', 'жасмин_жасмин', 'бизнесмен', 'хлебный_хлебный', 'целевой', 'song_song', 'refinance_refinance', 'refinance', 'лучшие_лучшие', 'zayavlenie', 'автомагнитолы', 'аптеке', 'проверенные', 'аптека_аптека', 'промокод_промокод', 'ticket_ticket', 'ticket_ticket', 'кредита_кредита', 'кредита_кредита', 'кредита_кредита', 'кредита_кредита', 'кредита', 'electronics_electronics', 'оформить_оформить', 'оформить_оформить', 'оформить_оформить', 'оформить_оформить', 'оформить_оформить', 'оформить_оформить', 'оформить', 'sinyaya', 'долговой', 'din', 'таобао', 'давай', 'установки', 'чёрный', 'компания', 'компанию', 'новинки_новинки', 'новинки', 'надежные_надежные', 'надежные', 'песни_песни', 'песни_песни', 'taobao', 'справку', 'службы', 'mikrozaymy', 'записать', 'formirovanie', 'force_force', 'force', 'alena', 'судебном', 'синонимы', 'переход_переход', 'переход_переход', 'неделю', 'заполнение_заполнение', 'заполнение_заполнение', 'промокоды_промокоды', 'бизнесу', 'zaymigo_zaymigo', 'zaymigo_zaymigo', 'zaymigo_zaymigo', 'pomosch_pomosch', 'pomosch_pomosch', 'pomosch', 'модель', 'получение_получение', 'получение', 'air_air', 'air', 'хоум', 'specs_specs', 'specs', 'improveit_improveit', 'евгеньевна', 'blue', 'kreditnoj', 'бомбочки_низкой', 'низкой', 'otopleniya', 'заявку_заявку', 'заявку_заявку', 'заявку_заявку', 'заявку_заявку', 'заявку', 'strahovanie', 'pts', 'igry', 'рисков', 'avtomobilej', 'huawei_huawei', 'huawei_huawei', 'искали', 'банкоматы', 'ozon', 'ocherednoj', 'предоставляющих_zajm', 'method_method', 'method', 'raschet', 'прибыльный_прибыльный', 'веда_веда', 'klientam', 'поздравлениями', 'кредите', 'kompaniya', 'usiliteli_usiliteli', 'предложение', 'landrover', 'красный', 'mashiny', 'tracks_tracks', 'выгодной_выгодной', 'address', 'kredit_kredit', 'kredit_kredit', 'kredit_kredit', 'kredit_kredit', 'kredit_kredit', 'kredit_kredit', 'kredit_kredit', 'заработать_заработать', 'сыграем', 'ипотека_ипотека', 'campaigns_campaigns', 'campaigns', 'россиян', 'топ', 'metro', 'безопасность', 'tekst', 'первая', 'credit_credit', 'credit_credit', 'credit_credit', 'credit_credit', 'credit_credit', 'credit_credit', 'credit_credit', 'credit_credit', 'credit_credit', 'credit', 'muzyka_muzyka', 'bol', 'social', 'подбор_подбор', 'подбор_подбор', 'подбор', 'скидки', 'history_history', 'history_history', 'history_history', 'history_history', 'history_history', 'history_history', 'history', 'улица', 'honor_honor', 'облако', 'secure_secure', 'secure_secure', 'secure_secure', 'secure', 'bassboosted_bassboosted', 'bassboosted', 'extra_extra', 'extra', 'pyaten', 'lekarstvennye', 'podarok', 'zaimi', 'газпромбанк_газпромбанк', 'soldat_животных', 'животных', 'оргстекло_оргстекло', 'новости', 'новости', 'новости', 'сбербанк_сбербанк', 'сбербанк', 'наличии', 'счетчика_счетчика', 'алена_алена', 'переходная', 'unit', 'zaimy_zaimy', 'zaimy_zaimy', 'zaimy_zaimy', 'акции_акции', 'акции', 'fed', 'врачи', 'доходах', 'стоимость_стоимость', 'стоимость_стоимость', 'победы_победы', 'победы_победы', 'банка', 'металлическая', 'мастеров', 'wicket_wicket', 'тбили', 'synonyms', 'splash', 'music_music', 'music_music', 'music_music', 'music', 'iphone', 'passport_васильевич', 'timetable_timetable', 'timetable_timetable', 'низкие', 'великий', 'today', 'забронировать', 'komu', 'сургут', 'successful_successful', 'адвокатов', 'company', 'залог_залог', 'залог_залог', 'залог', 'kiosk_kiosk', 'accessories_accessories', 'cards', 'phone', 'займов_займов', 'займов_займов', 'займов_займов', 'займов_займов', 'займов_займов', 'займов_займов', 'займов_займов', 'займов', 'kerri', 'omsk_omsk', 'omsk_omsk', 'omsk_omsk', 'omsk_omsk', 'omsk_omsk', 'omsk', 'купить', 'купить', 'купить', 'купить', 'купить', 'купить', 'купить', 'купить', 'купить', 'купить', 'купить', 'popsa', 'otkaz', 'druzhit_druzhit', 'номер_амк', 'амк', 'беспроцентный_беспроцентный', 'беспроцентный_беспроцентный', 'беспроцентный', 'nalichnymi_nalichnymi', 'nalichnymi_nalichnymi', 'requestprocessing', 'малоизвестных', 'lada', 'movies', 'оферты_оферты', 'страховой', 'жилищного', 'рейтинг_рейтинг', 'рейтинг_рейтинг', 'den_den', 'strakhovanie', 'podeshevel', 'logon_logon', 'logon_logon', 'жалею_жалею', 'змей', 'консультант', 'protsentov_protsentov', 'protsentov_protsentov', 'protsentov', 'законом', 'providers_providers', 'седан', 'дешево', 'партнера_партнера', 'партнера_партнера', 'tradicii', 'slovo', 'новосибирске', 'confirmation_confirmation', 'confirmation_confirmation', 'confirmation', 'numbers', 'загрузите', 'zhasmin_zhasmin', 'средства', 'шокирующее', 'белый', 'naushniki', 'подборка', 'voennaja', 'stih', 'звёзд', 'системе_системе', 'приняли', 'резко', 'poezda', 'садов', 'брать', 'maestro_maestro', 'maestro', 'ria', 'delat', 'tseny', 'stock', 'pink_pink', 'выбор', 'банков_банков', 'витрина', 'гарант', 'выгоднее', 'продуктов', 'микрокредит', 'ребята', 'розовый_розовый', 'свадьбу', 'banka', 'дебетовые', 'подруге', 'новый', 'sistema_pohudenija', 'maj', 'prinyali', 'vygodno_vygodno', 'opasno', 'kuhnya', 'кредитов_кредитов', 'кредитов_кредитов', 'кредитов_кредитов', 'кредитов_кредитов', 'кредитов', 'obmen', 'черный', 'металл', 'taras', 'безналичным', 'doctor', 'невесте', 'banke', 'доставкой', 'любой', 'комиссии', 'ramki', 'поддержка_поддержка', 'поддержка', 'zajmy', 'справок_справок', 'спирин', 'вечерний', 'otkryt_otkryt', 'дождались', 'информация', 'choose_choose', 'choose_choose', 'choose', 'pomoshhnik', 'episodes', 'октября', 'galaxy', 'экраны', 'scoring_scoring', 'магазине_магазине', 'video', 'сообщения', 'выберу_выберу', 'vivus_vivus', 'vivus_vivus', 'vivus_vivus', 'vivus_vivus', 'vivus_vivus', 'vivus_vivus', 'vivus_vivus', 'vivus', 'chernyy', 'предложения_срок', 'срок_срок', 'срок_срок', 'формы', 'хороших', 'уменьшения', 'заклинатель', 'личные', 'федеральный', 'личный', 'личный', 'личный', 'личный', 'личный', 'личный', 'личный', 'личный', 'личный', 'личный', 'личный', 'личный', 'личный', 'личный', 'личный', 'личный', 'личный', 'личный', 'личный', 'личный', 'личный', 'личный', 'личный', 'личный', 'личный', 'личный', 'личный', 'личный', 'личный', 'личный', 'личный', 'личный', 'личный', 'личный', 'личный', 'личный', 'личный', 'личный', 'paskha', 'image_pending', 'федеральным', 'воду_воду', 'daf', 'нашли', 'медицинских', 'finance_finance', 'finance_finance', 'finance_finance', 'finance', 'polyany', 'cvet', 'auto', 'reshenie', 'детских_детских', 'смартфона', 'finish', 'band_band', 'привязка', 'макияж', 'малому', 'любовь_любовь', 'mashina', 'несостоятельности', 'синий_синий', 'lenta_lenta', 'bank', 'veb', 'landings_landings', 'жека', 'term', 'ирина', 'zaim', 'убер', 'ассортименте', 'repayment_repayment', 'repayment_repayment', 'repayment_repayment', 'repayment_repayment', 'repayment_repayment', 'repayment_repayment', 'ljubit', 'самое', 'pda', 'лучшей_лучшей', 'лучшей', 'obnovlennogo', 'mastercard', 'keri', 'банкротстве', 'ипотеки', 'ezaem_ezaem', 'ezaem_ezaem', 'razbor', 'займы', 'займы', 'займы', 'займы', 'займы', 'займы', 'займы', 'займы', 'займы', 'займы', 'займы', 'займы', 'займы', 'займы', 'займы', 'займы', 'займы', 'займы', 'займы', 'займы', 'займы', 'займы', 'займы', 'займы', 'займы', 'займы', 'займы', 'займы', 'займы', 'займы', 'займы', 'займы', 'займы', 'займы', 'займы', 'займы', 'займы', 'займы', 'займы', 'займы', 'займы', 'займы', 'займы', 'займы', 'займы', 'займы', 'займы', 'займы', 'займы', 'idei_idei', 'diana', 'irina', 'машина', 'bluetooth_bluetooth', 'bluetooth', 'society_society', 'подбора_подбора', 'metallicheskaya', 'музыки_музыки', 'музыки', 'просмотр_просмотр', 'технопарк', 'анита', 'григорий', 'оптом', 'музыка', 'special', 'редакция', 'стих', 'отп', 'закон', 'заем_заем', 'заем_заем', 'заем_заем', 'заем_заем', 'заем_заем', 'заем', 'нюша', 'веб_веб', 'веб_веб', 'веб_веб', 'веб_веб', 'веб_веб', 'веб_веб', 'веб_веб', 'веб_веб', 'веб', 'устройство', 'расшифровки', 'холдинг_холдинг', 'sms_sms', 'sms_sms', 'наличными_наличными', 'наличными_наличными', 'наличными_наличными', 'наличными_наличными', 'наличными_наличными', 'наличными_наличными', 'dsp', 'крутой_gorod', 'сериалы_выхода', 'health', 'нефтеюганске', 'вашу', 'умные_умные', 'astral', 'mesyac', 'magnitoly', 'инструменты', 'забавно_забавно', 'забавно', 'необычных_май', 'dictionary_dictionary', 'skidka', 'mesyaca', 'наушники_наушники', 'наушники_наушники', 'zhizn', 'mashin', 'огрн', 'skidki_переводом', 'картина', 'окпо', 'заявка_заявка', 'заявка_заявка', 'заявка_заявка', 'заявка_заявка', 'заявка_заявка', 'заявка_заявка', 'заявка_заявка', 'заявка', 'решением', 'нового', 'оплатить', 'христиане', 'card_card', 'card', 'заявки_заявки', 'заявки_заявки', 'заявки_заявки', 'супермаркет', 'объединить', 'долгожданные', 'экспедиция', 'какому', 'всей_всей', 'всей_всей', 'всей_всей', 'всей_всей', 'всей_всей', 'всей', 'пассажирам_пассажирам', 'пассажирам_пассажирам', 'пассажирам', 'routes', 'заём', 'условия_условия', 'условия_условия', 'support_support', 'support_support', 'сохранения', 'игры', 'защитить', 'njusha', 'узнать', 'синяя', 'detskie', 'misc', 'подача_подача', 'pervyj', 'офис', 'верным', 'месяц', 'карта_карта', 'kreditnyy', 'последние', 'связном_связном', 'антифриз', 'service', 'быстро', 'срочно_срочно', 'срочно_срочно', 'срочно_срочно', 'срочно', 'data', 'vitrina_vitrina', 'поручителей_поручителей', 'поручителей', 'вопросы', 'технические', 'тушь', 'vitriny', 'mama', 'sitevivus_sitevivus', 'white', 'настоящим', 'podruge', 'kreditniy', 'hotdocs', 'releases', 'лепс', 'kreditov', 'часы_часы', 'часы', 'rejected_rejected', 'лента', 'nizhe', 'odnu', 'чей_акты', 'dinamiki_dinamiki', 'branches', 'batalon', 'zapisat', 'undefined_undefined', 'undefined_undefined', 'toronto', 'stanet', 'авторизация_авторизация', 'авторизация', 'бвб', 'svadbe', 'адрес', 'рублей_рублей', 'отказа_отказа', 'отказа', 'автомобилей_автомобилей', 'grey', 'погасить', 'контакт_контакт', 'контакт_контакт', 'контакт', 'zaem', 'газпромнефть', 'yulya', 'light', 'втб_втб', 'втб_втб', 'втб_втб', 'получении_получении', 'получении_получении', 'получении_получении', 'minut_minut', 'сюрпризом', 'minus_дубцова', 'профиль_профиль', 'профиль', 'mini_mini', 'mini_mini', 'kredity_kredity', 'kredity_kredity', 'kredity_kredity', 'ставке_ставке', 'модели', 'таблетки', 'moneza_moneza', 'moneza_moneza', 'moneza_moneza', 'nedvizhimost', 'faktor', 'подать_подать', 'образцы', 'kredito_kredito', 'кредитные_кредитные', 'кредитные', 'кредитование_кредитный', 'кредитный_кредитный', 'кредитный_кредитный', 'кредитный_kredite', 'kredite_kredite', 'оформите_оформите', 'оформите_оформите', 'оформите_оформите', 'омске_омске', 'омске_омске', 'омске_омске', 'омске_омске', 'омске_омске', 'омске', 'ставки', 'омска_омска', 'igrushka', 'presents', 'цены', 'oktyabrya', 'srochno', 'празднование', 'investicii', 'подарок_подарок', 'contact_contact', 'contact_contact', 'contact_contact', 'contact_contact', 'contact_contact', 'contact_contact', 'contact_contact', 'contact_contact', 'contact', 'ставкой_ставкой', 'солдат', 'green', 'рамка', 'головное', 'прошли', 'spasibo', 'фотографии_фотографии', 'forme', 'версий', 'chestnoe', 'track_track', 'sekret', 'черное', 'рублях_рублях', 'рублях_рублях', 'рублях', 'экране', 'visa_visa', 'visa', 'igrushki', 'часть', 'начать_начать', 'payment_payment', 'payment_payment', 'payment', 'bolshoj', 'похожие', 'погашение_погашение', 'погашение_погашение', 'погашение', 'фонарик', 'гош', 'prolongation', 'mobile_mobile', 'mobile_mobile', 'mobile_zmei', 'poka', 'maja', 'фильмов', 'ipoteku_график', 'график_график', 'график_график', 'график', 'pohudeniya', 'приметы', 'платежа_платежа', 'платежа', 'мастерская', 'consumer_consumer', 'недвижимости', 'открыть_открыть', 'стекла', 'кредит_кредит', 'кредит_кредит', 'кредит_кредит', 'кредит_кредит', 'кредит_кредит', 'кредит_кредит', 'кредит_кредит', 'кредит_кредит', 'кредит_кредит', 'кредит_кредит', 'кредит_кредит', 'кредит_кредит', 'кредит_кредит', 'быстроденьги_быстроденьги', 'работы', 'lyrics', 'смсфинанс_смсфинанс', 'смсфинанс_смсфинанс', 'смсфинанс_смсфинанс', 'смсфинанс', 'подешевел_традиции', 'мастер_мастер', 'калькулятор_калькулятор', 'каждому', 'мтс_мтс', 'слушать_слушать', 'слушать_слушать', 'движения', 'двери', 'старт', 'feat_feat', 'feat_feat', 'albums', 'nlo', 'completion_кредитам', 'кредитам', 'таб', 'ошибка', 'анализа', 'проверяем', 'войти_войти', 'войти_войти', 'войти_войти', 'войти_войти', 'войти_войти', 'войти_войти', 'войти_войти', 'войти_войти', 'войти_войти', 'войти_войти', 'войти', 'руководство', 'prolong', 'black_black', 'сатурн_мая', 'мая', 'обратиться', 'часов', 'универсальный_универсальный', 'newsviewpage_newsviewpage', 'общие_общие', 'отправлена_моментальные', 'моментальные_моментальные', 'отношения', 'подтверждение', 'инфо', 'сделать_сделать', 'watch', 'дешевые', 'beremenna', 'современном_современном', 'report_report', 'вход_вход', 'вход_вход', 'вход_вход', 'вход_вход', 'вход_вход', 'вход', 'mfo_mfo', 'mfo_mfo', 'mfo', 'отзыв_hochetsya', 'prime_prime', 'страховых', 'фильм', 'срочноденьги', 'автозвук', 'artist', 'рейтинги', 'shkol', 'инвестиционные', 'изменения', 'песен_песен', 'veshhestv', 'дом_дом', 'дом_sha', 'высоте', 'отопления', 'болью', 'повышенного', 'данные', 'открываются', 'ostatsya', 'страховые', 'characteristics', 'решение', 'доставка', 'подписка_подписка', 'финансовый', 'job', 'похудения', 'seats', 'зеленый', 'юристов', 'звонки', 'смотреть', 'фильмы_фильмы', 'омск_омск', 'омск_омск', 'arg', 'ооо_ооо', 'ооо_ооо', 'ооо_ооо', 'ооо_ооо', 'ооо', 'pomoshch', 'делать', 'видео', 'ekapusta_ekapusta', 'ekapusta_ekapusta', 'ekapusta_ekapusta', 'ekapusta_ekapusta', 'мир', 'рефинансирование_рефинансирование', 'рефинансирование_рефинансирование', 'рефинансирование_рефинансирование', 'singer', 'vojny', 'клиентов_клиентов', 'клиентов_клиентов', 'клиентов_клиентов', 'клиентов_клиентов', 'быстрые_быстрые', 'быстрые_быстрые', 'быстрые_быстрые', 'быстрые_быстрые', 'быстрые', 'дюйма', 'refinansirovanie_refinansirovanie', 'refinansirovanie_refinansirovanie', 'илья', 'оставить_оставить', 'identification_identification', 'стихотворений', 'паршута', 'progress', 'лада', 'conditions_conditions', 'займ', 'займ', 'займ', 'займ', 'займ', 'займ', 'займ', 'займ', 'займ', 'займ', 'займ', 'займ', 'займ', 'займ', 'займ', 'займ', 'займ', 'займ', 'займ', 'займ', 'займ', 'займ', 'займ', 'займ', 'займ', 'займ', 'займ', 'займ', 'займ', 'займ', 'займ', 'займ', 'займ', 'займ', 'займ', 'займ', 'займ', 'займ', 'stati', 'магнитола', 'срочный_срочный', 'сабвуферы', 'terms', 'осталось', 'rover', 'makiyazh', 'срочные_срочные', 'срочные_срочные', 'срочные_срочные', 'срочные_срочные', 'срочные_срочные', 'срочные_срочные', 'срочные', 'браслет', 'брокер_брокер', 'брокер_брокер', 'брокер', 'tinkoff_tinkoff', 'pesni_pesni', 'мошенничестве', 'расшифровка', 'klient', 'птс_птс', 'птс_птс', 'омской_омской', 'cop', 'поляну', 'телефоны_телефоны', 'zalog', 'brat', 'cars', 'кредиты_кредиты', 'кредиты_кредиты', 'кредиты_кредиты', 'последняя', 'contract_contract', 'передали', 'мошенничество', 'спб_спб', 'спб_спб', 'спб_спб', 'спб_спб', 'спб', 'справка', 'банк_банк', 'банк_банк', 'банк_банк', 'chelovek', 'офисов', 'shema', 'крови', 'форме', 'адреса_адреса', 'игрушек', 'voprosov', 'екапуста_екапуста', 'екапуста_екапуста', 'екапуста_екапуста', 'екапуста_екапуста', 'екапуста', 'вложения', 'loan_loan', 'loan_loan', 'loan_loan', 'spravka', 'идентификация', 'denis', 'confirm', 'kabinet_kabinet', 'profi', 'военная', 'рассрочки', 'локо', 'braslet', 'fotografii', 'rasshifrovka', 'podelilas', 'выпуска', 'москва_москва', 'москва', 'center', 'москве', 'москве', 'москве', 'москве', 'москве', 'москве', 'москве', 'москве', 'москве', 'москве', 'москве', 'москве', 'москве', 'москве', 'udalenie', 'мелисон', 'открытые', 'ревность', 'отказали_отказали', 'отказали', 'отзывы_отзывы', 'отзывы_отзывы', 'отзывы', 'promocodes', 'firm_firm', 'цой', 'kerry_kerry', 'kerry', 'отклонена_отклонена', 'сайту', 'leps', 'лилу', 'пользователя_пользователя', 'пользователя_пользователя', 'пользователя_пользователя', 'хабаровск', 'согаз', 'экспресс_экспресс', 'слово_слово', 'минут_минут', 'минут_минут', 'минут_минут', 'минут_минут', 'минут_минут', 'минут', 'pobedy_мегафон', 'мегафон', 'финансы_финансы', 'финансы', 'заказ', 'criminal', 'микрозаймы_микрозаймы', 'микрозаймы_микрозаймы', 'микрозаймы_микрозаймы', 'микрозаймы_микрозаймы', 'микрозаймы_микрозаймы', 'микрозаймы_микрозаймы', 'микрозаймы_микрозаймы', 'микрозаймы', 'domoj', 'одну', 'aviasales', 'wiki', 'cash_cash', 'cash_cash', 'cash_cash', 'машинки_primety', 'zayavka_zayavka', 'zayavka_zayavka', 'zayavka_zayavka', 'zayavka', 'реквизиты_реквизиты', 'реквизиты_нагрузки', 'цвет', 'паспортом', 'россия_россия', 'россия', 'положения_положения', 'cons', 'инн', 'китайский', 'турбозайм_турбозайм', 'турбозайм_турбозайм', 'турбозайм_турбозайм', 'турбозайм_турбозайм', 'турбозайм_турбозайм', 'турбозайм_турбозайм', 'турбозайм_турбозайм', 'турбозайм_турбозайм', 'турбозайм_турбозайм', 'альбом', 'советов', 'romanova', 'chasi', 'tablitsa', 'приема', 'риска', 'подружки', 'сменный', 'регулируемые', 'договоры_сбербанком', 'podborki', 'kredita_kredita', 'kredita', 'vivadengi_vivadengi', 'vivadengi', 'luchshih', 'поставщики_поставщики', 'pay_pay', 'pay_pay', 'podborka', 'сообщить', 'пасхальные', 'главная_главная', 'киоск_киоск', 'dubcova', 'выбрать', 'руб', 'lite_lite', 'lite', 'simptomy', 'android', 'document', 'любому_любому', 'любому', 'aura', 'апреле', 'автомобиля', 'проценты_проценты', 'праздновать', 'список', 'krasota', 'дома', 'показала', 'цене_цене', 'цене_цене', 'цене_цене', 'цене', 'steps_steps', 'называется', 'магазинов', 'цена_цена', 'цена_цена', 'цена', 'lyubov_lyubov', 'заказать', 'промышленный_промышленный', 'помощник', 'карт_карт', 'выпустила', 'кредитных_кредитных', 'хорошем', 'показатель', 'открытие_открытие', 'россии', 'россии', 'россии', 'россии', 'россии', 'россии', 'россии', 'россии', 'россии', 'россии', 'россии', 'россии', 'скоростью', 'person_person', 'person', 'client_client', 'client_client', 'client_client', 'client_client', 'client_client', 'client_client', 'client_client', 'client_client', 'client_client', 'client_client', 'client_client', 'kotoryi', 'dveri', 'toy', 'model', 'салют', 'групп_групп', 'нгс', 'прозрачное', 'платочек', 'языке', 'kontakt', 'банковской_банковской', 'photo', 'месяца', 'взять_взять', 'взять_взять', 'взять_взять', 'взять_взять', 'взять_взять', 'взять_взять', 'взять_взять', 'взять_взять', 'взять_взять', 'взять_взять', 'взять_взять', 'взять_взять', 'отделения', 'дней_дней', 'дней_дней', 'дней_дней', 'дней_дней', 'дней_дней', 'дней_дней', 'дней_дней', 'телеканалы', 'коммерсантъ', 'опасно', 'компании_компании', 'компании_компании', 'мани', 'заявление', 'ракета_ракета', 'announcement', 'агентство_агентство', 'путь', 'neobychnyh_госдуме', 'finansy', 'otzyvy', 'nezhnaya', 'доступной', 'boston', 'collections_collections', 'collections', 'откат', 'банковскую_банковскую', 'банковскую_банковскую', 'банковскую_банковскую', 'zenfone', 'save', 'магнитолы', 'app_app', 'app_app', 'app_app', 'smart_smart', 'zvonki', 'customers_customers', 'customers_customers', 'customers_customers', 'customers_customers', 'customers', 'maya', 'забрать', 'товары_товары', 'товары', 'показания_показания', 'zaimon_zaimon', 'машины', 'zaym_zaym', 'премьер', 'товаров', 'amp_amp', 'amp_amp', 'amp_amp', 'amp', 'зеркала', 'таблеток', 'vyzhil', 'почтовые', 'мгновенно_мгновенно', 'мгновенно_мгновенно', 'мгновенно_мгновенно', 'мгновенно_мгновенно', 'мгновенно', 'диана', 'потребительский_потребительский', 'success_success', 'success', 'потребительские', 'вклады_вклады', 'вклады_вклады', 'вклады', 'качестве', 'инерционная', 'врачу', 'poluchit_poluchit', 'finansovie_выгодный', 'история_история', 'история_история', 'история_история', 'история_история', 'история_история', 'история_история', 'чингиз', 'выгодное', 'мфо_мфо', 'мфо_мфо', 'мфо', 'беспроводные_беспроводные', 'беспроводные', 'мфк_мфк', 'мфк_мфк', 'мфк_мфк', 'tabletki', 'войны', 'случилось', 'подтверждения_подтверждения', 'исправлении', 'финанс', 'toys', 'бесплатно', 'бесплатно', 'бесплатно', 'бесплатно', 'бесплатно', 'бесплатно', 'бесплатно', 'бесплатно', 'бесплатно', 'бесплатно', 'статус', 'магазин_магазин', 'магазин', 'export', 'продукты', 'барни', 'клиентам_biznes', 'biznes', 'динамики', 'развести', 'gruz', 'moskva', 'банки_банки', 'банки_банки', 'банки_банки', 'банки_банки', 'банки_банки', 'банки_банки', 'банки_банки', 'банки_банки', 'банки_банки', 'банки_банки', 'банки_банки', 'банки_банки', 'консультантплюс', 'банке_банке', 'банке_банке', 'lubov', 'родительский', 'альянс', 'lichnyj_lichnyj', 'прогресс', 'получить_получить', 'получить', 'prod', 'price', 'приложения', 'финтерра_финтерра', 'убийцу', 'заказа', 'честное_честное', 'schedule_schedule', 'schedule_schedule', 'schedule_schedule', 'груз', 'broker_broker', 'rapuncel', 'credits_credits', 'step_step', 'step_step', 'step_step', 'моментальным', 'покупок_покупок', 'покупок', 'заболевание_общество', 'loans_loans', 'loans_loans', 'loans_loans', 'loans_loans', 'loans_loans', 'кнопку', 'ригла', 'goods', 'dashboard_dashboard', 'dashboard_dashboard', 'dashboard', 'работе', 'контакты', 'билетов_билетов', 'билетов_билетов', 'rabote_бесплатная', 'техническое_техническое', 'похудение', 'акционерное', 'официальный_официальный', 'официальный_официальный', 'официальный', 'дня_дня', 'godu', 'исполнении_исполнении', 'исполнении', 'песню_песню', 'песню_песню', 'песню_песню', 'планшетов_кредитной', 'петровича', 'акция', 'анализов', 'российских', 'oformlenii', 'панели', 'платеж', 'потепление', 'мест', 'характеристики_характеристики', 'характеристики_характеристики', 'сложнее', 'weather', 'продления', 'armada_armada', 'микрофинанс', 'зона', 'самый', 'проверить', 'безымянной', 'area', 'глава_глава', 'transfer_transfer', 'карту', 'карту', 'карту', 'карту', 'карту', 'карту', 'карту', 'карту', 'карту', 'карту', 'карту', 'карту', 'карту', 'карту', 'карту', 'карту', 'карту', 'карту', 'карту', 'карту', 'карту', 'карту', 'карту', 'карту', 'карту', 'карту', 'карту', 'proverka', 'оформление', 'регистрация', 'согласовали', 'оплата_оплата', 'оплата_оплата', 'зарплаты_зарплаты', 'зарплаты_зарплаты', 'зарплаты_зарплаты', 'stoimost', 'телефон_телефон', 'телефон_телефон', 'телефон_телефон', 'телефон_телефон', 'телефон', 'русской', 'bookmarkable_bookmarkable', 'complete_complete', 'offices', 'описание_описание', 'ресниц', 'займу_займу', 'займу_займу', 'brand_brand', 'умных_landing', 'landing_landing', 'cabinet_cabinet', 'cabinet_cabinet', 'cabinet_cabinet', 'cabinet_cabinet', 'cabinet_cabinet', 'cabinet_cabinet', 'cabinet_cabinet', 'cabinet_cabinet', 'cabinet', 'krovi', 'музыку_музыку', 'редких', 'списать', 'fors', 'масштабные', 'внутри', 'dist_dist', 'viva_viva', 'viva_viva', 'viva_viva', 'viva_viva', 'viva_viva', 'информационный', 'школ', 'ввести', 'игрушки', 'дисплей', 'станет', 'samsung', 'выгодно_выгодно', 'помощь_помощь', 'помощь_помощь', 'помощь_помощь', 'игрушка', 'купонов', 'громкости', 'verification_verification', 'verification', 'kartu_kartu', 'kartu', 'рапунцель', 'займа_займа', 'займа_займа', 'займа_займа', 'перекредитование', 'embed', 'поездка', 'смарт_смарт', 'смарт', 'uber', 'робот_робот', 'предприниматель', 'залога_залога', 'залога', 'moneyman', 'области_области', 'tabletok', 'трогательные', 'подписание_подписание', 'изменение_изменение', 'паху', 'home_home', 'home_home', 'redkih', 'смартфоны', 'oblasti', 'law_law', 'law', 'сервис_сервис', 'сервис', 'mikrokredit', 'любит', 'секрет', 'новых_новых', 'новых_новых', 'новых_новых', 'новых_новых', 'связаться', 'application_application', 'application_application', 'application_application', 'application_application', 'application_application', 'application_application', 'application_application', 'application_application', 'application_application', 'application', 'платежей_платежей', 'платежей_платежей', 'платежей_платежей', 'простой', 'юля', 'tech', 'лекарств', 'priora', 'seriya_seriya', 'anketa_anketa', 'anketa', 'zhena', 'долги', 'rozhdeniya', 'ванн', 'ашан', 'asus', 'modeli', 'каталоге', 'дата', 'ramka', 'усилители', 'расписание_расписание', 'расписание_расписание', 'rubricid', 'риа', 'рив', 'коды', 'займер_займер', 'займер', 'land', 'перекрытие', 'джет', 'dve', 'музыкальный', 'sredstva', 'высокой', 'выжил', 'коммерческий', 'автолюбителей', 'nash', 'ответы', 'финансирования']\n"
     ]
    }
   ],
   "source": [
    "#создадим биграмы\n",
    "bigram = gensim.models.Phrases(words, min_count=5, threshold=50)\n",
    "bigram_mod = gensim.models.phrases.Phraser(bigram)\n",
    "#сделаем биграмы\n",
    "data_words = [bigram_mod[doc] for doc in words]\n",
    "print(data_words[1])\n",
    "#объявим два основных параметра LDA\n",
    "#словарь\n",
    "id2word = corpora.Dictionary(data_words)\n",
    "#и перейдем к частоте терминов в документе\n",
    "corpus = [id2word.doc2bow(text) for text in data_words]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 50,
   "id": "4d4481a3-d23e-457f-83ad-37dd5a59bee7",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[(0, 1), (1, 1), (2, 1), (3, 1), (4, 1), (5, 1), (6, 1), (7, 1), (8, 1), (9, 1), (10, 1), (11, 1), (12, 1), (13, 1), (14, 1), (15, 1), (16, 1), (17, 1), (18, 1), (19, 1), (20, 1), (21, 1), (22, 1), (23, 1), (24, 2), (25, 1), (26, 1), (27, 1), (28, 1), (29, 1), (30, 1), (31, 1), (32, 1), (33, 1), (34, 1), (35, 1), (36, 1), (37, 1), (38, 1), (39, 1), (40, 1), (41, 1), (42, 1), (43, 1), (44, 1), (45, 1), (46, 1), (47, 1), (48, 1), (49, 1), (50, 1), (51, 1), (52, 1), (53, 4), (54, 1), (55, 1), (56, 1), (57, 1), (58, 1), (59, 1), (60, 1), (61, 1), (62, 1), (63, 1), (64, 1), (65, 1), (66, 1), (67, 1), (68, 1), (69, 1), (70, 1), (71, 1), (72, 1), (73, 1), (74, 1), (75, 1), (76, 4), (77, 1), (78, 1), (79, 1), (80, 1), (81, 1), (82, 1), (83, 1), (84, 1), (85, 1), (86, 1), (87, 1), (88, 1), (89, 1), (90, 1), (91, 1), (92, 1), (93, 1), (94, 1), (95, 1), (96, 1), (97, 1), (98, 2), (99, 1), (100, 1), (101, 1), (102, 1), (103, 1), (104, 1), (105, 1), (106, 1), (107, 1), (108, 3), (109, 1), (110, 1), (111, 1), (112, 1), (113, 1), (114, 1), (115, 1), (116, 1), (117, 1), (118, 1), (119, 1), (120, 1), (121, 1), (122, 2), (123, 1), (124, 1), (125, 1), (126, 1), (127, 1), (128, 1), (129, 1), (130, 1), (131, 1), (132, 1), (133, 1), (134, 1), (135, 1), (136, 1), (137, 1), (138, 1), (139, 1), (140, 1), (141, 1), (142, 1), (143, 1), (144, 1), (145, 1), (146, 1), (147, 1), (148, 1), (149, 1), (150, 1), (151, 1), (152, 1), (153, 1), (154, 1), (155, 1), (156, 1), (157, 1), (158, 1), (159, 1), (160, 1), (161, 1), (162, 1), (163, 1), (164, 1), (165, 1), (166, 1), (167, 1), (168, 1), (169, 4), (170, 1), (171, 1), (172, 1), (173, 1), (174, 1), (175, 1), (176, 1), (177, 1), (178, 1), (179, 1), (180, 1), (181, 1), (182, 1), (183, 1), (184, 1), (185, 1), (186, 1), (187, 1), (188, 1), (189, 4), (190, 1), (191, 1), (192, 1), (193, 8), (194, 1), (195, 1), (196, 1), (197, 1), (198, 1), (199, 1), (200, 1), (201, 1), (202, 1), (203, 1), (204, 1), (205, 1), (206, 1), (207, 1), (208, 1), (209, 1), (210, 1), (211, 1), (212, 1), (213, 1), (214, 1), (215, 1), (216, 1), (217, 1), (218, 1), (219, 1), (220, 1), (221, 1)]\n"
     ]
    }
   ],
   "source": [
    "print(corpus[0])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 52,
   "id": "dd6aaf13-6f6b-412e-9135-700f6ca2907c",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "CPU times: user 1h 13min 29s, sys: 1h 57min 50s, total: 3h 11min 19s\n",
      "Wall time: 26min 17s\n"
     ]
    }
   ],
   "source": [
    "%%time\n",
    "lda_model = gensim.models.ldamodel.LdaModel(corpus=corpus,\n",
    "                                            id2word=id2word,\n",
    "                                            num_topics=20, \n",
    "                                            random_state=42,\n",
    "                                            update_every=1,\n",
    "                                            chunksize=100,\n",
    "                                            passes=10,\n",
    "                                            alpha='auto',\n",
    "                                            per_word_topics=True)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 54,
   "id": "20e2c98b-0336-4f89-b7ee-732e7ca3d3ba",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[(0,\n",
       "  '0.035*\"карту\" + 0.027*\"кредит_кредит\" + 0.026*\"credit_credit\" + 0.022*\"заявка_заявка\" + 0.018*\"банк_банк\" + 0.016*\"наличными_наличными\" + 0.014*\"банки_банки\" + 0.014*\"оформить_оформить\" + 0.013*\"кредиты_кредиты\" + 0.012*\"взять_взять\"'),\n",
       " (1,\n",
       "  '0.021*\"купить\" + 0.020*\"порно_порно\" + 0.016*\"авто_авто\" + 0.014*\"видео_видео\" + 0.013*\"цены_цены\" + 0.013*\"video_video\" + 0.013*\"россии\" + 0.012*\"продажа_продажа\" + 0.012*\"auto_auto\" + 0.011*\"пробегом_пробегом\"'),\n",
       " (2,\n",
       "  '0.425*\"календарь_календарь\" + 0.412*\"задачи_задачи\" + 0.027*\"landing_landing\" + 0.013*\"day_day\" + 0.006*\"календарь\" + 0.006*\"задачи\" + 0.003*\"landing\" + 0.002*\"tutorial_tutorial\" + 0.001*\"security\" + 0.001*\"recovery\"'),\n",
       " (3,\n",
       "  '0.007*\"бесплатно\" + 0.007*\"купить\" + 0.003*\"фото_фото\" + 0.002*\"смотреть\" + 0.002*\"amp_amp\" + 0.002*\"ответы_ответы\" + 0.002*\"видео\" + 0.002*\"video\" + 0.002*\"цены\" + 0.002*\"фото\"'),\n",
       " (4,\n",
       "  '0.098*\"купить\" + 0.026*\"магазине_магазине\" + 0.022*\"москве\" + 0.020*\"магазин_магазин\" + 0.014*\"цены_цены\" + 0.011*\"цена_цена\" + 0.010*\"цене_цене\" + 0.008*\"отзывы_отзывы\" + 0.007*\"доставкой_доставкой\" + 0.007*\"россии\"'),\n",
       " (5,\n",
       "  '0.555*\"почта\" + 0.024*\"weather_weather\" + 0.020*\"tomorrow_tomorrow\" + 0.018*\"гороскоп_гороскоп\" + 0.017*\"prediction_prediction\" + 0.015*\"today_today\" + 0.015*\"гороскопы_гороскопы\" + 0.014*\"россии\" + 0.014*\"прогноз_прогноз\" + 0.014*\"входящие_входящие\"'),\n",
       " (6,\n",
       "  '0.075*\"одноклассники_одноклассники\" + 0.042*\"работа_работа\" + 0.030*\"москве\" + 0.030*\"vacancy_vacancy\" + 0.024*\"вакансия_вакансия\" + 0.022*\"компании_компании\" + 0.020*\"вакансий_вакансий\" + 0.019*\"вакансии_вакансии\" + 0.017*\"персонала_персонала\" + 0.016*\"публикация_публикация\"'),\n",
       " (7,\n",
       "  '0.147*\"embed\" + 0.123*\"смотреть\" + 0.072*\"бесплатно\" + 0.038*\"сезон_сезон\" + 0.035*\"серия_серия\" + 0.031*\"качестве_качестве\" + 0.030*\"хорошем_хорошем\" + 0.021*\"сериал_сериал\" + 0.018*\"video_video\" + 0.016*\"program_program\"'),\n",
       " (8,\n",
       "  '0.012*\"новости\" + 0.010*\"россии\" + 0.008*\"фото_фото\" + 0.005*\"яплакалъ_яплакалъ\" + 0.004*\"society_society\" + 0.004*\"детей_детей\" + 0.004*\"story_story\" + 0.004*\"рублей_рублей\" + 0.004*\"вашем_вашем\" + 0.004*\"amp_amp\"'),\n",
       " (9,\n",
       "  '0.033*\"россии\" + 0.031*\"football_football\" + 0.030*\"футбол_футбол\" + 0.025*\"новости\" + 0.024*\"спорт_спорт\" + 0.020*\"чемпионат_чемпионат\" + 0.020*\"хоккей_хоккей\" + 0.019*\"match_match\" + 0.019*\"бокс_бокс\" + 0.019*\"баскетбол_баскетбол\"'),\n",
       " (10,\n",
       "  '0.361*\"новости\" + 0.091*\"мессенджер_мессенджер\" + 0.066*\"игры_игры\" + 0.046*\"формула_формула\" + 0.033*\"сообщества_сообщества\" + 0.026*\"видео_видео\" + 0.026*\"добро_добро\" + 0.026*\"пожаловать_пожаловать\" + 0.019*\"фотографии_фотографии\" + 0.014*\"фотографий_фотографий\"'),\n",
       " (11,\n",
       "  '0.085*\"расписание_расписание\" + 0.047*\"rasp_rasp\" + 0.047*\"билетов_билетов\" + 0.039*\"цена_цена\" + 0.039*\"стоимость_стоимость\" + 0.036*\"электричек_электричек\" + 0.034*\"проезда_проезда\" + 0.032*\"изменениями_изменениями\" + 0.026*\"поездов_поездов\" + 0.024*\"москва_москва\"'),\n",
       " (12,\n",
       "  '0.132*\"ставки_ставки\" + 0.063*\"спорт_спорт\" + 0.061*\"лига_лига\" + 0.057*\"букмекерская_букмекерская\" + 0.057*\"компания_компания\" + 0.055*\"ставок_ставок\" + 0.049*\"live_live\" + 0.045*\"bets_bets\" + 0.039*\"success_success\" + 0.031*\"конторы_конторы\"'),\n",
       " (13,\n",
       "  '0.067*\"купить\" + 0.050*\"столото_столото\" + 0.045*\"private_private\" + 0.038*\"билет_билет\" + 0.038*\"game_game\" + 0.036*\"лотереи_лотереи\" + 0.034*\"payment_payment\" + 0.033*\"кошелек_кошелек\" + 0.031*\"играть_играть\" + 0.030*\"официальном_официальном\"'),\n",
       " (14,\n",
       "  '0.102*\"санкт_санкт\" + 0.075*\"знакомства_знакомства\" + 0.066*\"петербурге_петербурге\" + 0.052*\"знакомств_знакомств\" + 0.041*\"love_love\" + 0.039*\"петербург_петербург\" + 0.033*\"rating_rating\" + 0.024*\"spb_spb\" + 0.023*\"znakomstva_znakomstva\" + 0.023*\"сообщения_сообщения\"'),\n",
       " (15,\n",
       "  '0.059*\"класс_класс\" + 0.045*\"гдз_гдз\" + 0.035*\"ответы_ответы\" + 0.033*\"klass_klass\" + 0.027*\"class_class\" + 0.025*\"часть_часть\" + 0.018*\"язык_язык\" + 0.017*\"языку_языку\" + 0.016*\"плеер_плеер\" + 0.015*\"задания_задания\"'),\n",
       " (16,\n",
       "  '0.025*\"смотри_смотри\" + 0.024*\"law_law\" + 0.024*\"личный\" + 0.023*\"document_document\" + 0.021*\"кабинет\" + 0.019*\"облако_облако\" + 0.019*\"вход_вход\" + 0.018*\"public_public\" + 0.014*\"читать_читать\" + 0.012*\"home_home\"'),\n",
       " (17,\n",
       "  '0.077*\"займы\" + 0.066*\"займ\" + 0.050*\"кабинет\" + 0.050*\"личный\" + 0.044*\"карту\" + 0.012*\"срочные_срочные\" + 0.012*\"москве\" + 0.012*\"client_client\" + 0.011*\"микрозаймы_микрозаймы\" + 0.011*\"россии\"'),\n",
       " (18,\n",
       "  '0.061*\"бесплатно\" + 0.035*\"игра_игра\" + 0.030*\"программа_программа\" + 0.030*\"игры_игры\" + 0.023*\"завтра_завтра\" + 0.021*\"неделю_неделю\" + 0.021*\"передач_передач\" + 0.020*\"телепрограмма_телепрограмма\" + 0.019*\"каналы_каналы\" + 0.018*\"полная_полная\"'),\n",
       " (19,\n",
       "  '0.070*\"новости\" + 0.032*\"россии\" + 0.015*\"story_story\" + 0.011*\"москве\" + 0.011*\"society_society\" + 0.006*\"politics_politics\" + 0.006*\"embed\" + 0.006*\"риа_риа\" + 0.005*\"sandbox_sandbox\" + 0.005*\"rossii_rossii\"')]"
      ]
     },
     "execution_count": 54,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "lda_model.print_topics()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "id": "7b96ffcf-0152-4ee8-9cf5-20702d54c022",
   "metadata": {},
   "outputs": [],
   "source": [
    "seq = np.load('data/sequences.npy', allow_pickle=True)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "id": "d5b0b949-a7b3-43ba-b058-469f4405cceb",
   "metadata": {},
   "outputs": [],
   "source": [
    "seq = list(seq)[:20000]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "id": "5f256fc6-2b0e-4644-9dbd-a0862fd512f8",
   "metadata": {},
   "outputs": [],
   "source": [
    "tokens = train.tokens"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "id": "72be7408-9ced-4d9c-a9a0-05f6619fb53e",
   "metadata": {},
   "outputs": [],
   "source": [
    "token_words = []\n",
    "for user in tokens:\n",
    "    users_data = user.split(\" \")\n",
    "    one_user_data = []\n",
    "    #print(users_data)\n",
    "    for i in range(0, len(users_data) - 1, 2):\n",
    "        if (int(users_data[i+1]) <=14) and (int(users_data[i+1]) >= 4):\n",
    "            for k in range(int(users_data[i+1])):\n",
    "                one_user_data.append(users_data[i])\n",
    "            token_words.append(one_user_data)\n",
    "        else:\n",
    "            pass\n",
    "            \n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "id": "9de62bf9-5b58-4d1e-a2b1-9331f9628310",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "1602985"
      ]
     },
     "execution_count": 8,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(token_words)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "a1cc0d4a-ee68-43d4-ba9e-36eea2b2379f",
   "metadata": {},
   "outputs": [],
   "source": [
    "from gensim.models import Word2Vec\n",
    "w2v_tokens = Word2Vec(token_words, vector_size=500, sg=0, window=5, min_count=15)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "03622486-5a10-41b6-a53f-484cb05bb749",
   "metadata": {},
   "outputs": [],
   "source": [
    "def find_vec(X_train):\n",
    "    vec = np.zeros(500)\n",
    "    counter = -1\n",
    "    try:\n",
    "        for i in X_train.split():\n",
    "            counter += 1\n",
    "            if i in words and counter%2 == 0:\n",
    "                #print(i)\n",
    "                vec += w2v.wv.get_vector(i)\n",
    "            else:\n",
    "                pass\n",
    "    except Exception:\n",
    "        print(i)\n",
    "    return vec"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "0c1aba57-4e6b-474f-9914-183a29a1d52a",
   "metadata": {},
   "outputs": [],
   "source": [
    "vec_tokens = train['tokens'][:20000].dropna().apply(find_vec)\n",
    "print(vec.head())\n",
    "#title_data = pd.DataFrame.from_records(title_vec.values, index = title_vec.index)\n",
    "vec_tokens_data = pd.DataFrame.from_records(vec_tokens.values, index = vec_tokens.index)\n",
    "#res = pd.concat([X_train, title_data], axis = 1, sort = False)\n",
    "res_tokens = pd.concat([train, vec_tokens_data], axis = 1, sort = False)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "id": "4e9bea2e-404e-45c7-b57b-0323f10e8e00",
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "/home/jupyter-admin/.local/lib/python3.9/site-packages/gensim/similarities/__init__.py:15: UserWarning: The gensim.similarities.levenshtein submodule is disabled, because the optional Levenshtein package <https://pypi.org/project/python-Levenshtein/> is unavailable. Install Levenhstein (e.g. `pip install python-Levenshtein`) to suppress this warning.\n",
      "  warnings.warn(msg)\n"
     ]
    }
   ],
   "source": [
    "\n",
    "#нам нужна колонка со списком оставшихся слов без букв\n",
    "#seq_text = [sent.split() for sent in seq]\n",
    "#print(matrix_text)\n",
    "#CBOW is used when sg=0\n",
    "w2v = Word2Vec(seq[:20000], vector_size=500, sg=0, window=5)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "id": "c1894b0e-0397-4bf4-bf5f-0f263908027d",
   "metadata": {},
   "outputs": [],
   "source": [
    "words = list(w2v.wv.index_to_key)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "id": "c7868c64-b697-48da-9977-1a8152adb378",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "6644"
      ]
     },
     "execution_count": 11,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(words)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "id": "558934bf-87dd-402e-9033-53c3341f6a7b",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "0    [0.4349914025515318, 1.5845880657434464, 2.513...\n",
      "1    [4.150917867722455, 8.687634985893965, 11.5403...\n",
      "2    [1.1232379330322146, 2.3567246943712234, 3.774...\n",
      "3    [0.8240354621666484, 3.4220511093735695, 4.030...\n",
      "4    [13.003102393777226, 10.65344627131708, 21.212...\n",
      "Name: urls_hashed, dtype: object\n"
     ]
    }
   ],
   "source": [
    "vec_hashes = train['urls_hashed'][:20000].dropna().apply(find_vec)\n",
    "print(vec.head())\n",
    "#title_data = pd.DataFrame.from_records(title_vec.values, index = title_vec.index)\n",
    "vec_hashes_data = pd.DataFrame.from_records(vec_hashes.values, index = vec_hashes.index)\n",
    "#res = pd.concat([X_train, title_data], axis = 1, sort = False)\n",
    "res_hashes = pd.concat([train, vec_hashes_data], axis = 1, sort = False)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "id": "ef5ed31b-b2ee-470a-a01e-92f45d185629",
   "metadata": {},
   "outputs": [
    {
     "ename": "NameError",
     "evalue": "name 'res2' is not defined",
     "output_type": "error",
     "traceback": [
      "\u001b[0;31m---------------------------------------------------------------------------\u001b[0m",
      "\u001b[0;31mNameError\u001b[0m                                 Traceback (most recent call last)",
      "Input \u001b[0;32mIn [1]\u001b[0m, in \u001b[0;36m<cell line: 1>\u001b[0;34m()\u001b[0m\n\u001b[0;32m----> 1\u001b[0m \u001b[43mres2\u001b[49m\n",
      "\u001b[0;31mNameError\u001b[0m: name 'res2' is not defined"
     ]
    }
   ],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "id": "9f63b8dd-0337-4128-8f2d-bfb70acd081a",
   "metadata": {},
   "outputs": [],
   "source": [
    "res2[:20000].drop(columns=['tokens', 'urls_hashed']).to_csv('data/df_with_seq.csv')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 25,
   "id": "ec8611c3-9eaf-4d68-bc65-b720e48db93c",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "15000    38f727b363acaf5da8d07ac1d0f78a1d 1 aee71c8d18d...\n",
       "15001    b03e2ea2c39ee4ab8a9fdfe1a138988d 1 7f30e505bf8...\n",
       "15002    aee71c8d18d6b91b36bf599208a91777 1 0be9a879c36...\n",
       "15003    83e85bee0d81c0e9e5047e202cddf534 1 c8abbde9b65...\n",
       "15004    5d24dd09d5e197da92f84c154ccbdd62 1 aee71c8d18d...\n",
       "                               ...                        \n",
       "19995    9111377e394acb4f5ec7ef1991fb28b5 1 89eed7fb016...\n",
       "19996    99be73cd2a77189126ff02119a897ba7 1 cd4192c564c...\n",
       "19997    4aafb7e452abfdab09c834eceffc4aff 3 d8877075c35...\n",
       "19998    0e989f11b85cbae272b0d509f19949ce 1 a09034648a7...\n",
       "19999    b58d1eb5070747f7e7bf3733b97389bc 1 aee71c8d18d...\n",
       "Name: urls_hashed, Length: 5000, dtype: object"
      ]
     },
     "execution_count": 25,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "train['urls_hashed'][15000:20000]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "id": "e875891b-1d3d-4eaa-bdf1-bb7353de3024",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "0        7bbcc146c0ba4df814701ff7297b2205 1 ee0d49cbc99...\n",
       "1        1889e0cbd3e343e9521a07aa312257ac 2 8253d8d3a67...\n",
       "2        6e617b4bfdbef85d8b09ec08ac72f0f2 1 94309f5f116...\n",
       "3        1e833434273e04ba76cfcfb4b48ad21b 3 aee71c8d18d...\n",
       "4        83e85bee0d81c0e9e5047e202cddf534 3 6e617b4bfdb...\n",
       "                               ...                        \n",
       "19995    9111377e394acb4f5ec7ef1991fb28b5 1 89eed7fb016...\n",
       "19996    99be73cd2a77189126ff02119a897ba7 1 cd4192c564c...\n",
       "19997    4aafb7e452abfdab09c834eceffc4aff 3 d8877075c35...\n",
       "19998    0e989f11b85cbae272b0d509f19949ce 1 a09034648a7...\n",
       "19999    b58d1eb5070747f7e7bf3733b97389bc 1 aee71c8d18d...\n",
       "Name: urls_hashed, Length: 19964, dtype: object"
      ]
     },
     "execution_count": 21,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "train['urls_hashed'][:20000].dropna()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "3721f382-f2c5-4b2e-9bfd-bb00dd51c845",
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.9.7"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}