01.pre-processing_references.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "source": [
    "# 1.6 - 1.7. Mô tả và đánh giá dữ liệu & Tiền xử lí dữ liệu"
   ],
   "metadata": {}
  },
  {
   "cell_type": "markdown",
   "source": [
    "* Load toàn bộ review vào một dataframe duy nhất."
   ],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "source": [
    "%load_ext autoreload\n",
    "%autoreload 2"
   ],
   "outputs": [
    {
     "output_type": "stream",
     "name": "stdout",
     "text": [
      "The autoreload extension is already loaded. To reload it, use:\n",
      "  %reload_ext autoreload\n"
     ]
    }
   ],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "source": [
    "import modules.utils as Utils\n",
    "import modules.processor as Processor\n",
    "import numpy as np\n",
    "import pandas as pd\n",
    "import enchant\n",
    "import random\n",
    "\n",
    "from sklearn.utils import shuffle"
   ],
   "outputs": [],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "source": [
    "# Lấy tất cả các directory path của các lần ta tiến hành crawl data\n",
    "dir_paths = Utils.getAllFolderPath(\"./data/product_reviews/\")\n",
    "\n",
    "dir_paths"
   ],
   "outputs": [
    {
     "output_type": "execute_result",
     "data": {
      "text/plain": [
       "['./data/product_reviews/product_reviews_01/',\n",
       " './data/product_reviews/product_reviews_02/',\n",
       " './data/product_reviews/product_reviews_03/',\n",
       " './data/product_reviews/product_reviews_00/']"
      ]
     },
     "metadata": {},
     "execution_count": 9
    }
   ],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "source": [
    "# Đọc toàn bộ các review từ các file csv\n",
    "reviews = Utils.readReviews(dir_paths)"
   ],
   "outputs": [],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "source": [
    "reviews.head()"
   ],
   "outputs": [
    {
     "output_type": "execute_result",
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>raw_comment</th>\n",
       "      <th>rating</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>Khung hình - Nơi lưu giữ những khoảnh khắc cuộ...</td>\n",
       "      <td>5</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>✔Đẹp xuất sắc chưa nè💐🌺🍀\\n❗Em váy đũi xanh xoắ...</td>\n",
       "      <td>5</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>Giao hàng kh đúng cần phê bình hjjjjjhhdjdjdjd...</td>\n",
       "      <td>3</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>Đồng hồ rất đẹp\\nNhưng hơi dài xíu..........sn...</td>\n",
       "      <td>5</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>Mọi lần mua rất ưng ý \\nNhưng lần này cái chốt...</td>\n",
       "      <td>5</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                         raw_comment rating\n",
       "0  Khung hình - Nơi lưu giữ những khoảnh khắc cuộ...      5\n",
       "1  ✔Đẹp xuất sắc chưa nè💐🌺🍀\\n❗Em váy đũi xanh xoắ...      5\n",
       "2  Giao hàng kh đúng cần phê bình hjjjjjhhdjdjdjd...      3\n",
       "3  Đồng hồ rất đẹp\\nNhưng hơi dài xíu..........sn...      5\n",
       "4  Mọi lần mua rất ưng ý \\nNhưng lần này cái chốt...      5"
      ]
     },
     "metadata": {},
     "execution_count": 11
    }
   ],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "source": [
    "print(\"Tập dữ liệu có {} bình luận.\".format(reviews.shape[0]))"
   ],
   "outputs": [
    {
     "output_type": "stream",
     "name": "stdout",
     "text": [
      "Tập dữ liệu có 278159 bình luận.\n"
     ]
    }
   ],
   "metadata": {}
  },
  {
   "cell_type": "markdown",
   "source": [
    "* Đếm tần số xuất hiện của từng rating."
   ],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "source": [
    "reviews['rating'].value_counts()"
   ],
   "outputs": [
    {
     "output_type": "execute_result",
     "data": {
      "text/plain": [
       "5    260555\n",
       "4      9646\n",
       "3      4194\n",
       "1      2308\n",
       "2      1456\n",
       "Name: rating, dtype: int64"
      ]
     },
     "metadata": {},
     "execution_count": 13
    }
   ],
   "metadata": {}
  },
  {
   "cell_type": "markdown",
   "source": [
    "> **Nhận xét**:\n",
    "> * Nhìn chung tuy ta crawl được hơn 200,000 quan sát nhưng có sự chênh lệch lớn giữa các rating.\n",
    "> * Nhìn qua ta thấy đa phần là các rating được đánh giá 5 sao, điều này cũng dễ hiểu vì hệ thống recommend của Shopee sẽ ưu tiên gợi ý cho khách hàng những sản phẩm có đánh giá tốt. Và sẽ hạn chế hoặc thậm chí là ko gợi ý các mặc hàng bị đánh giá kém. Nên với địa vị là người đi trộm dữ liệu như chúng ta thì ko có cách nào khắc phục điều này.\n",
    "> * Bây giờ, do ta cần chi ra hai lớp là negative và positive nên những comment mà `rating` $\\geq 4$ sẽ được cho vào nhóm positive, ngược lại là nhóm negative. "
   ],
   "metadata": {}
  },
  {
   "cell_type": "markdown",
   "source": [
    "* Tiến hành label cho `reviews` với các giá `rating` $< 4$ sẽ thuộc nhóm negative còn lại là nhóm positive."
   ],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "source": [
    "reviews = Utils.labelRating(reviews)"
   ],
   "outputs": [],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "source": [
    "reviews.head()"
   ],
   "outputs": [
    {
     "output_type": "execute_result",
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>raw_comment</th>\n",
       "      <th>rating</th>\n",
       "      <th>label</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>Khung hình - Nơi lưu giữ những khoảnh khắc cuộ...</td>\n",
       "      <td>5</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>✔Đẹp xuất sắc chưa nè💐🌺🍀\\n❗Em váy đũi xanh xoắ...</td>\n",
       "      <td>5</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>Giao hàng kh đúng cần phê bình hjjjjjhhdjdjdjd...</td>\n",
       "      <td>3</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>Đồng hồ rất đẹp\\nNhưng hơi dài xíu..........sn...</td>\n",
       "      <td>5</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>Mọi lần mua rất ưng ý \\nNhưng lần này cái chốt...</td>\n",
       "      <td>5</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                         raw_comment rating  label\n",
       "0  Khung hình - Nơi lưu giữ những khoảnh khắc cuộ...      5      1\n",
       "1  ✔Đẹp xuất sắc chưa nè💐🌺🍀\\n❗Em váy đũi xanh xoắ...      5      1\n",
       "2  Giao hàng kh đúng cần phê bình hjjjjjhhdjdjdjd...      3      0\n",
       "3  Đồng hồ rất đẹp\\nNhưng hơi dài xíu..........sn...      5      1\n",
       "4  Mọi lần mua rất ưng ý \\nNhưng lần này cái chốt...      5      1"
      ]
     },
     "metadata": {},
     "execution_count": 15
    }
   ],
   "metadata": {}
  },
  {
   "cell_type": "markdown",
   "source": [
    "* Bây giờ ta sẽ xóa đi feature `rating` vì về sau ta sẽ ko cần dúng đến nó nữa, và tiến hành đếm số lượng quan sát của từng nhóm trên `label`"
   ],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "source": [
    "reviews = reviews.drop(columns=['rating'])\n",
    "\n",
    "Processor.printAfterProcess(reviews)\n",
    "reviews.head()"
   ],
   "outputs": [
    {
     "output_type": "stream",
     "name": "stdout",
     "text": [
      "Shape: (278159, 2)\n",
      "1    270201\n",
      "0      7958\n",
      "Name: label, dtype: int64\n"
     ]
    },
    {
     "output_type": "execute_result",
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>raw_comment</th>\n",
       "      <th>label</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>Khung hình - Nơi lưu giữ những khoảnh khắc cuộ...</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>✔Đẹp xuất sắc chưa nè💐🌺🍀\\n❗Em váy đũi xanh xoắ...</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>Giao hàng kh đúng cần phê bình hjjjjjhhdjdjdjd...</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>Đồng hồ rất đẹp\\nNhưng hơi dài xíu..........sn...</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>Mọi lần mua rất ưng ý \\nNhưng lần này cái chốt...</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                         raw_comment  label\n",
       "0  Khung hình - Nơi lưu giữ những khoảnh khắc cuộ...      1\n",
       "1  ✔Đẹp xuất sắc chưa nè💐🌺🍀\\n❗Em váy đũi xanh xoắ...      1\n",
       "2  Giao hàng kh đúng cần phê bình hjjjjjhhdjdjdjd...      0\n",
       "3  Đồng hồ rất đẹp\\nNhưng hơi dài xíu..........sn...      1\n",
       "4  Mọi lần mua rất ưng ý \\nNhưng lần này cái chốt...      1"
      ]
     },
     "metadata": {},
     "execution_count": 16
    }
   ],
   "metadata": {}
  },
  {
   "cell_type": "markdown",
   "source": [
    "<hr>\n",
    "\n",
    "* Một trong những vấn đề đầu tiên và tối quan trong khi xử lí với dữ liệu văn bản là kiểm tra xem liệu text `a` có cùng cách biểu diễn với text `b` hay không.\n",
    "* Một ví dụ dễ hiểu là giả sử ta có biến `a = 'đẹp'` và biến `b = 'đep'`, nhưng khi ta compare hai biến này `a == b` thì kết quả sẽ ra False, nguyên nhân là do chúng sử dụng mã hóa unicode khác nhau, có thể `a` dùng unicode-8 và `b` dùng unicode-16.\n",
    "* Vậy điều đầu tiên ta cần làm là phải đưa tất cả các text về cùng một **chuẩn** duy nhất, ta có thể làm điều này bằng cách sử dụng `unicodedata.normalize()` từ package chuẩn `unicodedata` của Python. _(tham khảo thêm tại đây [https://www.kite.com/python/docs/unicodedata.normalize](https://www.kite.com/python/docs/unicodedata.normalize))_\n",
    "* Dưới đây là ví dụ cho trường hợp này:"
   ],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "source": [
    "import unicodedata\n",
    "\n",
    "a = 'đẹp, rất hài lòng'\n",
    "b = 'đẹp, rất hài lòng'\n",
    "\n",
    "a == b"
   ],
   "outputs": [
    {
     "output_type": "execute_result",
     "data": {
      "text/plain": [
       "False"
      ]
     },
     "metadata": {},
     "execution_count": 17
    }
   ],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "source": [
    "''' Sử dụng chuẩn NFD '''\n",
    "a = unicodedata.normalize('NFD', a)\n",
    "b = unicodedata.normalize('NFD', b)\n",
    "\n",
    "print(\"String a: {}, Type a: {}\".format(a, type(a)))\n",
    "print(\"String b: {}, Type b: {}\".format(b, type(b)))"
   ],
   "outputs": [
    {
     "output_type": "stream",
     "name": "stdout",
     "text": [
      "String a: đẹp, rất hài lòng, Type a: <class 'str'>\n",
      "String b: đẹp, rất hài lòng, Type b: <class 'str'>\n"
     ]
    }
   ],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "source": [
    "a == b"
   ],
   "outputs": [
    {
     "output_type": "execute_result",
     "data": {
      "text/plain": [
       "True"
      ]
     },
     "metadata": {},
     "execution_count": 19
    }
   ],
   "metadata": {}
  },
  {
   "cell_type": "markdown",
   "source": [
    "* Bây giờ, ta sẽ tạo một feature có tên là `normalize_comment`, trải qua 2 bước:\n",
    "  * `lower()` cho text.\n",
    "  * Chuẩn hóa bằng `unicodedata.normalize()`"
   ],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "source": [
    "reviews['normalize_comment'] = reviews['raw_comment'].apply(lambda cmt: Processor.normalizeComment(cmt))\n",
    "\n",
    "reviews.head()"
   ],
   "outputs": [
    {
     "output_type": "execute_result",
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>raw_comment</th>\n",
       "      <th>label</th>\n",
       "      <th>normalize_comment</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>Khung hình - Nơi lưu giữ những khoảnh khắc cuộ...</td>\n",
       "      <td>1</td>\n",
       "      <td>khung hình - nơi lưu giữ những khoảnh ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>✔Đẹp xuất sắc chưa nè💐🌺🍀\\n❗Em váy đũi xanh xoắ...</td>\n",
       "      <td>1</td>\n",
       "      <td>✔đẹp xuất sắc chưa nè💐🌺🍀\\n❗em váy đũi...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>Giao hàng kh đúng cần phê bình hjjjjjhhdjdjdjd...</td>\n",
       "      <td>0</td>\n",
       "      <td>giao hàng kh đúng cần phê bình hjjjjjhhd...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>Đồng hồ rất đẹp\\nNhưng hơi dài xíu..........sn...</td>\n",
       "      <td>1</td>\n",
       "      <td>đồng hồ rất đẹp\\nnhưng hơi dài xíu....</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>Mọi lần mua rất ưng ý \\nNhưng lần này cái chốt...</td>\n",
       "      <td>1</td>\n",
       "      <td>mọi lần mua rất ưng ý \\nnhưng lần na...</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                         raw_comment  label  \\\n",
       "0  Khung hình - Nơi lưu giữ những khoảnh khắc cuộ...      1   \n",
       "1  ✔Đẹp xuất sắc chưa nè💐🌺🍀\\n❗Em váy đũi xanh xoắ...      1   \n",
       "2  Giao hàng kh đúng cần phê bình hjjjjjhhdjdjdjd...      0   \n",
       "3  Đồng hồ rất đẹp\\nNhưng hơi dài xíu..........sn...      1   \n",
       "4  Mọi lần mua rất ưng ý \\nNhưng lần này cái chốt...      1   \n",
       "\n",
       "                                   normalize_comment  \n",
       "0  khung hình - nơi lưu giữ những khoảnh ...  \n",
       "1  ✔đẹp xuất sắc chưa nè💐🌺🍀\\n❗em váy đũi...  \n",
       "2  giao hàng kh đúng cần phê bình hjjjjjhhd...  \n",
       "3  đồng hồ rất đẹp\\nnhưng hơi dài xíu....  \n",
       "4  mọi lần mua rất ưng ý \\nnhưng lần na...  "
      ]
     },
     "metadata": {},
     "execution_count": 20
    }
   ],
   "metadata": {}
  },
  {
   "cell_type": "markdown",
   "source": [
    "* Ta cũng sẽ chuẩn hóa cho cột `raw_comment` nhưng không `lower()` chúng."
   ],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "source": [
    "reviews['raw_comment'] = reviews['raw_comment'].apply(lambda cmt: Processor.normalizeComment(cmt, False))\n",
    "\n",
    "reviews.head()"
   ],
   "outputs": [
    {
     "output_type": "execute_result",
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>raw_comment</th>\n",
       "      <th>label</th>\n",
       "      <th>normalize_comment</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>Khung hình - Nơi lưu giữ những khoảnh ...</td>\n",
       "      <td>1</td>\n",
       "      <td>khung hình - nơi lưu giữ những khoảnh ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>✔Đẹp xuất sắc chưa nè💐🌺🍀\\n❗Em váy đũi...</td>\n",
       "      <td>1</td>\n",
       "      <td>✔đẹp xuất sắc chưa nè💐🌺🍀\\n❗em váy đũi...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>Giao hàng kh đúng cần phê bình hjjjjjhhd...</td>\n",
       "      <td>0</td>\n",
       "      <td>giao hàng kh đúng cần phê bình hjjjjjhhd...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>Đồng hồ rất đẹp\\nNhưng hơi dài xíu....</td>\n",
       "      <td>1</td>\n",
       "      <td>đồng hồ rất đẹp\\nnhưng hơi dài xíu....</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>Mọi lần mua rất ưng ý \\nNhưng lần na...</td>\n",
       "      <td>1</td>\n",
       "      <td>mọi lần mua rất ưng ý \\nnhưng lần na...</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                         raw_comment  label  \\\n",
       "0  Khung hình - Nơi lưu giữ những khoảnh ...      1   \n",
       "1  ✔Đẹp xuất sắc chưa nè💐🌺🍀\\n❗Em váy đũi...      1   \n",
       "2  Giao hàng kh đúng cần phê bình hjjjjjhhd...      0   \n",
       "3  Đồng hồ rất đẹp\\nNhưng hơi dài xíu....      1   \n",
       "4  Mọi lần mua rất ưng ý \\nNhưng lần na...      1   \n",
       "\n",
       "                                   normalize_comment  \n",
       "0  khung hình - nơi lưu giữ những khoảnh ...  \n",
       "1  ✔đẹp xuất sắc chưa nè💐🌺🍀\\n❗em váy đũi...  \n",
       "2  giao hàng kh đúng cần phê bình hjjjjjhhd...  \n",
       "3  đồng hồ rất đẹp\\nnhưng hơi dài xíu....  \n",
       "4  mọi lần mua rất ưng ý \\nnhưng lần na...  "
      ]
     },
     "metadata": {},
     "execution_count": 21
    }
   ],
   "metadata": {}
  },
  {
   "cell_type": "markdown",
   "source": [
    "<hr>\n",
    "\n",
    "* Chúng ta biết rằng, các comment của các sản phẩm đôi khi sẽ chứa các URL do người bán hàng chèn vào để giúp khách hàng có thể click vào để xem các mặt hàng khác, chúng là các noise sample mà ta cần phải loại bỏ khỏi dataset của chúng ta.\n",
    "* Hình dưới đây là kết quả cho ra khi ta thử search cụm từ `http` thì nó cho ra hơn 600 mẫu dữ liệu chứa URL. Ta cần loại bỏ các mẫu này.<br>\n",
    "  ![](./images/04.png)"
   ],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 22,
   "source": [
    "reviews['contain_url'] = reviews['normalize_comment'].apply(lambda cmt: Processor.containsURL(cmt))\n",
    "\n",
    "Processor.printAfterProcess(reviews, 'contain_url')\n",
    "reviews.head()"
   ],
   "outputs": [
    {
     "output_type": "stream",
     "name": "stdout",
     "text": [
      "Shape: (278159, 4)\n",
      "0    277589\n",
      "1       570\n",
      "Name: contain_url, dtype: int64\n"
     ]
    },
    {
     "output_type": "execute_result",
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>raw_comment</th>\n",
       "      <th>label</th>\n",
       "      <th>normalize_comment</th>\n",
       "      <th>contain_url</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>Khung hình - Nơi lưu giữ những khoảnh ...</td>\n",
       "      <td>1</td>\n",
       "      <td>khung hình - nơi lưu giữ những khoảnh ...</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>✔Đẹp xuất sắc chưa nè💐🌺🍀\\n❗Em váy đũi...</td>\n",
       "      <td>1</td>\n",
       "      <td>✔đẹp xuất sắc chưa nè💐🌺🍀\\n❗em váy đũi...</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>Giao hàng kh đúng cần phê bình hjjjjjhhd...</td>\n",
       "      <td>0</td>\n",
       "      <td>giao hàng kh đúng cần phê bình hjjjjjhhd...</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>Đồng hồ rất đẹp\\nNhưng hơi dài xíu....</td>\n",
       "      <td>1</td>\n",
       "      <td>đồng hồ rất đẹp\\nnhưng hơi dài xíu....</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>Mọi lần mua rất ưng ý \\nNhưng lần na...</td>\n",
       "      <td>1</td>\n",
       "      <td>mọi lần mua rất ưng ý \\nnhưng lần na...</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                         raw_comment  label  \\\n",
       "0  Khung hình - Nơi lưu giữ những khoảnh ...      1   \n",
       "1  ✔Đẹp xuất sắc chưa nè💐🌺🍀\\n❗Em váy đũi...      1   \n",
       "2  Giao hàng kh đúng cần phê bình hjjjjjhhd...      0   \n",
       "3  Đồng hồ rất đẹp\\nNhưng hơi dài xíu....      1   \n",
       "4  Mọi lần mua rất ưng ý \\nNhưng lần na...      1   \n",
       "\n",
       "                                   normalize_comment  contain_url  \n",
       "0  khung hình - nơi lưu giữ những khoảnh ...            0  \n",
       "1  ✔đẹp xuất sắc chưa nè💐🌺🍀\\n❗em váy đũi...            0  \n",
       "2  giao hàng kh đúng cần phê bình hjjjjjhhd...            0  \n",
       "3  đồng hồ rất đẹp\\nnhưng hơi dài xíu....            0  \n",
       "4  mọi lần mua rất ưng ý \\nnhưng lần na...            0  "
      ]
     },
     "metadata": {},
     "execution_count": 22
    }
   ],
   "metadata": {}
  },
  {
   "cell_type": "markdown",
   "source": [
    "* Bây giờ chúng ta chỉ sẽ lấy các comment mà không chứa URL"
   ],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 23,
   "source": [
    "reviews = reviews[reviews['contain_url'] == 0]\n",
    "reviews = reviews.drop(columns=['contain_url']).reset_index(drop=True) # xóa cột `contain_url`\n",
    "\n",
    "Processor.printAfterProcess(reviews)\n",
    "reviews.head()"
   ],
   "outputs": [
    {
     "output_type": "stream",
     "name": "stdout",
     "text": [
      "Shape: (277589, 3)\n",
      "1    269633\n",
      "0      7956\n",
      "Name: label, dtype: int64\n"
     ]
    },
    {
     "output_type": "execute_result",
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>raw_comment</th>\n",
       "      <th>label</th>\n",
       "      <th>normalize_comment</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>Khung hình - Nơi lưu giữ những khoảnh ...</td>\n",
       "      <td>1</td>\n",
       "      <td>khung hình - nơi lưu giữ những khoảnh ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>✔Đẹp xuất sắc chưa nè💐🌺🍀\\n❗Em váy đũi...</td>\n",
       "      <td>1</td>\n",
       "      <td>✔đẹp xuất sắc chưa nè💐🌺🍀\\n❗em váy đũi...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>Giao hàng kh đúng cần phê bình hjjjjjhhd...</td>\n",
       "      <td>0</td>\n",
       "      <td>giao hàng kh đúng cần phê bình hjjjjjhhd...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>Đồng hồ rất đẹp\\nNhưng hơi dài xíu....</td>\n",
       "      <td>1</td>\n",
       "      <td>đồng hồ rất đẹp\\nnhưng hơi dài xíu....</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>Mọi lần mua rất ưng ý \\nNhưng lần na...</td>\n",
       "      <td>1</td>\n",
       "      <td>mọi lần mua rất ưng ý \\nnhưng lần na...</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                         raw_comment  label  \\\n",
       "0  Khung hình - Nơi lưu giữ những khoảnh ...      1   \n",
       "1  ✔Đẹp xuất sắc chưa nè💐🌺🍀\\n❗Em váy đũi...      1   \n",
       "2  Giao hàng kh đúng cần phê bình hjjjjjhhd...      0   \n",
       "3  Đồng hồ rất đẹp\\nNhưng hơi dài xíu....      1   \n",
       "4  Mọi lần mua rất ưng ý \\nNhưng lần na...      1   \n",
       "\n",
       "                                   normalize_comment  \n",
       "0  khung hình - nơi lưu giữ những khoảnh ...  \n",
       "1  ✔đẹp xuất sắc chưa nè💐🌺🍀\\n❗em váy đũi...  \n",
       "2  giao hàng kh đúng cần phê bình hjjjjjhhd...  \n",
       "3  đồng hồ rất đẹp\\nnhưng hơi dài xíu....  \n",
       "4  mọi lần mua rất ưng ý \\nnhưng lần na...  "
      ]
     },
     "metadata": {},
     "execution_count": 23
    }
   ],
   "metadata": {}
  },
  {
   "cell_type": "markdown",
   "source": [
    "> **Nhận xét**\n",
    "> * Đa phần là các bình luận thuộc nhóm positive sẽ chứa các URL, cũng dễ hiểu vì họ quảng cáo mà 😅."
   ],
   "metadata": {}
  },
  {
   "cell_type": "markdown",
   "source": [
    "<hr>\n",
    "\n",
    "* Tiếp theo, ta cũng cần xóa các comment mà chữ IN HOA chiếm quá 50% độ dài comment, các comment này khả năng cao cũng là quảng cáo, vì người bán họ muốn làm nổi bật bình luận này lên so với các bình luận còn lại."
   ],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 24,
   "source": [
    "reviews['contain_adv'] = reviews['raw_comment'].apply(lambda cmt: Processor.containAdvertisement(cmt))\n",
    "\n",
    "Processor.printAfterProcess(reviews, 'contain_adv')\n",
    "reviews.head()"
   ],
   "outputs": [
    {
     "output_type": "stream",
     "name": "stdout",
     "text": [
      "Shape: (277589, 4)\n",
      "False    270936\n",
      "True       6653\n",
      "Name: contain_adv, dtype: int64\n"
     ]
    },
    {
     "output_type": "execute_result",
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>raw_comment</th>\n",
       "      <th>label</th>\n",
       "      <th>normalize_comment</th>\n",
       "      <th>contain_adv</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>Khung hình - Nơi lưu giữ những khoảnh ...</td>\n",
       "      <td>1</td>\n",
       "      <td>khung hình - nơi lưu giữ những khoảnh ...</td>\n",
       "      <td>False</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>✔Đẹp xuất sắc chưa nè💐🌺🍀\\n❗Em váy đũi...</td>\n",
       "      <td>1</td>\n",
       "      <td>✔đẹp xuất sắc chưa nè💐🌺🍀\\n❗em váy đũi...</td>\n",
       "      <td>False</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>Giao hàng kh đúng cần phê bình hjjjjjhhd...</td>\n",
       "      <td>0</td>\n",
       "      <td>giao hàng kh đúng cần phê bình hjjjjjhhd...</td>\n",
       "      <td>False</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>Đồng hồ rất đẹp\\nNhưng hơi dài xíu....</td>\n",
       "      <td>1</td>\n",
       "      <td>đồng hồ rất đẹp\\nnhưng hơi dài xíu....</td>\n",
       "      <td>False</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>Mọi lần mua rất ưng ý \\nNhưng lần na...</td>\n",
       "      <td>1</td>\n",
       "      <td>mọi lần mua rất ưng ý \\nnhưng lần na...</td>\n",
       "      <td>False</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                         raw_comment  label  \\\n",
       "0  Khung hình - Nơi lưu giữ những khoảnh ...      1   \n",
       "1  ✔Đẹp xuất sắc chưa nè💐🌺🍀\\n❗Em váy đũi...      1   \n",
       "2  Giao hàng kh đúng cần phê bình hjjjjjhhd...      0   \n",
       "3  Đồng hồ rất đẹp\\nNhưng hơi dài xíu....      1   \n",
       "4  Mọi lần mua rất ưng ý \\nNhưng lần na...      1   \n",
       "\n",
       "                                   normalize_comment  contain_adv  \n",
       "0  khung hình - nơi lưu giữ những khoảnh ...        False  \n",
       "1  ✔đẹp xuất sắc chưa nè💐🌺🍀\\n❗em váy đũi...        False  \n",
       "2  giao hàng kh đúng cần phê bình hjjjjjhhd...        False  \n",
       "3  đồng hồ rất đẹp\\nnhưng hơi dài xíu....        False  \n",
       "4  mọi lần mua rất ưng ý \\nnhưng lần na...        False  "
      ]
     },
     "metadata": {},
     "execution_count": 24
    }
   ],
   "metadata": {}
  },
  {
   "cell_type": "markdown",
   "source": [
    "> **Nhận xét**\n",
    "> * Các mẫu tìm năng chứa quảng cáo khá cao, lên đến hơn 3000 sample. Ta có thể xóa chúng."
   ],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 25,
   "source": [
    "reviews = reviews[reviews['contain_adv'] == 0]\n",
    "reviews = reviews.drop(columns=['contain_adv']).reset_index(drop=True) # xóa cột `contain_adv`\n",
    "\n",
    "Processor.printAfterProcess(reviews)\n",
    "reviews.head()"
   ],
   "outputs": [
    {
     "output_type": "stream",
     "name": "stdout",
     "text": [
      "Shape: (270936, 3)\n",
      "1    263084\n",
      "0      7852\n",
      "Name: label, dtype: int64\n"
     ]
    },
    {
     "output_type": "execute_result",
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>raw_comment</th>\n",
       "      <th>label</th>\n",
       "      <th>normalize_comment</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>Khung hình - Nơi lưu giữ những khoảnh ...</td>\n",
       "      <td>1</td>\n",
       "      <td>khung hình - nơi lưu giữ những khoảnh ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>✔Đẹp xuất sắc chưa nè💐🌺🍀\\n❗Em váy đũi...</td>\n",
       "      <td>1</td>\n",
       "      <td>✔đẹp xuất sắc chưa nè💐🌺🍀\\n❗em váy đũi...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>Giao hàng kh đúng cần phê bình hjjjjjhhd...</td>\n",
       "      <td>0</td>\n",
       "      <td>giao hàng kh đúng cần phê bình hjjjjjhhd...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>Đồng hồ rất đẹp\\nNhưng hơi dài xíu....</td>\n",
       "      <td>1</td>\n",
       "      <td>đồng hồ rất đẹp\\nnhưng hơi dài xíu....</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>Mọi lần mua rất ưng ý \\nNhưng lần na...</td>\n",
       "      <td>1</td>\n",
       "      <td>mọi lần mua rất ưng ý \\nnhưng lần na...</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                         raw_comment  label  \\\n",
       "0  Khung hình - Nơi lưu giữ những khoảnh ...      1   \n",
       "1  ✔Đẹp xuất sắc chưa nè💐🌺🍀\\n❗Em váy đũi...      1   \n",
       "2  Giao hàng kh đúng cần phê bình hjjjjjhhd...      0   \n",
       "3  Đồng hồ rất đẹp\\nNhưng hơi dài xíu....      1   \n",
       "4  Mọi lần mua rất ưng ý \\nNhưng lần na...      1   \n",
       "\n",
       "                                   normalize_comment  \n",
       "0  khung hình - nơi lưu giữ những khoảnh ...  \n",
       "1  ✔đẹp xuất sắc chưa nè💐🌺🍀\\n❗em váy đũi...  \n",
       "2  giao hàng kh đúng cần phê bình hjjjjjhhd...  \n",
       "3  đồng hồ rất đẹp\\nnhưng hơi dài xíu....  \n",
       "4  mọi lần mua rất ưng ý \\nnhưng lần na...  "
      ]
     },
     "metadata": {},
     "execution_count": 25
    }
   ],
   "metadata": {}
  },
  {
   "cell_type": "markdown",
   "source": [
    "> **Nhận xét**\n",
    "> * Lại một lần nữa các comment có khả năng cao là quảng cáo này lại đa phần là thuộc nhóm positive."
   ],
   "metadata": {}
  },
  {
   "cell_type": "markdown",
   "source": [
    "<hr>\n",
    "\n",
    "* Nhìn qua các comment, ta sẽ thấy có các comment chứa emoji như hình dưới đây:<br>\n",
    "  ![](./images/05.png)\n",
    "\n",
    "* Đây là \"vốn quý\" góp phần làm tăng sức mạnh cho model, nếu ta thực hiện bước loại bỏ các kí tự đặc biệt trước khi ta tách các emoji ra, thì ta đã vô tình xóa luôn các emoji này, vì các emoji thực chất được xây dựng dựa trên các kí tự đặc biệt.\n",
    "* Như hình trên, rõ ràng ta thấy được emoji góp phần ta hiểu được một comment là positive hay negative.\n",
    "* Ta sẽ sử dụng một gói của python là `emojis`:\n",
    "  ```shell\n",
    "  pip3 install emojis\n",
    "  ```\n",
    "  gói này sẽ giúp ta tách các emoji ra khỏi bình luận.\n",
    "* Ta sẽ chứa toàn bộ emoji của một comment qua cột tương ứng là `emoji`"
   ],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 26,
   "source": [
    "reviews['emoji'] = reviews['raw_comment'].apply(lambda cmt: Processor.extractEmoji(cmt))\n",
    "\n",
    "reviews.head()"
   ],
   "outputs": [
    {
     "output_type": "execute_result",
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>raw_comment</th>\n",
       "      <th>label</th>\n",
       "      <th>normalize_comment</th>\n",
       "      <th>emoji</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>Khung hình - Nơi lưu giữ những khoảnh ...</td>\n",
       "      <td>1</td>\n",
       "      <td>khung hình - nơi lưu giữ những khoảnh ...</td>\n",
       "      <td></td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>✔Đẹp xuất sắc chưa nè💐🌺🍀\\n❗Em váy đũi...</td>\n",
       "      <td>1</td>\n",
       "      <td>✔đẹp xuất sắc chưa nè💐🌺🍀\\n❗em váy đũi...</td>\n",
       "      <td>❗ 💐 🔜 🌺 🌷 🍀</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>Giao hàng kh đúng cần phê bình hjjjjjhhd...</td>\n",
       "      <td>0</td>\n",
       "      <td>giao hàng kh đúng cần phê bình hjjjjjhhd...</td>\n",
       "      <td></td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>Đồng hồ rất đẹp\\nNhưng hơi dài xíu....</td>\n",
       "      <td>1</td>\n",
       "      <td>đồng hồ rất đẹp\\nnhưng hơi dài xíu....</td>\n",
       "      <td></td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>Mọi lần mua rất ưng ý \\nNhưng lần na...</td>\n",
       "      <td>1</td>\n",
       "      <td>mọi lần mua rất ưng ý \\nnhưng lần na...</td>\n",
       "      <td></td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                         raw_comment  label  \\\n",
       "0  Khung hình - Nơi lưu giữ những khoảnh ...      1   \n",
       "1  ✔Đẹp xuất sắc chưa nè💐🌺🍀\\n❗Em váy đũi...      1   \n",
       "2  Giao hàng kh đúng cần phê bình hjjjjjhhd...      0   \n",
       "3  Đồng hồ rất đẹp\\nNhưng hơi dài xíu....      1   \n",
       "4  Mọi lần mua rất ưng ý \\nNhưng lần na...      1   \n",
       "\n",
       "                                   normalize_comment        emoji  \n",
       "0  khung hình - nơi lưu giữ những khoảnh ...               \n",
       "1  ✔đẹp xuất sắc chưa nè💐🌺🍀\\n❗em váy đũi...  ❗ 💐 🔜 🌺 🌷 🍀  \n",
       "2  giao hàng kh đúng cần phê bình hjjjjjhhd...               \n",
       "3  đồng hồ rất đẹp\\nnhưng hơi dài xíu....               \n",
       "4  mọi lần mua rất ưng ý \\nnhưng lần na...               "
      ]
     },
     "metadata": {},
     "execution_count": 26
    }
   ],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 27,
   "source": [
    "\",\".join(reviews['emoji'])[:200]"
   ],
   "outputs": [
    {
     "output_type": "execute_result",
     "data": {
      "text/plain": [
       "',❗ 💐 🔜 🌺 🌷 🍀,,,,👍 👉,,,,,,\\U0001f970,,,,,,,❤️,❤️ 😍,,,,,,,,😍 😦,,,,,,,,,,,🤣,,,,,,,😔 😁 😊 😍,,,,,,,\\U0001f970,,,,😭,,,,,,,,,,,♀️ ❤️ 🙆,,,,,,😿,,,,😢,,,,,,,,,,😍,,,,,,,,,,,\\U0001f970,,,😅,,,,,,,,,,,,,,,😍,,,,,,🍀,,,,,,,,,,,,,,,,,,😂,,,,,,,,,,,'"
      ]
     },
     "metadata": {},
     "execution_count": 27
    }
   ],
   "metadata": {}
  },
  {
   "cell_type": "markdown",
   "source": [
    "<hr>\n",
    "\n",
    "* Tiếp theo, ta sẽ loại bỏ dấu câu, kí tự đặc biệt"
   ],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 28,
   "source": [
    "reviews['normalize_comment'] = reviews['normalize_comment'].apply(lambda cmt: Processor.removeSpecialLetters(cmt.lower()))\n",
    "\n",
    "reviews.head()"
   ],
   "outputs": [
    {
     "output_type": "execute_result",
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>raw_comment</th>\n",
       "      <th>label</th>\n",
       "      <th>normalize_comment</th>\n",
       "      <th>emoji</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>Khung hình - Nơi lưu giữ những khoảnh ...</td>\n",
       "      <td>1</td>\n",
       "      <td>khung hình nơi lưu giữ những khoảnh kh...</td>\n",
       "      <td></td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>✔Đẹp xuất sắc chưa nè💐🌺🍀\\n❗Em váy đũi...</td>\n",
       "      <td>1</td>\n",
       "      <td>đẹp xuất sắc chưa nè em váy đũi xanh ...</td>\n",
       "      <td>❗ 💐 🔜 🌺 🌷 🍀</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>Giao hàng kh đúng cần phê bình hjjjjjhhd...</td>\n",
       "      <td>0</td>\n",
       "      <td>giao hàng kh đúng cần phê bình hjjjjjhhd...</td>\n",
       "      <td></td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>Đồng hồ rất đẹp\\nNhưng hơi dài xíu....</td>\n",
       "      <td>1</td>\n",
       "      <td>đồng hồ rất đẹp nhưng hơi dài xíu s...</td>\n",
       "      <td></td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>Mọi lần mua rất ưng ý \\nNhưng lần na...</td>\n",
       "      <td>1</td>\n",
       "      <td>mọi lần mua rất ưng ý nhưng lần này...</td>\n",
       "      <td></td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                         raw_comment  label  \\\n",
       "0  Khung hình - Nơi lưu giữ những khoảnh ...      1   \n",
       "1  ✔Đẹp xuất sắc chưa nè💐🌺🍀\\n❗Em váy đũi...      1   \n",
       "2  Giao hàng kh đúng cần phê bình hjjjjjhhd...      0   \n",
       "3  Đồng hồ rất đẹp\\nNhưng hơi dài xíu....      1   \n",
       "4  Mọi lần mua rất ưng ý \\nNhưng lần na...      1   \n",
       "\n",
       "                                   normalize_comment        emoji  \n",
       "0  khung hình nơi lưu giữ những khoảnh kh...               \n",
       "1  đẹp xuất sắc chưa nè em váy đũi xanh ...  ❗ 💐 🔜 🌺 🌷 🍀  \n",
       "2  giao hàng kh đúng cần phê bình hjjjjjhhd...               \n",
       "3  đồng hồ rất đẹp nhưng hơi dài xíu s...               \n",
       "4  mọi lần mua rất ưng ý nhưng lần này...               "
      ]
     },
     "metadata": {},
     "execution_count": 28
    }
   ],
   "metadata": {}
  },
  {
   "cell_type": "markdown",
   "source": [
    "<hr>\n",
    "\n",
    "* Tiếp theo, ta cần chuẩn lại các từ bị dupplicate như: _chờiiiiiii ơiiiiiii, xinhhhhhhh quá, đẹp xỉuuuuuuuuuuuu_ thành _chời ơi, xinh quá, đẹp xỉu_.\n",
    "* Tuy nhiên có một vấn đề xảy ra, giả sử trong comment có các từ tiếng anh như \"_feedback_\", thì nó sẽ thành \"_fedback_\", nên ta sẽ thực hiện bước này ở phần sau:\n",
    "\n",
    "```python\n",
    "reviews['normalize_comment'] = reviews['normalize_comment'].apply(lambda cmt: Processor.removeDuplicateLetters(cmt))\n",
    "\n",
    "```"
   ],
   "metadata": {}
  },
  {
   "cell_type": "markdown",
   "source": [
    "<hr>\n",
    "\n",
    "* Tiếp theo, chúng ta sẽ chuẩn lại một vài từ viết tắt cơ bản.\n",
    "* File `modules/dependencies/abbreviate.txt` chứa các từ viết tắt cơ bản mà giới trẻ hay dùng comment, ta có thể bổ sung theo thời gian."
   ],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 29,
   "source": [
    "# xây dựng dictionary cho các từ viết tắt\n",
    "abbreviate = Utils.buildDictionaryFromFile(\"./modules/dependencies/abbreviate.txt\")\n",
    "\n",
    "# test\n",
    "abbreviate['okela']"
   ],
   "outputs": [
    {
     "output_type": "execute_result",
     "data": {
      "text/plain": [
       "'ok'"
      ]
     },
     "metadata": {},
     "execution_count": 29
    }
   ],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 30,
   "source": [
    "reviews['normalize_comment'] = reviews['normalize_comment'].apply(lambda cmt: Processor.replaceWithDictionary(cmt, abbreviate))\n",
    "\n",
    "reviews.head()"
   ],
   "outputs": [
    {
     "output_type": "execute_result",
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>raw_comment</th>\n",
       "      <th>label</th>\n",
       "      <th>normalize_comment</th>\n",
       "      <th>emoji</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>Khung hình - Nơi lưu giữ những khoảnh ...</td>\n",
       "      <td>1</td>\n",
       "      <td>khung hình nơi lưu giữ những khoảnh kh...</td>\n",
       "      <td></td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>✔Đẹp xuất sắc chưa nè💐🌺🍀\\n❗Em váy đũi...</td>\n",
       "      <td>1</td>\n",
       "      <td>đẹp xuất sắc chưa nè em váy đũi xanh ...</td>\n",
       "      <td>❗ 💐 🔜 🌺 🌷 🍀</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>Giao hàng kh đúng cần phê bình hjjjjjhhd...</td>\n",
       "      <td>0</td>\n",
       "      <td>giao hàng không đúng cần phê bình hjhdj...</td>\n",
       "      <td></td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>Đồng hồ rất đẹp\\nNhưng hơi dài xíu....</td>\n",
       "      <td>1</td>\n",
       "      <td>đồng hồ rất đẹp nhưng hơi dài xíu s...</td>\n",
       "      <td></td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>Mọi lần mua rất ưng ý \\nNhưng lần na...</td>\n",
       "      <td>1</td>\n",
       "      <td>mọi lần mua rất ưng ý nhưng lần này...</td>\n",
       "      <td></td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                         raw_comment  label  \\\n",
       "0  Khung hình - Nơi lưu giữ những khoảnh ...      1   \n",
       "1  ✔Đẹp xuất sắc chưa nè💐🌺🍀\\n❗Em váy đũi...      1   \n",
       "2  Giao hàng kh đúng cần phê bình hjjjjjhhd...      0   \n",
       "3  Đồng hồ rất đẹp\\nNhưng hơi dài xíu....      1   \n",
       "4  Mọi lần mua rất ưng ý \\nNhưng lần na...      1   \n",
       "\n",
       "                                   normalize_comment        emoji  \n",
       "0  khung hình nơi lưu giữ những khoảnh kh...               \n",
       "1  đẹp xuất sắc chưa nè em váy đũi xanh ...  ❗ 💐 🔜 🌺 🌷 🍀  \n",
       "2  giao hàng không đúng cần phê bình hjhdj...               \n",
       "3  đồng hồ rất đẹp nhưng hơi dài xíu s...               \n",
       "4  mọi lần mua rất ưng ý nhưng lần này...               "
      ]
     },
     "metadata": {},
     "execution_count": 30
    }
   ],
   "metadata": {}
  },
  {
   "cell_type": "markdown",
   "source": [
    "<hr>\n",
    "\n",
    "* Bây giờ ta sẽ tiến hành xóa các từ vô nghĩa trong comment, ví dụ như hình dưới đây:<br>\n",
    "  ![](./images/06.png)\n",
    "  những bình luận này mặc dù thuộc lớp positive nhưng nó là các noise sample, có thể các comment này dùng để comment cho có để nhận shopee xu khi đánh giá sản phẩm.\n",
    "* Kế tiếp, ta nên xóa các sample mà khả năng cao ko là tiếng việt, vì sao ta làm bước này, đơn giản thôi đây là shopee việt nam, và các comment cố ý bằng tiếng anh, tiếng hàn, tiếng trung của các \"thánh làm màu\" sẽ là các noise sample khiến model ta bị giảm hiệu năng.\n",
    "* Nhưng làm sao ta có thể thực hiện điều này, cách đơn giản nhất là ta có thể sử dụng các package như `textblob`, `googletrans`,... các package này chứa các function giúp ta detect language cho text, tuy nhiên hạn chế là chúng chỉ cho tối đa khoảng 200 request một ngày thôi, và số mẫu của chúng ta hiện tại là quá lớn. Ở đây ta có file `modules/dependencies/vocabulary.txt` chứa hơn 17000 từ đơn phổ biến của tiếng việt.\n",
    "* Vậy cách đơn giản hơn là ta có thể xây dựng một dictionary chứa các từ đơn của tiếng việt, với mỗi comment, nếu số lượng từ ko tìm thấy trong dictionary này lớn hơn số từ được tìm thấy trong dictionary thì khả năng cao đây là một comment làm màu.\n",
    "* Tuy nhiên, vẫn có một vài từ tiếng anh mà ta cần giữ lại như shipper, ta sẽ sử dụng package `enchant` để check một từ có phải là từ tiếng anh hay không.\n",
    "  ```shell\n",
    "  pip3 install pyenchant\n",
    "  ```\n",
    "* Ở các bước phía trên, ta đã đề cập đến việc xóa các từ bị dupplicate kí tự, ta sẽ thực hiện nó ở trong bước này."
   ],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 31,
   "source": [
    "# hơn 17 ngàn từ đơn trong tiêng việt\n",
    "vocabularies = Utils.buildDictionaryFromFile('./modules/dependencies/vocabulary.txt', True)\n",
    "english_voca = enchant.Dict('en_US') # english if a word is english"
   ],
   "outputs": [],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 32,
   "source": [
    "reviews['normalize_comment'] = reviews['normalize_comment'].apply(lambda cmt: Processor.removeNoiseWord(cmt, vocabularies, english_voca))\n",
    "\n",
    "reviews.head()"
   ],
   "outputs": [
    {
     "output_type": "execute_result",
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>raw_comment</th>\n",
       "      <th>label</th>\n",
       "      <th>normalize_comment</th>\n",
       "      <th>emoji</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>Khung hình - Nơi lưu giữ những khoảnh ...</td>\n",
       "      <td>1</td>\n",
       "      <td>khung hình nơi lưu giữ những khoảnh kh...</td>\n",
       "      <td></td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>✔Đẹp xuất sắc chưa nè💐🌺🍀\\n❗Em váy đũi...</td>\n",
       "      <td>1</td>\n",
       "      <td>đẹp xuất sắc chưa nè em váy đũi xanh ...</td>\n",
       "      <td>❗ 💐 🔜 🌺 🌷 🍀</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>Giao hàng kh đúng cần phê bình hjjjjjhhd...</td>\n",
       "      <td>0</td>\n",
       "      <td>giao hàng không đúng cần phê bình</td>\n",
       "      <td></td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>Đồng hồ rất đẹp\\nNhưng hơi dài xíu....</td>\n",
       "      <td>1</td>\n",
       "      <td>đồng hồ rất đẹp nhưng hơi dài xíu</td>\n",
       "      <td></td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>Mọi lần mua rất ưng ý \\nNhưng lần na...</td>\n",
       "      <td>1</td>\n",
       "      <td>mọi lần mua rất ưng ý nhưng lần này...</td>\n",
       "      <td></td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                         raw_comment  label  \\\n",
       "0  Khung hình - Nơi lưu giữ những khoảnh ...      1   \n",
       "1  ✔Đẹp xuất sắc chưa nè💐🌺🍀\\n❗Em váy đũi...      1   \n",
       "2  Giao hàng kh đúng cần phê bình hjjjjjhhd...      0   \n",
       "3  Đồng hồ rất đẹp\\nNhưng hơi dài xíu....      1   \n",
       "4  Mọi lần mua rất ưng ý \\nNhưng lần na...      1   \n",
       "\n",
       "                                   normalize_comment        emoji  \n",
       "0  khung hình nơi lưu giữ những khoảnh kh...               \n",
       "1  đẹp xuất sắc chưa nè em váy đũi xanh ...  ❗ 💐 🔜 🌺 🌷 🍀  \n",
       "2           giao hàng không đúng cần phê bình               \n",
       "3       đồng hồ rất đẹp nhưng hơi dài xíu               \n",
       "4  mọi lần mua rất ưng ý nhưng lần này...               "
      ]
     },
     "metadata": {},
     "execution_count": 32
    }
   ],
   "metadata": {}
  },
  {
   "cell_type": "markdown",
   "source": [
    "<hr>\n",
    "\n",
    "* Tiếp theo ta sẽ remove stopword, chúng ta sẽ sử dụng stopword trong file `modules/dependencies/stopwords.txt`. Ta không nên sử dụng các stopword được build sẵn trên mạng nhất là cho tiếng việt, vì chưa chắc các từ này đã hợp với dữ liệu hiện tại của chúng ta.\n",
    "* Ví dụ nhiều stopword set loại bỏ từ \"**nhưng**\", tuy nhiên từ này khả năng cao là quan trọng, giả sử ta có câu này:\n",
    "  * _shop giao hàng chậm **nhưng** giao đúng hàng, ủng hộ shop_, thì nhờ từ **nhưng** này mà model ta có khả năng phân biệt được nó là positive hay negative.\n",
    "* Ngoài ra với một file txt như vậy, ta có thể bổ sung stopword sau này."
   ],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 33,
   "source": [
    "stopwords = Utils.buildListFromFile(\"./modules/dependencies/stopwords.txt\")"
   ],
   "outputs": [],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 34,
   "source": [
    "reviews['normalize_comment'] = reviews['normalize_comment'].apply(lambda cmt: Processor.removeStopwords(cmt, stopwords))\n",
    "\n",
    "reviews.head()"
   ],
   "outputs": [
    {
     "output_type": "execute_result",
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>raw_comment</th>\n",
       "      <th>label</th>\n",
       "      <th>normalize_comment</th>\n",
       "      <th>emoji</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>Khung hình - Nơi lưu giữ những khoảnh ...</td>\n",
       "      <td>1</td>\n",
       "      <td>khung hình nơi lưu giữ những khoảnh kh...</td>\n",
       "      <td></td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>✔Đẹp xuất sắc chưa nè💐🌺🍀\\n❗Em váy đũi...</td>\n",
       "      <td>1</td>\n",
       "      <td>đẹp xuất sắc chưa em váy đũi xanh xoă...</td>\n",
       "      <td>❗ 💐 🔜 🌺 🌷 🍀</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>Giao hàng kh đúng cần phê bình hjjjjjhhd...</td>\n",
       "      <td>0</td>\n",
       "      <td>giao hàng không đúng cần phê bình</td>\n",
       "      <td></td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>Đồng hồ rất đẹp\\nNhưng hơi dài xíu....</td>\n",
       "      <td>1</td>\n",
       "      <td>đồng hồ rất đẹp nhưng hơi dài xíu</td>\n",
       "      <td></td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>Mọi lần mua rất ưng ý \\nNhưng lần na...</td>\n",
       "      <td>1</td>\n",
       "      <td>mọi lần mua rất ưng ý nhưng lần cái...</td>\n",
       "      <td></td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                         raw_comment  label  \\\n",
       "0  Khung hình - Nơi lưu giữ những khoảnh ...      1   \n",
       "1  ✔Đẹp xuất sắc chưa nè💐🌺🍀\\n❗Em váy đũi...      1   \n",
       "2  Giao hàng kh đúng cần phê bình hjjjjjhhd...      0   \n",
       "3  Đồng hồ rất đẹp\\nNhưng hơi dài xíu....      1   \n",
       "4  Mọi lần mua rất ưng ý \\nNhưng lần na...      1   \n",
       "\n",
       "                                   normalize_comment        emoji  \n",
       "0  khung hình nơi lưu giữ những khoảnh kh...               \n",
       "1  đẹp xuất sắc chưa em váy đũi xanh xoă...  ❗ 💐 🔜 🌺 🌷 🍀  \n",
       "2           giao hàng không đúng cần phê bình               \n",
       "3       đồng hồ rất đẹp nhưng hơi dài xíu               \n",
       "4  mọi lần mua rất ưng ý nhưng lần cái...               "
      ]
     },
     "metadata": {},
     "execution_count": 34
    }
   ],
   "metadata": {}
  },
  {
   "cell_type": "markdown",
   "source": [
    "<hr>\n",
    "\n",
    "* Tiếp theo, ta loại bỏ các empty và duplicate `normalize_comment`."
   ],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 35,
   "source": [
    "reviews = Processor.removeEmptyOrDuplicateComment(reviews)\n",
    "\n",
    "Processor.printAfterProcess(reviews)\n",
    "reviews.head()"
   ],
   "outputs": [
    {
     "output_type": "stream",
     "name": "stdout",
     "text": [
      "Shape: (217180, 4)\n",
      "1    210077\n",
      "0      7103\n",
      "Name: label, dtype: int64\n"
     ]
    },
    {
     "output_type": "execute_result",
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>raw_comment</th>\n",
       "      <th>label</th>\n",
       "      <th>normalize_comment</th>\n",
       "      <th>emoji</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>Khung hình - Nơi lưu giữ những khoảnh ...</td>\n",
       "      <td>1</td>\n",
       "      <td>khung hình nơi lưu giữ những khoảnh kh...</td>\n",
       "      <td></td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>✔Đẹp xuất sắc chưa nè💐🌺🍀\\n❗Em váy đũi...</td>\n",
       "      <td>1</td>\n",
       "      <td>đẹp xuất sắc chưa em váy đũi xanh xoă...</td>\n",
       "      <td>❗ 💐 🔜 🌺 🌷 🍀</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>Giao hàng kh đúng cần phê bình hjjjjjhhd...</td>\n",
       "      <td>0</td>\n",
       "      <td>giao hàng không đúng cần phê bình</td>\n",
       "      <td></td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>Đồng hồ rất đẹp\\nNhưng hơi dài xíu....</td>\n",
       "      <td>1</td>\n",
       "      <td>đồng hồ rất đẹp nhưng hơi dài xíu</td>\n",
       "      <td></td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>Mọi lần mua rất ưng ý \\nNhưng lần na...</td>\n",
       "      <td>1</td>\n",
       "      <td>mọi lần mua rất ưng ý nhưng lần cái...</td>\n",
       "      <td></td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                         raw_comment  label  \\\n",
       "0  Khung hình - Nơi lưu giữ những khoảnh ...      1   \n",
       "1  ✔Đẹp xuất sắc chưa nè💐🌺🍀\\n❗Em váy đũi...      1   \n",
       "2  Giao hàng kh đúng cần phê bình hjjjjjhhd...      0   \n",
       "3  Đồng hồ rất đẹp\\nNhưng hơi dài xíu....      1   \n",
       "4  Mọi lần mua rất ưng ý \\nNhưng lần na...      1   \n",
       "\n",
       "                                   normalize_comment        emoji  \n",
       "0  khung hình nơi lưu giữ những khoảnh kh...               \n",
       "1  đẹp xuất sắc chưa em váy đũi xanh xoă...  ❗ 💐 🔜 🌺 🌷 🍀  \n",
       "2           giao hàng không đúng cần phê bình               \n",
       "3       đồng hồ rất đẹp nhưng hơi dài xíu               \n",
       "4  mọi lần mua rất ưng ý nhưng lần cái...               "
      ]
     },
     "metadata": {},
     "execution_count": 35
    }
   ],
   "metadata": {}
  },
  {
   "cell_type": "markdown",
   "source": [
    "<hr>\n",
    "\n",
    "* Train test split, ta thấy rằng giữa hai nhóm positive và negative có chênh lệnh lớn, nên tập train data của ta sẽ bằng $0.8 * \\min(\\mathrm{size}(positive), \\mathrm{size}(negative)) * 2$."
   ],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 36,
   "source": [
    "half_min_size = min(reviews['label'].value_counts())\n",
    "\n",
    "half_min_size"
   ],
   "outputs": [
    {
     "output_type": "execute_result",
     "data": {
      "text/plain": [
       "7103"
      ]
     },
     "metadata": {},
     "execution_count": 36
    }
   ],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 37,
   "source": [
    "reviews_positive = reviews[reviews['label'] == 1]\n",
    "reviews_negative = reviews[reviews['label'] == 0]\n",
    "\n",
    "reviews_positive = shuffle(reviews_positive)\n",
    "reviews_positive = reviews_positive.reset_index(drop=True)"
   ],
   "outputs": [],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 38,
   "source": [
    "positive_index = random.sample(range(0, reviews_positive.shape[0]), half_min_size)\n",
    "\n",
    "positive_index[:10]"
   ],
   "outputs": [
    {
     "output_type": "execute_result",
     "data": {
      "text/plain": [
       "[13352, 23405, 143157, 139435, 80516, 202899, 93528, 109970, 149118, 123570]"
      ]
     },
     "metadata": {},
     "execution_count": 38
    }
   ],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 39,
   "source": [
    "reviews_positive2 = reviews_positive.iloc[positive_index,:]\n",
    "\n",
    "reviews_positive2.head()"
   ],
   "outputs": [
    {
     "output_type": "execute_result",
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>raw_comment</th>\n",
       "      <th>label</th>\n",
       "      <th>normalize_comment</th>\n",
       "      <th>emoji</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>13352</th>\n",
       "      <td>chất okela phết ae ạ :v</td>\n",
       "      <td>1</td>\n",
       "      <td>chất ok phết</td>\n",
       "      <td></td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>23405</th>\n",
       "      <td>Mũ đẹp có điều đường may còn bị lệ...</td>\n",
       "      <td>1</td>\n",
       "      <td>mũ đẹp có điều đường may còn lệch l...</td>\n",
       "      <td></td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>143157</th>\n",
       "      <td>Giao hàng nhân.. Đóng hàng túi zip chắc...</td>\n",
       "      <td>1</td>\n",
       "      <td>giao hàng nhân đóng hàng túi zip chắc c...</td>\n",
       "      <td></td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>139435</th>\n",
       "      <td>Quần cũng đẹp vải nhìn hơi giống quâ...</td>\n",
       "      <td>1</td>\n",
       "      <td>quần cũng đẹp vải nhìn hơi giống quâ...</td>\n",
       "      <td></td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>80516</th>\n",
       "      <td>Được người quen giới thiệu nên mua ...</td>\n",
       "      <td>1</td>\n",
       "      <td>được người quen giới thiệu nên mua ...</td>\n",
       "      <td>👍</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                              raw_comment  label  \\\n",
       "13352                        chất okela phết ae ạ :v      1   \n",
       "23405   Mũ đẹp có điều đường may còn bị lệ...      1   \n",
       "143157  Giao hàng nhân.. Đóng hàng túi zip chắc...      1   \n",
       "139435  Quần cũng đẹp vải nhìn hơi giống quâ...      1   \n",
       "80516   Được người quen giới thiệu nên mua ...      1   \n",
       "\n",
       "                                        normalize_comment emoji  \n",
       "13352                                    chất ok phết        \n",
       "23405   mũ đẹp có điều đường may còn lệch l...        \n",
       "143157  giao hàng nhân đóng hàng túi zip chắc c...        \n",
       "139435  quần cũng đẹp vải nhìn hơi giống quâ...        \n",
       "80516   được người quen giới thiệu nên mua ...     👍  "
      ]
     },
     "metadata": {},
     "execution_count": 39
    }
   ],
   "metadata": {}
  },
  {
   "cell_type": "markdown",
   "source": [
    "* Đây là tập data mà hai nhóm positive và negative cân bằng nhau"
   ],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 40,
   "source": [
    "normalize_reviews = pd.concat([reviews_negative, reviews_positive2], axis=0)\n",
    "normalize_reviews = normalize_reviews.reset_index(drop=True)\n",
    "\n",
    "Processor.printAfterProcess(normalize_reviews)\n",
    "normalize_reviews.head()"
   ],
   "outputs": [
    {
     "output_type": "stream",
     "name": "stdout",
     "text": [
      "Shape: (14206, 4)\n",
      "1    7103\n",
      "0    7103\n",
      "Name: label, dtype: int64\n"
     ]
    },
    {
     "output_type": "execute_result",
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>raw_comment</th>\n",
       "      <th>label</th>\n",
       "      <th>normalize_comment</th>\n",
       "      <th>emoji</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>Giao hàng kh đúng cần phê bình hjjjjjhhd...</td>\n",
       "      <td>0</td>\n",
       "      <td>giao hàng không đúng cần phê bình</td>\n",
       "      <td></td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>Chất lượng sản phẩm tạm được. Giao...</td>\n",
       "      <td>0</td>\n",
       "      <td>chất lượng sản phẩm tạm được giao ...</td>\n",
       "      <td></td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>Ko có lắc tay như hình</td>\n",
       "      <td>0</td>\n",
       "      <td>không có lắc tay như hình</td>\n",
       "      <td></td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>Giao hàng lâu. Bảo có lắc tay mà k thâ...</td>\n",
       "      <td>0</td>\n",
       "      <td>giao hàng lâu bảo có lắc tay mà không ...</td>\n",
       "      <td></td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>Mình mua 2 cái, một dùng ok. Một cái k...</td>\n",
       "      <td>0</td>\n",
       "      <td>mua cái một dùng ok một cái không chạ...</td>\n",
       "      <td>😢</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                         raw_comment  label  \\\n",
       "0  Giao hàng kh đúng cần phê bình hjjjjjhhd...      0   \n",
       "1  Chất lượng sản phẩm tạm được. Giao...      0   \n",
       "2                        Ko có lắc tay như hình      0   \n",
       "3  Giao hàng lâu. Bảo có lắc tay mà k thâ...      0   \n",
       "4  Mình mua 2 cái, một dùng ok. Một cái k...      0   \n",
       "\n",
       "                                   normalize_comment emoji  \n",
       "0           giao hàng không đúng cần phê bình        \n",
       "1  chất lượng sản phẩm tạm được giao ...        \n",
       "2                    không có lắc tay như hình        \n",
       "3  giao hàng lâu bảo có lắc tay mà không ...        \n",
       "4  mua cái một dùng ok một cái không chạ...     😢  "
      ]
     },
     "metadata": {},
     "execution_count": 40
    }
   ],
   "metadata": {}
  },
  {
   "cell_type": "markdown",
   "source": [
    "* Ghi ra file"
   ],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 41,
   "source": [
    "normalize_reviews.to_csv(\"./data/normalize_reviews.csv\", index=False)"
   ],
   "outputs": [],
   "metadata": {}
  },
  {
   "cell_type": "markdown",
   "source": [
    "* Bây giờ ta sẽ ghi phần bù còn lại của `review_positive` vào file, ta có thể dùng nó cho việc evaluate model sau này."
   ],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 42,
   "source": [
    "reviews_positive3 = reviews_positive[~reviews_positive.index.isin(positive_index)]\n",
    "reviews_positive3 = reviews_positive3.reset_index(drop=True)\n",
    "\n",
    "reviews_positive3.head()"
   ],
   "outputs": [
    {
     "output_type": "execute_result",
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>raw_comment</th>\n",
       "      <th>label</th>\n",
       "      <th>normalize_comment</th>\n",
       "      <th>emoji</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>Áo size hơi chật so với người tầm 6...</td>\n",
       "      <td>1</td>\n",
       "      <td>áo size hơi chật so người tầm kg đổ...</td>\n",
       "      <td></td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>Lần đầu mua ở Gen Z. Em ưng chất vải...</td>\n",
       "      <td>1</td>\n",
       "      <td>lần đầu mua ở gen z em ưng chất vải ...</td>\n",
       "      <td>🥰</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>Váy đẹp, may chắc chắn\\nDù hơi ngắn ...</td>\n",
       "      <td>1</td>\n",
       "      <td>váy đẹp may chắc chắn dù hơi ngắn nh...</td>\n",
       "      <td></td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>Giao hàng nhanh, áo đẹp hơn mong đợi. Va...</td>\n",
       "      <td>1</td>\n",
       "      <td>giao hàng nhanh áo đẹp hơn mong đợi vải...</td>\n",
       "      <td></td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>Hàng order nên giao hơi lâu, kính đẹp ph...</td>\n",
       "      <td>1</td>\n",
       "      <td>hàng order nên giao hơi lâu kính đẹp phu...</td>\n",
       "      <td></td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                         raw_comment  label  \\\n",
       "0  Áo size hơi chật so với người tầm 6...      1   \n",
       "1  Lần đầu mua ở Gen Z. Em ưng chất vải...      1   \n",
       "2  Váy đẹp, may chắc chắn\\nDù hơi ngắn ...      1   \n",
       "3  Giao hàng nhanh, áo đẹp hơn mong đợi. Va...      1   \n",
       "4  Hàng order nên giao hơi lâu, kính đẹp ph...      1   \n",
       "\n",
       "                                   normalize_comment emoji  \n",
       "0  áo size hơi chật so người tầm kg đổ...        \n",
       "1  lần đầu mua ở gen z em ưng chất vải ...     🥰  \n",
       "2  váy đẹp may chắc chắn dù hơi ngắn nh...        \n",
       "3  giao hàng nhanh áo đẹp hơn mong đợi vải...        \n",
       "4  hàng order nên giao hơi lâu kính đẹp phu...        "
      ]
     },
     "metadata": {},
     "execution_count": 42
    }
   ],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 43,
   "source": [
    "reviews_positive3.to_csv(\"./data/complement_positive_reviews.csv\", index=False)"
   ],
   "outputs": [],
   "metadata": {}
  },
  {
   "cell_type": "markdown",
   "source": [
    "# 1.8. Tài liệu kham thảo:\n",
    "* [Web Scraping with Python: Collecting Data from the Modern Web 1st Edition](https://www.amazon.com/Web-Scraping-Python-Collecting-Modern/dp/1491910291)\n",
    "* [Applied Text Analysis with Python: Enabling Language-Aware Data Products with Machine Learning 1st Edition](https://www.amazon.com/Applied-Text-Analysis-Python-Language-Aware/dp/1491963042)\n",
    "* [Natural Language Processing with Python: Analyzing Text with the Natural Language Toolkit 1st Edition](https://www.amazon.com/Natural-Language-Processing-Python-Analyzing/dp/0596516495/ref=pd_sbs_2/138-2957899-5417957?pd_rd_w=bae9C&pf_rd_p=3676f086-9496-4fd7-8490-77cf7f43f846&pf_rd_r=HY0SV9DZKNKG3YP7XGCQ&pd_rd_r=8e2cac9c-9e76-47af-b450-2a0b45dab9ce&pd_rd_wg=aNUA6&pd_rd_i=0596516495&psc=1)\n",
    "* ..."
   ],
   "metadata": {}
  }
 ],
 "metadata": {
  "interpreter": {
   "hash": "2cade657992b47716e26d0a9b1443bfbca37741f9a577328e2d148cb3e78348d"
  },
  "kernelspec": {
   "name": "python3",
   "display_name": "Python 3.6.8 64-bit ('python3.6': conda)"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.8"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}