modify_csv.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "id": "0e285c15-a749-4715-a818-b1ab2580be92",
   "metadata": {},
   "outputs": [],
   "source": [
    "# 라벨 다른 경우 수정 및 중복 제거"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "id": "cb142e7b",
   "metadata": {},
   "outputs": [],
   "source": [
    "import pandas as pd\n",
    "import numpy as np"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "id": "29ad6c62",
   "metadata": {},
   "outputs": [],
   "source": [
    "dataset = pd.read_csv(\"../dataset/train/train.csv\", sep=\",\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "id": "c81498cc",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "<class 'pandas.core.frame.DataFrame'>\n",
      "RangeIndex: 32470 entries, 0 to 32469\n",
      "Data columns (total 6 columns):\n",
      " #   Column          Non-Null Count  Dtype \n",
      "---  ------          --------------  ----- \n",
      " 0   id              32470 non-null  int64 \n",
      " 1   sentence        32470 non-null  object\n",
      " 2   subject_entity  32470 non-null  object\n",
      " 3   object_entity   32470 non-null  object\n",
      " 4   label           32470 non-null  object\n",
      " 5   source          32470 non-null  object\n",
      "dtypes: int64(1), object(5)\n",
      "memory usage: 1.5+ MB\n"
     ]
    }
   ],
   "source": [
    "dataset.info()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "id": "cea1a01e-538e-4700-b9d1-128816dc0635",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "93"
      ]
     },
     "execution_count": 5,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# 중복 데이터 수\n",
    "dataset.duplicated(['sentence', 'subject_entity', 'object_entity'], keep=False).sum()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "id": "a981db71-8579-4a8c-a04b-9fd5a77ca3b4",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "84"
      ]
     },
     "execution_count": 6,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# 라벨까지 같은 중복 데이터 수\n",
    "dataset.duplicated(['sentence', 'subject_entity', 'object_entity', 'label'], keep=False).sum()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "id": "782aab9a-e979-4bc2-990d-fe06cfa3bd42",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>id</th>\n",
       "      <th>sentence</th>\n",
       "      <th>subject_entity</th>\n",
       "      <th>object_entity</th>\n",
       "      <th>label</th>\n",
       "      <th>source</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>255</th>\n",
       "      <td>255</td>\n",
       "      <td>2010년 10월 15일 전라북도청을 방문한 맹형규 행정안전부 장관은 도내 지자체간...</td>\n",
       "      <td>{'word': '전라북도청', 'start_idx': 14, 'end_idx': ...</td>\n",
       "      <td>{'word': '행정안전부', 'start_idx': 29, 'end_idx': ...</td>\n",
       "      <td>no_relation</td>\n",
       "      <td>wikipedia</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>277</th>\n",
       "      <td>277</td>\n",
       "      <td>이날 프로그램 공개에서는 전북영산작법보존회와 김명신‧정상희의 사제동행 판소리, 관악...</td>\n",
       "      <td>{'word': '강태환', 'start_idx': 62, 'end_idx': 64...</td>\n",
       "      <td>{'word': '색소폰', 'start_idx': 58, 'end_idx': 60...</td>\n",
       "      <td>no_relation</td>\n",
       "      <td>wikitree</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>630</th>\n",
       "      <td>630</td>\n",
       "      <td>배우 마동석, 박정민, 정해인, 염정아, 최성은, 윤경호 씨가 출연하는 영화 '시동...</td>\n",
       "      <td>{'word': '최성은', 'start_idx': 23, 'end_idx': 25...</td>\n",
       "      <td>{'word': \"시동'\", 'start_idx': 44, 'end_idx': 46...</td>\n",
       "      <td>no_relation</td>\n",
       "      <td>wikitree</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1386</th>\n",
       "      <td>1386</td>\n",
       "      <td>특히, KRI 한국기록원으로부터 2년 연속 공인중개사 최다 합격자 배출 기록을 공식...</td>\n",
       "      <td>{'word': '한국기록원', 'start_idx': 8, 'end_idx': 1...</td>\n",
       "      <td>{'word': 'KRI', 'start_idx': 4, 'end_idx': 6, ...</td>\n",
       "      <td>org:alternate_names</td>\n",
       "      <td>wikitree</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1721</th>\n",
       "      <td>1721</td>\n",
       "      <td>그러나 곧 이은 총선에서 한나라당이 원내 1당을 차지했고 연정상대였던 자유민주연합은...</td>\n",
       "      <td>{'word': '자유민주연합', 'start_idx': 39, 'end_idx':...</td>\n",
       "      <td>{'word': '한나라당', 'start_idx': 14, 'end_idx': 1...</td>\n",
       "      <td>no_relation</td>\n",
       "      <td>wikipedia</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>31786</th>\n",
       "      <td>31786</td>\n",
       "      <td>그러나, 1940년 달라이 라마 14세의 즉위식에 참석한 중화민국은 행정원몽장위원회...</td>\n",
       "      <td>{'word': '달라이 라마 14세', 'start_idx': 11, 'end_i...</td>\n",
       "      <td>{'word': '중화민국', 'start_idx': 32, 'end_idx': 3...</td>\n",
       "      <td>no_relation</td>\n",
       "      <td>wikipedia</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>31896</th>\n",
       "      <td>31896</td>\n",
       "      <td>이용빈 후보는 전)더불어민주당 광산갑 지역위원장, 전)더불어민주당 정책위원회 부의장...</td>\n",
       "      <td>{'word': '더불어민주당', 'start_idx': 10, 'end_idx':...</td>\n",
       "      <td>{'word': '문재인', 'start_idx': 84, 'end_idx': 86...</td>\n",
       "      <td>no_relation</td>\n",
       "      <td>wikitree</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>32274</th>\n",
       "      <td>32274</td>\n",
       "      <td>결국 2018년 초에 국민의당은 바른미래당과 민주평화당으로 갈라지고 말았다.</td>\n",
       "      <td>{'word': '바른미래당', 'start_idx': 18, 'end_idx': ...</td>\n",
       "      <td>{'word': '국민의당', 'start_idx': 12, 'end_idx': 1...</td>\n",
       "      <td>no_relation</td>\n",
       "      <td>wikipedia</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>32282</th>\n",
       "      <td>32282</td>\n",
       "      <td>박능후 중앙재난안전대책본부 1차장(보건복지부 장관)이 중앙재난안전대책본부 정례브리핑...</td>\n",
       "      <td>{'word': '박능후', 'start_idx': 0, 'end_idx': 2, ...</td>\n",
       "      <td>{'word': '보건복지부 장관', 'start_idx': 19, 'end_idx...</td>\n",
       "      <td>per:title</td>\n",
       "      <td>policy_briefing</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>32299</th>\n",
       "      <td>32299</td>\n",
       "      <td>배우 김병철 씨가 연기하는 정복동은 천리마마트를 망하게 하기 위해 여러 계획을 세우...</td>\n",
       "      <td>{'word': '정복동', 'start_idx': 15, 'end_idx': 17...</td>\n",
       "      <td>{'word': '김병철', 'start_idx': 3, 'end_idx': 5, ...</td>\n",
       "      <td>per:alternate_names</td>\n",
       "      <td>wikitree</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>93 rows × 6 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "          id                                           sentence  \\\n",
       "255      255  2010년 10월 15일 전라북도청을 방문한 맹형규 행정안전부 장관은 도내 지자체간...   \n",
       "277      277  이날 프로그램 공개에서는 전북영산작법보존회와 김명신‧정상희의 사제동행 판소리, 관악...   \n",
       "630      630  배우 마동석, 박정민, 정해인, 염정아, 최성은, 윤경호 씨가 출연하는 영화 '시동...   \n",
       "1386    1386  특히, KRI 한국기록원으로부터 2년 연속 공인중개사 최다 합격자 배출 기록을 공식...   \n",
       "1721    1721  그러나 곧 이은 총선에서 한나라당이 원내 1당을 차지했고 연정상대였던 자유민주연합은...   \n",
       "...      ...                                                ...   \n",
       "31786  31786  그러나, 1940년 달라이 라마 14세의 즉위식에 참석한 중화민국은 행정원몽장위원회...   \n",
       "31896  31896  이용빈 후보는 전)더불어민주당 광산갑 지역위원장, 전)더불어민주당 정책위원회 부의장...   \n",
       "32274  32274         결국 2018년 초에 국민의당은 바른미래당과 민주평화당으로 갈라지고 말았다.   \n",
       "32282  32282  박능후 중앙재난안전대책본부 1차장(보건복지부 장관)이 중앙재난안전대책본부 정례브리핑...   \n",
       "32299  32299  배우 김병철 씨가 연기하는 정복동은 천리마마트를 망하게 하기 위해 여러 계획을 세우...   \n",
       "\n",
       "                                          subject_entity  \\\n",
       "255    {'word': '전라북도청', 'start_idx': 14, 'end_idx': ...   \n",
       "277    {'word': '강태환', 'start_idx': 62, 'end_idx': 64...   \n",
       "630    {'word': '최성은', 'start_idx': 23, 'end_idx': 25...   \n",
       "1386   {'word': '한국기록원', 'start_idx': 8, 'end_idx': 1...   \n",
       "1721   {'word': '자유민주연합', 'start_idx': 39, 'end_idx':...   \n",
       "...                                                  ...   \n",
       "31786  {'word': '달라이 라마 14세', 'start_idx': 11, 'end_i...   \n",
       "31896  {'word': '더불어민주당', 'start_idx': 10, 'end_idx':...   \n",
       "32274  {'word': '바른미래당', 'start_idx': 18, 'end_idx': ...   \n",
       "32282  {'word': '박능후', 'start_idx': 0, 'end_idx': 2, ...   \n",
       "32299  {'word': '정복동', 'start_idx': 15, 'end_idx': 17...   \n",
       "\n",
       "                                           object_entity                label  \\\n",
       "255    {'word': '행정안전부', 'start_idx': 29, 'end_idx': ...          no_relation   \n",
       "277    {'word': '색소폰', 'start_idx': 58, 'end_idx': 60...          no_relation   \n",
       "630    {'word': \"시동'\", 'start_idx': 44, 'end_idx': 46...          no_relation   \n",
       "1386   {'word': 'KRI', 'start_idx': 4, 'end_idx': 6, ...  org:alternate_names   \n",
       "1721   {'word': '한나라당', 'start_idx': 14, 'end_idx': 1...          no_relation   \n",
       "...                                                  ...                  ...   \n",
       "31786  {'word': '중화민국', 'start_idx': 32, 'end_idx': 3...          no_relation   \n",
       "31896  {'word': '문재인', 'start_idx': 84, 'end_idx': 86...          no_relation   \n",
       "32274  {'word': '국민의당', 'start_idx': 12, 'end_idx': 1...          no_relation   \n",
       "32282  {'word': '보건복지부 장관', 'start_idx': 19, 'end_idx...            per:title   \n",
       "32299  {'word': '김병철', 'start_idx': 3, 'end_idx': 5, ...  per:alternate_names   \n",
       "\n",
       "                source  \n",
       "255          wikipedia  \n",
       "277           wikitree  \n",
       "630           wikitree  \n",
       "1386          wikitree  \n",
       "1721         wikipedia  \n",
       "...                ...  \n",
       "31786        wikipedia  \n",
       "31896         wikitree  \n",
       "32274        wikipedia  \n",
       "32282  policy_briefing  \n",
       "32299         wikitree  \n",
       "\n",
       "[93 rows x 6 columns]"
      ]
     },
     "execution_count": 7,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# 라벨까지 같은 중복 데이터 확인\n",
    "dataset_duplicated_info = dataset.duplicated(['sentence', 'subject_entity', 'object_entity'], keep=False)\n",
    "dataset_duplicated = dataset.loc[dataset_duplicated_info, :]\n",
    "dataset_duplicated"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "id": "4aea383e",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>id</th>\n",
       "      <th>sentence</th>\n",
       "      <th>subject_entity</th>\n",
       "      <th>object_entity</th>\n",
       "      <th>label</th>\n",
       "      <th>source</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>277</th>\n",
       "      <td>277</td>\n",
       "      <td>이날 프로그램 공개에서는 전북영산작법보존회와 김명신‧정상희의 사제동행 판소리, 관악...</td>\n",
       "      <td>{'word': '강태환', 'start_idx': 62, 'end_idx': 64...</td>\n",
       "      <td>{'word': '색소폰', 'start_idx': 58, 'end_idx': 60...</td>\n",
       "      <td>no_relation</td>\n",
       "      <td>wikitree</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3296</th>\n",
       "      <td>3296</td>\n",
       "      <td>이날 프로그램 공개에서는 전북영산작법보존회와 김명신‧정상희의 사제동행 판소리, 관악...</td>\n",
       "      <td>{'word': '강태환', 'start_idx': 62, 'end_idx': 64...</td>\n",
       "      <td>{'word': '색소폰', 'start_idx': 58, 'end_idx': 60...</td>\n",
       "      <td>per:title</td>\n",
       "      <td>wikitree</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>10202</th>\n",
       "      <td>10202</td>\n",
       "      <td>이날 프로그램 공개에서는 전북영산작법보존회와 김명신‧정상희의 사제동행 판소리, 관악...</td>\n",
       "      <td>{'word': '강태환', 'start_idx': 62, 'end_idx': 64...</td>\n",
       "      <td>{'word': '색소폰', 'start_idx': 58, 'end_idx': 60...</td>\n",
       "      <td>no_relation</td>\n",
       "      <td>wikitree</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "          id                                           sentence  \\\n",
       "277      277  이날 프로그램 공개에서는 전북영산작법보존회와 김명신‧정상희의 사제동행 판소리, 관악...   \n",
       "3296    3296  이날 프로그램 공개에서는 전북영산작법보존회와 김명신‧정상희의 사제동행 판소리, 관악...   \n",
       "10202  10202  이날 프로그램 공개에서는 전북영산작법보존회와 김명신‧정상희의 사제동행 판소리, 관악...   \n",
       "\n",
       "                                          subject_entity  \\\n",
       "277    {'word': '강태환', 'start_idx': 62, 'end_idx': 64...   \n",
       "3296   {'word': '강태환', 'start_idx': 62, 'end_idx': 64...   \n",
       "10202  {'word': '강태환', 'start_idx': 62, 'end_idx': 64...   \n",
       "\n",
       "                                           object_entity        label  \\\n",
       "277    {'word': '색소폰', 'start_idx': 58, 'end_idx': 60...  no_relation   \n",
       "3296   {'word': '색소폰', 'start_idx': 58, 'end_idx': 60...    per:title   \n",
       "10202  {'word': '색소폰', 'start_idx': 58, 'end_idx': 60...  no_relation   \n",
       "\n",
       "         source  \n",
       "277    wikitree  \n",
       "3296   wikitree  \n",
       "10202  wikitree  "
      ]
     },
     "execution_count": 8,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "dataset.loc[(277, 3296, 10202), :]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "id": "a9719c1a",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>id</th>\n",
       "      <th>sentence</th>\n",
       "      <th>subject_entity</th>\n",
       "      <th>object_entity</th>\n",
       "      <th>label</th>\n",
       "      <th>source</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>4212</th>\n",
       "      <td>4212</td>\n",
       "      <td>한편 전라남도는 최근 확진자가 발생한 순천시와 여수시에 마스크를 각각 2만장씩 총 ...</td>\n",
       "      <td>{'word': '전라남도', 'start_idx': 3, 'end_idx': 6,...</td>\n",
       "      <td>{'word': '여수시', 'start_idx': 26, 'end_idx': 28...</td>\n",
       "      <td>org:members</td>\n",
       "      <td>wikitree</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>25094</th>\n",
       "      <td>25094</td>\n",
       "      <td>한편 전라남도는 최근 확진자가 발생한 순천시와 여수시에 마스크를 각각 2만장씩 총 ...</td>\n",
       "      <td>{'word': '전라남도', 'start_idx': 3, 'end_idx': 6,...</td>\n",
       "      <td>{'word': '여수시', 'start_idx': 26, 'end_idx': 28...</td>\n",
       "      <td>org:place_of_headquarters</td>\n",
       "      <td>wikitree</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "          id                                           sentence  \\\n",
       "4212    4212  한편 전라남도는 최근 확진자가 발생한 순천시와 여수시에 마스크를 각각 2만장씩 총 ...   \n",
       "25094  25094  한편 전라남도는 최근 확진자가 발생한 순천시와 여수시에 마스크를 각각 2만장씩 총 ...   \n",
       "\n",
       "                                          subject_entity  \\\n",
       "4212   {'word': '전라남도', 'start_idx': 3, 'end_idx': 6,...   \n",
       "25094  {'word': '전라남도', 'start_idx': 3, 'end_idx': 6,...   \n",
       "\n",
       "                                           object_entity  \\\n",
       "4212   {'word': '여수시', 'start_idx': 26, 'end_idx': 28...   \n",
       "25094  {'word': '여수시', 'start_idx': 26, 'end_idx': 28...   \n",
       "\n",
       "                           label    source  \n",
       "4212                 org:members  wikitree  \n",
       "25094  org:place_of_headquarters  wikitree  "
      ]
     },
     "execution_count": 9,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "dataset.loc[(4212, 25094), :]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "id": "d235fab2-aff0-4b75-9f2c-7ea12b240b08",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>id</th>\n",
       "      <th>sentence</th>\n",
       "      <th>subject_entity</th>\n",
       "      <th>object_entity</th>\n",
       "      <th>label</th>\n",
       "      <th>source</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>6749</th>\n",
       "      <td>6749</td>\n",
       "      <td>대한항공은 5일 조양호 회장의 3자녀가 보유한 싸이버스카이 주식 9만9900주 전량...</td>\n",
       "      <td>{'word': '대한항공', 'start_idx': 0, 'end_idx': 3,...</td>\n",
       "      <td>{'word': '조양호', 'start_idx': 9, 'end_idx': 11,...</td>\n",
       "      <td>no_relation</td>\n",
       "      <td>wikipedia</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>12829</th>\n",
       "      <td>12829</td>\n",
       "      <td>대한항공은 5일 조양호 회장의 3자녀가 보유한 싸이버스카이 주식 9만9900주 전량...</td>\n",
       "      <td>{'word': '대한항공', 'start_idx': 0, 'end_idx': 3,...</td>\n",
       "      <td>{'word': '조양호', 'start_idx': 9, 'end_idx': 11,...</td>\n",
       "      <td>org:top_members/employees</td>\n",
       "      <td>wikipedia</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "          id                                           sentence  \\\n",
       "6749    6749  대한항공은 5일 조양호 회장의 3자녀가 보유한 싸이버스카이 주식 9만9900주 전량...   \n",
       "12829  12829  대한항공은 5일 조양호 회장의 3자녀가 보유한 싸이버스카이 주식 9만9900주 전량...   \n",
       "\n",
       "                                          subject_entity  \\\n",
       "6749   {'word': '대한항공', 'start_idx': 0, 'end_idx': 3,...   \n",
       "12829  {'word': '대한항공', 'start_idx': 0, 'end_idx': 3,...   \n",
       "\n",
       "                                           object_entity  \\\n",
       "6749   {'word': '조양호', 'start_idx': 9, 'end_idx': 11,...   \n",
       "12829  {'word': '조양호', 'start_idx': 9, 'end_idx': 11,...   \n",
       "\n",
       "                           label     source  \n",
       "6749                 no_relation  wikipedia  \n",
       "12829  org:top_members/employees  wikipedia  "
      ]
     },
     "execution_count": 10,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "dataset.loc[(6749, 12829), :]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "id": "d93e7ae6",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>id</th>\n",
       "      <th>sentence</th>\n",
       "      <th>subject_entity</th>\n",
       "      <th>object_entity</th>\n",
       "      <th>label</th>\n",
       "      <th>source</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>8364</th>\n",
       "      <td>8364</td>\n",
       "      <td>배우 김병철 씨가 연기하는 정복동은 천리마마트를 망하게 하기 위해 여러 계획을 세우...</td>\n",
       "      <td>{'word': '정복동', 'start_idx': 15, 'end_idx': 17...</td>\n",
       "      <td>{'word': '김병철', 'start_idx': 3, 'end_idx': 5, ...</td>\n",
       "      <td>no_relation</td>\n",
       "      <td>wikitree</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>32299</th>\n",
       "      <td>32299</td>\n",
       "      <td>배우 김병철 씨가 연기하는 정복동은 천리마마트를 망하게 하기 위해 여러 계획을 세우...</td>\n",
       "      <td>{'word': '정복동', 'start_idx': 15, 'end_idx': 17...</td>\n",
       "      <td>{'word': '김병철', 'start_idx': 3, 'end_idx': 5, ...</td>\n",
       "      <td>per:alternate_names</td>\n",
       "      <td>wikitree</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "          id                                           sentence  \\\n",
       "8364    8364  배우 김병철 씨가 연기하는 정복동은 천리마마트를 망하게 하기 위해 여러 계획을 세우...   \n",
       "32299  32299  배우 김병철 씨가 연기하는 정복동은 천리마마트를 망하게 하기 위해 여러 계획을 세우...   \n",
       "\n",
       "                                          subject_entity  \\\n",
       "8364   {'word': '정복동', 'start_idx': 15, 'end_idx': 17...   \n",
       "32299  {'word': '정복동', 'start_idx': 15, 'end_idx': 17...   \n",
       "\n",
       "                                           object_entity                label  \\\n",
       "8364   {'word': '김병철', 'start_idx': 3, 'end_idx': 5, ...          no_relation   \n",
       "32299  {'word': '김병철', 'start_idx': 3, 'end_idx': 5, ...  per:alternate_names   \n",
       "\n",
       "         source  \n",
       "8364   wikitree  \n",
       "32299  wikitree  "
      ]
     },
     "execution_count": 11,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "dataset.loc[(8364, 32299), :]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "id": "105b2cbc",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>id</th>\n",
       "      <th>sentence</th>\n",
       "      <th>subject_entity</th>\n",
       "      <th>object_entity</th>\n",
       "      <th>label</th>\n",
       "      <th>source</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>11511</th>\n",
       "      <td>11511</td>\n",
       "      <td>영화 '버즈 오브 프레이'는 배트맨이 없는 고담시에서 할리퀸, 헌트리스, 블랙 카나...</td>\n",
       "      <td>{'word': '배트맨', 'start_idx': 16, 'end_idx': 18...</td>\n",
       "      <td>{'word': '고담시', 'start_idx': 24, 'end_idx': 26...</td>\n",
       "      <td>per:place_of_residence</td>\n",
       "      <td>wikitree</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>22258</th>\n",
       "      <td>22258</td>\n",
       "      <td>영화 '버즈 오브 프레이'는 배트맨이 없는 고담시에서 할리퀸, 헌트리스, 블랙 카나...</td>\n",
       "      <td>{'word': '배트맨', 'start_idx': 16, 'end_idx': 18...</td>\n",
       "      <td>{'word': '고담시', 'start_idx': 24, 'end_idx': 26...</td>\n",
       "      <td>no_relation</td>\n",
       "      <td>wikitree</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "          id                                           sentence  \\\n",
       "11511  11511  영화 '버즈 오브 프레이'는 배트맨이 없는 고담시에서 할리퀸, 헌트리스, 블랙 카나...   \n",
       "22258  22258  영화 '버즈 오브 프레이'는 배트맨이 없는 고담시에서 할리퀸, 헌트리스, 블랙 카나...   \n",
       "\n",
       "                                          subject_entity  \\\n",
       "11511  {'word': '배트맨', 'start_idx': 16, 'end_idx': 18...   \n",
       "22258  {'word': '배트맨', 'start_idx': 16, 'end_idx': 18...   \n",
       "\n",
       "                                           object_entity  \\\n",
       "11511  {'word': '고담시', 'start_idx': 24, 'end_idx': 26...   \n",
       "22258  {'word': '고담시', 'start_idx': 24, 'end_idx': 26...   \n",
       "\n",
       "                        label    source  \n",
       "11511  per:place_of_residence  wikitree  \n",
       "22258             no_relation  wikitree  "
      ]
     },
     "execution_count": 12,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "dataset.loc[(11511, 22258), :]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "id": "94f12403",
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "<ipython-input-13-66717cfcfa24>:1: SettingWithCopyWarning: \n",
      "A value is trying to be set on a copy of a slice from a DataFrame\n",
      "\n",
      "See the caveats in the documentation: https://pandas.pydata.org/pandas-docs/stable/user_guide/indexing.html#returning-a-view-versus-a-copy\n",
      "  dataset.label[3296] = 'no_relation'\n",
      "<ipython-input-13-66717cfcfa24>:2: SettingWithCopyWarning: \n",
      "A value is trying to be set on a copy of a slice from a DataFrame\n",
      "\n",
      "See the caveats in the documentation: https://pandas.pydata.org/pandas-docs/stable/user_guide/indexing.html#returning-a-view-versus-a-copy\n",
      "  dataset.label[25094] = 'org:members'\n",
      "<ipython-input-13-66717cfcfa24>:3: SettingWithCopyWarning: \n",
      "A value is trying to be set on a copy of a slice from a DataFrame\n",
      "\n",
      "See the caveats in the documentation: https://pandas.pydata.org/pandas-docs/stable/user_guide/indexing.html#returning-a-view-versus-a-copy\n",
      "  dataset.label[6749] = 'org:top_members/employees'\n",
      "<ipython-input-13-66717cfcfa24>:4: SettingWithCopyWarning: \n",
      "A value is trying to be set on a copy of a slice from a DataFrame\n",
      "\n",
      "See the caveats in the documentation: https://pandas.pydata.org/pandas-docs/stable/user_guide/indexing.html#returning-a-view-versus-a-copy\n",
      "  dataset.label[8364] = 'per:alternate_names'\n",
      "<ipython-input-13-66717cfcfa24>:5: SettingWithCopyWarning: \n",
      "A value is trying to be set on a copy of a slice from a DataFrame\n",
      "\n",
      "See the caveats in the documentation: https://pandas.pydata.org/pandas-docs/stable/user_guide/indexing.html#returning-a-view-versus-a-copy\n",
      "  dataset.label[11511] = 'no_relation'\n"
     ]
    }
   ],
   "source": [
    "dataset.label[3296] = 'no_relation'\n",
    "dataset.label[25094] = 'org:members'\n",
    "dataset.label[6749] = 'org:top_members/employees'\n",
    "dataset.label[8364] = 'per:alternate_names'\n",
    "dataset.label[11511] = 'no_relation'\n",
    "\n",
    "# 위의 방식일 경우 SettingWithCopyWarning 발생\n",
    "# https://emilkwak.github.io/pandas-dataframe-settingwithcopywarning\n",
    "# 원본을 바꿀 것이기 때문에 그냥 사용함\n",
    "\n",
    "\n",
    "# -------------------------무시-------------------------\n",
    "\n",
    "# dataset_copy = dataset.copy()[3296:3296+5]\n",
    "# dataset_copy.label[3296] = 'no_relation'\n",
    "\n",
    "# dataset_copy = dataset.copy()[25094:25094+5]\n",
    "# dataset_copy.label[25094] = 'no_relation'\n",
    "\n",
    "# dataset_copy = dataset.copy()[6749:6749+5]\n",
    "# dataset_copy.label[6749] = 'org:top_members/employees'\n",
    "\n",
    "# dataset_copy = dataset.copy()[8364:8364+5]\n",
    "# dataset_copy.label[8364] = 'per:alternate_names'\n",
    "\n",
    "# dataset_copy = dataset.copy()[3296:3296+5]\n",
    "# dataset_copy.label[11511] = 'no_relation'\n",
    "\n",
    "# 위의 방식일 경우 \n",
    "# 다른 행들을 저장할 수 없음\n",
    "\n",
    "\n",
    "# dataset_copy = dataset.copy()[:]\n",
    "# dataset_copy.label[3296] = 'no_relation'\n",
    "# dataset_copy.label[25094] = 'no_relation'\n",
    "# dataset_copy.label[6749] = 'org:top_members/employees'\n",
    "# dataset_copy.label[8364] = 'per:alternate_names'\n",
    "# dataset_copy.label[11511] = 'no_relation'\n",
    "\n",
    "# 위의 방식일 경우 SettingWithCopyWarning 발생\n",
    "# https://emilkwak.github.io/pandas-dataframe-settingwithcopywarning\n",
    "\n",
    "# -------------------------무시-------------------------"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "id": "84bb2353-b926-4a81-a416-76d68103d2e8",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'no_relation'"
      ]
     },
     "execution_count": 14,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# 수정 데이터 확인\n",
    "# dataset.label[3296]\n",
    "# dataset.label[25094]\n",
    "# dataset.label[6749]\n",
    "# dataset.label[8364]\n",
    "dataset.label[11511]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "id": "1b1c8bd5",
   "metadata": {},
   "outputs": [],
   "source": [
    "# 중복 데이터 처음 값 하나씩 남겨두고 삭제\n",
    "dataset.drop_duplicates(['sentence', 'subject_entity', 'object_entity'], keep='first', inplace=True)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "id": "0bba410b",
   "metadata": {},
   "outputs": [],
   "source": [
    "dataset.to_csv(\"../dataset/train/train.csv\", sep=\",\", index = False)"
   ]
  }
 ],
 "metadata": {
  "interpreter": {
   "hash": "98b0a9b7b4eaaa670588a142fd0a9b87eaafe866f1db4228be72b4211d12040f"
  },
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.8.5"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}