notebook/annie_presentation.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Annie\n",
    "====\n",
    "\n",
    "### 통계기반 한국어 개체명 인식기\n",
    "\n",
    "* 2016년 10월 7일\n",
    "* 임재수 <krikit@naver.com>\n",
    "* https://github.com/krikit/annie"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<img src=\"https://encrypted-tbn3.gstatic.com/images?q=tbn:ANd9GcRVT1pmeWfu_BK832v-DP2jdLj5hcuyE1WmFQVlQeULyDc5FTOq\" width=300 />\n",
    "\n",
    "\n",
    "목차\n",
    "----\n",
    "1. 개체명 인식 개요\n",
    "2. 사전 매칭 (Baseline)\n",
    "3. CRF 기반 개체명 인식기\n",
    "4. SVM 기반 인명 분류기\n",
    "5. 성능 평가"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "1. 개체명 인식 개요\n",
    "----\n",
    "\n",
    "### [IOB2 태깅](https://en.wikipedia.org/wiki/Inside_Outside_Beginning)\n",
    "\n",
    "```\n",
    "The IOB format (short for Inside, Outside, Beginning) is a common tagging format for tagging tokens in a chunking task in computational linguistics (ex. Named Entity Recognition).\n",
    "-- from Wikipedia\n",
    "```\n",
    "\n",
    "* 예\n",
    "\n",
    "| 형태소  | 태그 |\n",
    "|--------|-----|\n",
    "| 박항서  | B-PS |\n",
    "| 전남    | B-OG |\n",
    "| 드래곤즈 | I-OG |\n",
    "| 감독    | O    |\n",
    "\n",
    "\n",
    "* 개체명을 인식하는 문제\n",
    "    - <img src=\"img/arrow_down.png\" style=\"height: 20px\" align=\"left\" />\n",
    "* 개체명의 경계와 종류를 결정하는 문제\n",
    "    - <img src=\"img/arrow_down.png\" style=\"height: 20px\" align=\"left\" />\n",
    "* 각 형태소의 IOB2 태그를 분류하는 문제\n",
    "\n",
    "\n",
    "<img src=\"http://core0.staticworld.net/images/article/2014/04/blank-tag-isolated-on-white-95754104-100264644-primary.idge.jpg\" width=300 />"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "collapsed": true
   },
   "source": [
    "2. 사전 매칭 (Baseline)\n",
    "----\n",
    "\n",
    "### 사전 구축\n",
    "\n",
    "* 코퍼스와 함께 배포한 사전(gazette) + 학습 코퍼스(train.json)으로부터 추출한 사전\n",
    "    - <img src=\"img/arrow_down.png\" style=\"height: 20px\" align=\"left\" />\n",
    "* gazette.annie\n",
    "\n",
    "\n",
    "* 동일한 표제어에 대해 카테고리가 여럿인 경우\n",
    "    - <img src=\"img/arrow_down.png\" style=\"height: 20px\" align=\"left\" />\n",
    "* 빈도가 높은 순으로 정렬하여 저장\n",
    "\n",
    "```\n",
    "맨체스터    LC,OG\n",
    "전주    LC,OG,DT\n",
    "```\n",
    "\n",
    "### 날짜/시간 정규화\n",
    "\n",
    "* 날짜(DT)와 시간(TI)의 경우 숫자를 많이 사용\n",
    "    - <img src=\"img/arrow_down.png\" style=\"height: 20px\" align=\"left\" />\n",
    "* 숫자를 그대로 매칭하면 히트율이 낮음\n",
    "    - <img src=\"img/arrow_down.png\" style=\"height: 20px\" align=\"left\" />\n",
    "* 숫자를 모두 0으로 정규화\n",
    "\n",
    "```\n",
    "2016년 10월 7일  =>  0000년 00년 0일\n",
    "```\n",
    "\n",
    "* 사전을 정규화하여 저장, 입력 문장도 정규화한 다음, 날짜/시간 표현을 우선적으로 매칭 시도\n",
    "\n",
    "### Baseline 시스템\n",
    "\n",
    "* 사전 매칭한 다음 가장 빈도가 높은 카테고리를 선택\n",
    "* 1음절 개체명은 제거\n",
    "\n",
    "\n",
    "* 성능 개요 (dev 코퍼스)\n",
    "    - Precision: 0.7129\n",
    "    - Recall:    0.7174\n",
    "    - F1-score:  0.7152\n",
    "\n",
    "\n",
    "* 카테고리별 성능 상세\n",
    "\n",
    "```\n",
    "======== DT ========\n",
    "# of NEs in gold standard: 316\n",
    "# of NEs in test file    : 386\n",
    "# of NEs in both(matched): 246\n",
    "Precision: 0.6373\n",
    "Recall:    0.7785\n",
    "F1-score:  0.7009\n",
    "\n",
    "======== LC ========\n",
    "# of NEs in gold standard: 238\n",
    "# of NEs in test file    : 359\n",
    "# of NEs in both(matched): 209\n",
    "Precision: 0.5822\n",
    "Recall:    0.8782\n",
    "F1-score:  0.7002\n",
    "\n",
    "======== OG ========\n",
    "# of NEs in gold standard: 412\n",
    "# of NEs in test file    : 383\n",
    "# of NEs in both(matched): 292\n",
    "Precision: 0.7624\n",
    "Recall:    0.7087\n",
    "F1-score:  0.7346\n",
    "\n",
    "======== PS ========\n",
    "# of NEs in gold standard: 581\n",
    "# of NEs in test file    : 403\n",
    "# of NEs in both(matched): 356\n",
    "Precision: 0.8834\n",
    "Recall:    0.6127\n",
    "F1-score:  0.7236\n",
    "\n",
    "======== TI ========\n",
    "# of NEs in gold standard: 42\n",
    "# of NEs in test file    : 68\n",
    "# of NEs in both(matched): 37\n",
    "Precision: 0.5441\n",
    "Recall:    0.8810\n",
    "F1-score:  0.6727\n",
    "```\n",
    "\n",
    "### 관련 코드\n",
    "\n",
    "* 사전 핸들링 라이브러리: [lib/gazette.py](https://github.com/krikit/annie/blob/master/lib/gazette.py)\n",
    "* 사전 구축 프로그램: [bin/build_gazette.py](https://github.com/krikit/annie/blob/master/bin/build_gazette.py)\n",
    "* 베이스라인 태깅 프로그램: [bin/baseline.py](https://github.com/krikit/annie/blob/master/bin/baseline.py)\n",
    "\n",
    "\n",
    "<img src=\"https://lh4.ggpht.com/rLVQGRVlKPEPlzMh-Vp6wHr6y6ELJdCTpxENwt_TKBNDw_pReiCAwDvE27t-jlTJfw=w170\" width=200 />"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "3. CRF 기반 개체명 인식기\n",
    "----\n",
    "\n",
    "### 자질\n",
    "\n",
    "* 좌/우 주변 -2 ~ +2 위치의 5개 형태소 기반\n",
    "    - 형태소, 형태소 bigram\n",
    "    - 품사 태그 및 그 bigram, trigram\n",
    "    - gazzete 사전 매칭 IOB2 태그 및 그 bigram, trigram\n",
    "    - 1, 2음절 prefix/suffix\n",
    "    - 형태소의 길이 (단독으로 사용하지 않고 아래의 조합만 사용)\n",
    "        * gazette 사전 매칭 + 길이\n",
    "        * 1, 2음절 prefix/suffix + 길이\n",
    "    - lexical form(pattern)\n",
    "        * 한글 -> '가', 한자 -> '漢', 영문 -> 'A', 숫자 -> '0', 기호 -> '.'\n",
    "        ```\n",
    "        박근혜  =>  가가가\n",
    "        Obama  =>  AAAAA\n",
    "        2016년  => 0000가\n",
    "        지이언-T  =>  가가가.A\n",
    "        ```\n",
    "    - begin/end of sentence  =>  BOS, EOS\n",
    "    - begin/middle/end of word(어절)  =>  BOW, MOW, EOW\n",
    "    - 이전 어절의 마지막 형태소, 다음 어절의 첫 형태소 및 그 결합\n",
    "\n",
    "### 성능\n",
    "\n",
    "* 성능 개요 (dev 코퍼스)\n",
    "    - Precision: 0.8816\n",
    "    - Recall:    0.7495\n",
    "    - F1-score:  0.8102\n",
    "\n",
    "\n",
    "* 카테고리별 성능 상세\n",
    "\n",
    "```\n",
    "======== DT ========\n",
    "# of NEs in gold standard: 316\n",
    "# of NEs in test file    : 304\n",
    "# of NEs in both(matched): 276\n",
    "Precision: 0.9079\n",
    "Recall:    0.8734\n",
    "F1-score:  0.8903\n",
    "\n",
    "======== LC ========\n",
    "# of NEs in gold standard: 238\n",
    "# of NEs in test file    : 285\n",
    "# of NEs in both(matched): 216\n",
    "Precision: 0.7579\n",
    "Recall:    0.9076\n",
    "F1-score:  0.8260\n",
    "\n",
    "======== OG ========\n",
    "# of NEs in gold standard: 412\n",
    "# of NEs in test file    : 327\n",
    "# of NEs in both(matched): 285\n",
    "Precision: 0.8716\n",
    "Recall:    0.6917\n",
    "F1-score:  0.7713\n",
    "\n",
    "======== PS ========\n",
    "# of NEs in gold standard: 581\n",
    "# of NEs in test file    : 393\n",
    "# of NEs in both(matched): 376\n",
    "Precision: 0.9567\n",
    "Recall:    0.6472\n",
    "F1-score:  0.7721\n",
    "\n",
    "======== TI ========\n",
    "# of NEs in gold standard: 42\n",
    "# of NEs in test file    : 42\n",
    "# of NEs in both(matched): 38\n",
    "Precision: 0.9048\n",
    "Recall:    0.9048\n",
    "F1-score:  0.9048\n",
    "```\n",
    "\n",
    "### 분석\n",
    "\n",
    "* 개체명 중 인명(PS)의 비율이 높은 데 반해 시스템의 재현율이 가장 낮음\n",
    "    - <img src=\"img/arrow_down.png\" style=\"height: 20px\" align=\"left\" />\n",
    "* 인명을 별도로 인식하는 후처리 분류기\n",
    "* 실험 노트\n",
    "    - 인명 후보 Histogram: [NNP+NNG_2+3](NNP+NNG_2+3.ipynb)\n",
    "    - 인명 Histogram: [ps_histogram](ps_histogram.ipynb)\n",
    "\n",
    "### 관련 코드\n",
    "\n",
    "* 자질 추출 라이브러리: [lib/feature.py](https://github.com/krikit/annie/blob/master/lib/feature.py)\n",
    "* JSON 입력을 자질 형태로 변환 프로그램: [bin/json2feat.py](https://github.com/krikit/annie/blob/master/bin/json2feat.py)\n",
    "* CRFsuite IOB 태깅 결과를 JSON으로 변환 프로그램: [bin/iob2json.py](https://github.com/krikit/annie/blob/master/bin/iob2json.py)\n",
    "\n",
    "\n",
    "<img src=\"https://folio.openknowl.com/old/image/a91423e0146427b339968cee1e576b47.jpg\" width=300 />"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "4. SVM 기반 인명 분류기\n",
    "----\n",
    "\n",
    "### 적용 범위\n",
    "\n",
    "* CRF 태깅 결과 개체명이 아닌 단일 형태소 중 3음절의 NNP 품사를 갖는 형태소에 대해 수행\n",
    "    - <img src=\"img/arrow_down.png\" style=\"height: 20px\" align=\"left\" />\n",
    "* B-PS 혹은 O를 판단하는 binary 분류기\n",
    "\n",
    "### 자질\n",
    "\n",
    "* 코퍼스와 함께 배포된 pretrained word2vec 사용\n",
    "    - skip-gram, window 5, 50차원\n",
    "    - 조사를 포함하는 형태소 단위\n",
    "    - key: '형태소/품사태그' 조합\n",
    "    - 숫자는 'NUM/SN'으로 정규화\n",
    "\n",
    "\n",
    "* 인명을 분류하려는 형태소 및 좌우 2개의 형태소 (250차원)\n",
    "\n",
    "\n",
    "* OOV(out of vocabulary) 형태소의 처리\n",
    "    - 동일 품사를 갖는 모든 벡터의 centroid(평균 벡터)를 사용\n",
    "\n",
    "### 학습\n",
    "\n",
    "* train 코퍼스에서 3음절이며 NNP 품사를 갖는 모든 형태소 중\n",
    "    - 단일 형태소가 인명인 경우 positive: 1,488건\n",
    "    - 여러 형태소이거나 인명이 아닌 경우 negative: 1,420건\n",
    "\n",
    "\n",
    "* dev 코퍼스에 적용한 적확도: 0.8964\n",
    "\n",
    "\n",
    "* 실험 노트\n",
    "    - 인명 분류기: [ps_classifier](ps_classifier.ipynb)\n",
    "\n",
    "### 성능\n",
    "\n",
    "* 전체 성능 개선 (dev 코퍼스)\n",
    "    - Precision: 0.8816  =>  0.8753  (-0.0063)\n",
    "    - Recall:    0.7495  =>  0.8043  (+0.0548)\n",
    "    - F1-score:  0.8102  =>  0.8383  (+0.0281)\n",
    "\n",
    "\n",
    "* 인명 성능 개선\n",
    "    - Precision: 0.9567  =>  0.9223  (-0.0344)\n",
    "    - Recall:    0.6472  =>  0.7969  (+0.1497)\n",
    "    - F1-score:  0.7721  =>  0.8550  (+0.0828)\n",
    "\n",
    "### 관련 코드\n",
    "\n",
    "* word2vec 관련 라이브러리: [lib/word2vec.py](https://github.com/krikit/annie/blob/master/lib/word2vec.py)\n",
    "* 인명 추가 태깅 프로그램: [bin/tag_ps.py](https://github.com/krikit/annie/blob/master/bin/tag_ps.py)\n",
    "\n",
    "\n",
    "<img src=\"http://webimage.10x10.co.kr/image/main/21/M000214559.jpg\" width=300 />"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "5. 성능 평가\n",
    "----\n",
    "\n",
    "### test 코퍼스\n",
    "\n",
    "* NEtaggedCorpus_test.json\n",
    "\n",
    "* 성능 개요\n",
    "    - Precision: 0.8631\n",
    "    - Recall:    0.8213\n",
    "    - F1-score:  0.8417\n",
    "\n",
    "\n",
    "* 카테고리별 성능 상세\n",
    "\n",
    "```\n",
    "======== DT ========\n",
    "# of NEs in gold standard: 463\n",
    "# of NEs in test file    : 465\n",
    "# of NEs in both(matched): 401\n",
    "Precision: 0.8624\n",
    "Recall:    0.8661\n",
    "F1-score:  0.8642\n",
    "\n",
    "======== LC ========\n",
    "# of NEs in gold standard: 484\n",
    "# of NEs in test file    : 527\n",
    "# of NEs in both(matched): 425\n",
    "Precision: 0.8065\n",
    "Recall:    0.8781\n",
    "F1-score:  0.8408\n",
    "\n",
    "======== OG ========\n",
    "# of NEs in gold standard: 701\n",
    "# of NEs in test file    : 582\n",
    "# of NEs in both(matched): 506\n",
    "Precision: 0.8694\n",
    "Recall:    0.7218\n",
    "F1-score:  0.7888\n",
    "\n",
    "======== PS ========\n",
    "# of NEs in gold standard: 907\n",
    "# of NEs in test file    : 860\n",
    "# of NEs in both(matched): 766\n",
    "Precision: 0.8907\n",
    "Recall:    0.8445\n",
    "F1-score:  0.8670\n",
    "\n",
    "======== TI ========\n",
    "# of NEs in gold standard: 86\n",
    "# of NEs in test file    : 79\n",
    "# of NEs in both(matched): 71\n",
    "Precision: 0.8987\n",
    "Recall:    0.8256\n",
    "F1-score:  0.8606\n",
    "```\n",
    "\n",
    "### 의문의(?) 코퍼스\n",
    "\n",
    "* 2016klp_1000Sentences.json\n",
    "\n",
    "* 성능 개요\n",
    "    - Precision: 0.8186\n",
    "    - Recall:    0.5159\n",
    "    - F1-score:  0.6329\n",
    "\n",
    "\n",
    "* 카테고리별 성능 상세\n",
    "\n",
    "```\n",
    "======== DT ========\n",
    "# of NEs in gold standard: 602\n",
    "# of NEs in test file    : 514\n",
    "# of NEs in both(matched): 413\n",
    "Precision: 0.8035\n",
    "Recall:    0.6860\n",
    "F1-score:  0.7401\n",
    "\n",
    "======== LC ========\n",
    "# of NEs in gold standard: 883\n",
    "# of NEs in test file    : 613\n",
    "# of NEs in both(matched): 579\n",
    "Precision: 0.9445\n",
    "Recall:    0.6557\n",
    "F1-score:  0.7741\n",
    "\n",
    "======== OG ========\n",
    "# of NEs in gold standard: 678\n",
    "# of NEs in test file    : 246\n",
    "# of NEs in both(matched): 165\n",
    "Precision: 0.6707\n",
    "Recall:    0.2434\n",
    "F1-score:  0.3571\n",
    "\n",
    "======== PS ========\n",
    "# of NEs in gold standard: 596\n",
    "# of NEs in test file    : 339\n",
    "# of NEs in both(matched): 252\n",
    "Precision: 0.7434\n",
    "Recall:    0.4228\n",
    "F1-score:  0.5390\n",
    "```\n",
    "\n",
    "\n",
    "<img src=\"http://christianvisionalliance.org/wp-content/uploads/2016/06/thank-you-from-christian-vision-alliance.jpg\" width=500 />"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 2",
   "language": "python",
   "name": "python2"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 2
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython2",
   "version": "2.7.10"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 0
}