0205-similarity-seoul-120-input.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "1kpwaWyzo1Yr"
   },
   "source": [
    "🌱 인프런 📚 모두의 한국어 텍스트 분석과 자연어처리 with 파이썬 🐍 https://inf.run/FX4TP\n",
    "\n",
    "\n",
    "[![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/github/corazzon/python-text-analysis/blob/main/0205-similarity-seoul-120-input.ipynb)\n",
    "\n",
    "\n",
    "## 문서 유사도 분석\n",
    "* 각 단어를 축으로 하는 특성 공간(feature space)에서 문서들을 하나의 위치로 보고 특성 공간 상에서 거리를 이용해 두 문서의 유사성(similarity)을 측정하는 방식\n",
    "    * 코사인 유사도(cosine similarity) : 두 벡터 간의 각도의 코사인 값을 이용하여 유사도를 계산, 크기가 아닌 방향성에 중점, 벡터의 길이(문서의 길이)에 영향을 받지 않음\n",
    "    * 유클리드 거리(euclidean distance) : '직선 거리'를 계산, 클러스터링, 위치 기반 서비스, 이미지 처리 등에 사용\n",
    "    * 맨해튼 거리(Manhattan distance) : 경로의 절대적인 길이를 측정, 격자 형태의 경로를 따라 계산되는 거리 측정 방법\n",
    "    * 피어슨 유사도 (Pearson Similarity) : 데이터의 평균값에 대한 각 데이터 포인트의 상대적 위치를 기반으로 측정\n",
    "    * 자카드 유사도(Jaccard similarity) : 두 집합 간의 공통 원소의 비율을 측정\n",
    "\n",
    "\n",
    "## 라이브러리 로드"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# !pip install koreanize-matplotlib"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "7jEmmKL0o1Ys"
   },
   "outputs": [],
   "source": [
    "# 필요 라이브러리를 로드합니다.\n",
    "import pandas as pd\n",
    "import numpy as np\n",
    "import seaborn as sns\n",
    "import matplotlib.pyplot as plt\n",
    "import koreanize_matplotlib"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "3MzjjX3ho1Ys"
   },
   "source": [
    "## 데이터 로드\n",
    "\n",
    "### 서울특별시 다산콜센터(☎120)의 주요 민원\n",
    "* 서울특별시 다산콜센터(☎120)의 주요 민원(자주 묻는 질문)에 대한 답변정보\n",
    "* https://opengov.seoul.go.kr/civilappeal/list"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "executionInfo": {
     "elapsed": 387,
     "status": "ok",
     "timestamp": 1695284077511,
     "user": {
      "displayName": "Joeun Park",
      "userId": "17163383815352082166"
     },
     "user_tz": -540
    },
    "id": "s11JARRabZjF",
    "outputId": "33797291-6443-4ad2-9ca6-eb0098614ccd"
   },
   "outputs": [],
   "source": [
    "df = pd.read_csv(\"https://bit.ly/seoul-120-text-csv\")\n",
    "df.shape"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# head\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/",
     "height": 53
    },
    "executionInfo": {
     "elapsed": 5,
     "status": "ok",
     "timestamp": 1695283840877,
     "user": {
      "displayName": "Joeun Park",
      "userId": "17163383815352082166"
     },
     "user_tz": -540
    },
    "id": "otWESxHlbZjG",
    "outputId": "82a19883-793c-485f-b8de-06efb1fe92f7"
   },
   "outputs": [],
   "source": [
    "# 중복데이터가 있는지 확인합니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "executionInfo": {
     "elapsed": 2,
     "status": "ok",
     "timestamp": 1695283841425,
     "user": {
      "displayName": "Joeun Park",
      "userId": "17163383815352082166"
     },
     "user_tz": -540
    },
    "id": "YXAtNDKco1Yv",
    "outputId": "4350cb9d-44c6-43a4-f56c-71b1bf70b3d1",
    "scrolled": false
   },
   "outputs": [],
   "source": [
    "# 결측치를 확인합니다.\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "lMII7R0go1Yx"
   },
   "source": [
    "## 벡터화"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/",
     "height": 112
    },
    "executionInfo": {
     "elapsed": 7,
     "status": "ok",
     "timestamp": 1695283842461,
     "user": {
      "displayName": "Joeun Park",
      "userId": "17163383815352082166"
     },
     "user_tz": -540
    },
    "id": "oxcuJF0akErO",
    "outputId": "817aecd7-2755-4c79-85ca-bb8c51d55154"
   },
   "outputs": [],
   "source": [
    "# 제목내용 파생변수 만들기\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/",
     "height": 74
    },
    "executionInfo": {
     "elapsed": 979,
     "status": "ok",
     "timestamp": 1695283844164,
     "user": {
      "displayName": "Joeun Park",
      "userId": "17163383815352082166"
     },
     "user_tz": -540
    },
    "id": "tEUNepLOo1Y1",
    "outputId": "6742d468-529f-456f-aa22-9ddeb465ef39"
   },
   "outputs": [],
   "source": [
    "# TfidfVectorizer\n",
    "# tfidfvect"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "executionInfo": {
     "elapsed": 287,
     "status": "ok",
     "timestamp": 1695283845492,
     "user": {
      "displayName": "Joeun Park",
      "userId": "17163383815352082166"
     },
     "user_tz": -540
    },
    "id": "1IyqqMlcj_SI",
    "outputId": "1e168e0b-221d-4cc8-f44c-ab996675c35e"
   },
   "outputs": [],
   "source": [
    "# dtm"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "ft2MvWD57MjT"
   },
   "source": [
    "### 참고: fit, transform, fit_transfrom의 차이점\n",
    "- fit(): 원시 문서에 있는 모든 토큰의 어휘 사전을 배웁니다.\n",
    "- transform(): 문서를 문서 용어 매트릭스로 변환합니다. transform 이후엔 매트릭스로 변환되어 숫자형태로 변경됩니다.\n",
    "- fit_transform(): 어휘 사전을 배우고 문서 용어 매트릭스를 반환합니다. fit 다음에 변환이 오는 것과 동일하지만 더 효율적으로 구현됩니다.\n",
    "\n",
    "* API Document: https://scikit-learn.org/stable/modules/generated/sklearn.feature_extraction.text.CountVectorizer.html#sklearn.feature_extraction.text.CountVectorizer.fit_transform"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "UKEXeuKQo1Y1"
   },
   "outputs": [],
   "source": [
    "# 문장에서 노출되는 feature(특징이 될만한 단어) 수를 합한 변수 Document Term Matrix(이하 dtm)를 생성합니다.\n",
    "# df_dtm_tfidf"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "executionInfo": {
     "elapsed": 324,
     "status": "ok",
     "timestamp": 1695283881472,
     "user": {
      "displayName": "Joeun Park",
      "userId": "17163383815352082166"
     },
     "user_tz": -540
    },
    "id": "l61luP9mo1Y2",
    "outputId": "4077b9af-4f40-4594-ff95-3f42f2e9abae"
   },
   "outputs": [],
   "source": [
    "# 각 row에서 전체 단어가방에 있는 어휘에서 등장하는 단어에 대한 가중치를 적용한 vector를 확인합니다.\n",
    "# df_dtm_tfidf\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "5SfyYdvZo1Y3"
   },
   "source": [
    "## 코사인 유사도\n",
    "\n",
    "\n",
    "<img src=\"https://i.imgur.com/RdPPH33.png\">\n",
    "* 이미지 출처 : https://pyimagesearch.com/\n",
    "\n",
    "<img src=\"https://storage.googleapis.com/lds-media/images/cosine-similarity-vectors.original.jpg\">\n",
    "* 이미지 출처 : https://www.learndatasci.com/glossary/cosine-similarity/\n",
    "\n",
    "\n",
    "\n",
    "\n",
    "- 내적 공간 내에서 두 벡터 사이의 코사인 각도를 구하는 방법( –1∼1 사이 값을 가지며, 1에 가까울수록 유사도가 높음)\n",
    "- 벡터의 크기가 아닌 방향의 유사도를 판단하는 목적으로 사용되며, 두 벡터의 방향이 완전히 같을 경우 1, 90°의 각을 이룰 경우 0, 180°로 완전히 반대 방향인 경우 -1의 값을 갖음 >> 코사인 유사도에서는 각 데이터 간의 각도가 작을 수록 데이터가 비슷\n",
    "- 장점: 어떤 개수의 차원에도 적용할 수 있지만 흔히 다차원의 양수 공간에서의 유사도 측정에서 자주 이용\n",
    "- 단점: 상호 상관관계를 가지는 특성(키, 몸무게 등)를 갖는 원소들간의 유사도를 계산할때에 성능이 낮음\n",
    "\n",
    "\n",
    "* 코사인 유사도는 원점(모든 단어의 빈도가 0인 경우)에서 보았을 때 두 문서의 각도에 바탕을 둔 거리 측정 방식\n",
    "* 내적공간의 두 벡터간 각도의 코사인값을 이용하여 측정된 벡터간의 유사한 정도를 의미한다. 각도가 0°일 때의 코사인값은 1이며, 다른 모든 각도의 코사인값은 1보다 작다. 따라서 이 값은 벡터의 크기가 아닌 방향의 유사도를 판단하는 목적으로 사용되며, 두 벡터의 방향이 완전히 같을 경우 1, 90°의 각을 이룰 경우 0, 180°로 완전히 반대 방향인 경우 -1의 값을 갖는다. 이 때 벡터의 크기는 값에 아무런 영향을 미치지 않는다. 코사인 유사도는 특히 결과값이 [0,1]의 범위로 떨어지는 양수 공간에서 사용된다.\n",
    "* 코사인 유사도는 어떤 개수의 차원에도 적용이 가능하여 흔히 다차원의 양수 공간에서의 유사도 측정에 자주 이용된다. 예를 들어 정보 검색 및 텍스트 마이닝 분야에서, 단어 하나 하나는 각각의 차원을 구성하고 문서는 각 단어가 문서에 나타나는 회수로 표현되는 벡터값을 가진다. 이러한 다차원 공간에서 코사인 유사도는 두 문서의 유사를 측정하는 매우 유용한 방법이다.\n",
    "* 코사인 유사도는 데이터 마이닝 분야에서 클러스터들간의 응집도를 측정하는 방법으로도 사용된다.\n",
    "\n",
    "* 출처: https://ko.wikipedia.org/wiki/%EC%BD%94%EC%82%AC%EC%9D%B8_%EC%9C%A0%EC%82%AC%EB%8F%84\n",
    "* API Document: https://scikit-learn.org/stable/modules/generated/sklearn.metrics.pairwise.cosine_similarity.html\n",
    "\n",
    "\n",
    "\n",
    "$$ \\text{{Cosine Similarity}}(A, B) = \\frac{{A \\cdot B}}{{\\|A\\|\\|B\\|}} = \\frac{{\\sum^n_{i=1}A_iB_i}}{{\\sqrt{\\sum^n_{i=1}A_i^2}\\sqrt{\\sum^n_{i=1}B_i^2}}} $$\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "XiRyNAtSbZjK"
   },
   "source": [
    "https://scikit-learn.org/stable/modules/generated/sklearn.metrics.pairwise.cosine_similarity.html#sklearn-metrics-pairwise-cosine-similarity"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "executionInfo": {
     "elapsed": 1683,
     "status": "ok",
     "timestamp": 1695282301747,
     "user": {
      "displayName": "Joeun Park",
      "userId": "17163383815352082166"
     },
     "user_tz": -540
    },
    "id": "AC98n4w5o1Y3",
    "outputId": "863f225f-6e28-4929-ed46-6bc17aa7fc46"
   },
   "outputs": [],
   "source": [
    "# sklearn.metrics.pairwise 에서 cosine_similarity 를 불러옵니다.\n",
    "# cosine_matrix"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/",
     "height": 457
    },
    "executionInfo": {
     "elapsed": 907,
     "status": "ok",
     "timestamp": 1695282302911,
     "user": {
      "displayName": "Joeun Park",
      "userId": "17163383815352082166"
     },
     "user_tz": -540
    },
    "id": "c2av-wxhbZjK",
    "outputId": "530a9c18-aacc-48c3-b4ad-be69469571b7"
   },
   "outputs": [],
   "source": [
    "# heatmap cosine_matrix[:100, :100]\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "_Fl13qB5bZjK"
   },
   "source": [
    "## 유사도가 높은 문서"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "FJFB-n4Lo1Y3"
   },
   "outputs": [],
   "source": [
    "# 유사도가 높은 순으로 정렬합니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 유사도 정렬\n",
    "# df_consine = df[[\"번호\", \"제목\"]].copy()\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "QO-owdewbZjK"
   },
   "source": [
    "## 유사도가 낮은 문서"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/",
     "height": 710
    },
    "executionInfo": {
     "elapsed": 437,
     "status": "ok",
     "timestamp": 1695282487691,
     "user": {
      "displayName": "Joeun Park",
      "userId": "17163383815352082166"
     },
     "user_tz": -540
    },
    "id": "RXCQLJKGo1Y3",
    "outputId": "1ea2233f-68b6-423c-b9d3-12dd24e2095b"
   },
   "outputs": [],
   "source": [
    "# 유사도가 높은 순\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 유사도가 높은 문서 찾는 함수 만들기"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# find_similarity\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "WvgfJ7vmo1Y3"
   },
   "outputs": [],
   "source": [
    "# find_similarity(75)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "UTBQcCjObZjK"
   },
   "source": [
    "## 유클리드 유사도\n",
    "\n",
    "- 유클리드 거리(Euclidean distance)는 두 점 사이의 거리를 계산할 때 흔히 쓰는 방법으로 유클리드 공간에서의 기하학적 최단 거리(직선 거리) >> 유클리드 거리의 값이 가장 작다는 것은 문서 간 거리가 가장 가깝다는 것을 의미\n",
    "- 장점: 계산하기 쉬움\n",
    "- 단점: 결과 값이 1보다 큰 값이 나올 수 있으므로 값을 제한하는 과정이 필요, 분포가 다르거나 범위가 다른 경우에 상관성을 놓침\n",
    "- 유클리드 거리는 두 벡터 간의 직선 거리를 계산하는 방법으로, 텍스트 데이터에 대해서는 코사인 유사도보다 덜 효과적일 수 있습니다. \n",
    "- 텍스트의 차원이 높거나 데이터가 희소할 경우, 유클리드 거리는 유용한 정보를 제공하기 어려울 수 있습니다. 따라서, 텍스트 데이터에 대한 유사도 측정에는 코사인 유사도 또는 다른 방법을 고려하는 것이 좋습니다.\n",
    "\n",
    "<img src=\"https://upload.wikimedia.org/wikipedia/commons/thumb/c/cf/DistanceFromAtoB001.svg/800px-DistanceFromAtoB001.svg.png\" width=\"300\">\n",
    "\n",
    "\n",
    "\n",
    "$$ \\text{{Euclidean Distance}}(A, B) = \\sqrt{\\sum^n_{i=1}(A_i - B_i)^2} $$\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "JisCvyuKbZjL"
   },
   "outputs": [],
   "source": [
    "# sklearn.metrics.pairwise에서 euclidean_distances 불러오기\n",
    "# 유사도값을 0~1로 만들기\n",
    "#     dist(x, y) = sqrt(dot(x, x) - 2 * dot(x, y) + dot(y, y))\n",
    "# ed_similarity"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 최소, 최댓값 확인\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 거리가 가장 가까운 값을 1로 만들기\n",
    "# ed_matrix"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "TP3BjL7abZjL"
   },
   "outputs": [],
   "source": [
    "# heatmap (속도가 오래 걸리니 100*100 정도를 추천합니다.)\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 유사도가 높은 문서를 반환하는 함수 만들기"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "0SKIe7j7vAo9"
   },
   "outputs": [],
   "source": [
    "# find_similarity_idx\n",
    "# def find_similarity_idx(idx, sim_matrix, n=10):\n",
    "#     \"\"\"유사도가 높은 문서를 반환\"\"\"\n",
    "    "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# find_similarity_idx(142, ed_matrix)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "YciY8NqYbZjL"
   },
   "source": [
    "## 피어슨 유사도\n",
    "\n",
    "- 두 벡터가 주어졌을 때의 상관관계를 계산하며 각 벡터의 표본평균으로 정규화하고, 코사인 유사도를 산출하면 피어슨 유사도\n",
    "- 피어슨 유사도가 1이면 양의 상관관계, -1이면 음의 상관관계, 0이면 상관관계가 없음(독립)을 의미\n",
    "- 장점: 양적 변수들 사이의 선형관계를 확인하기 쉬움. 코사인 유사도의 평점 부분에 각 유저의 평균값을 뺀 값 확인 가능\n",
    "- 단점: 코사인 유사도와 마찬가지로 벡터가 지닌 스칼라들의 값의 크기에 대한 고려를 하지 않음\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "umfG1wXFbZjL"
   },
   "outputs": [],
   "source": [
    "# np.corrcoef\n",
    "# pearson_sim"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 최소, 최댓값 확인\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/",
     "height": 457
    },
    "executionInfo": {
     "elapsed": 802,
     "status": "ok",
     "timestamp": 1695284693649,
     "user": {
      "displayName": "Joeun Park",
      "userId": "17163383815352082166"
     },
     "user_tz": -540
    },
    "id": "8jo6K9z2bZjL",
    "outputId": "78cd8425-af27-44d6-829d-7b5cc31e756d"
   },
   "outputs": [],
   "source": [
    "# heatmap (속도가 오래 걸리니 100*100 정도를 추천합니다.)\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "NkGIEeTibZjL"
   },
   "outputs": [],
   "source": [
    "# find_similarity_idx\n",
    "# def find_similarity_idx(idx, sim_matrix, n=10):\n",
    "#     \"\"\"유사도가 높은 문서를 반환\"\"\"\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "3KVws05_bZjL"
   },
   "outputs": [],
   "source": [
    "# find_similarity_idx(0, pearson_sim)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "bsKSo1C-bZjL"
   },
   "source": [
    "## 자카드 유사도\n",
    "\n",
    "* 자카드 지수(Jaccard index)는 두 집합 사이의 유사도를 측정하는 방법 중 하나이다. 자카드 계수(Jaccard coefficient) 또는 자카드 유사도(Jaccard similarity)라고도 한다. 자카드 지수는 0과 1 사이의 값을 가지며, 두 집합이 동일하면 1의 값을 가지고, 공통의 원소가 하나도 없으면 0의 값을 가진다.\n",
    "- 두 문장을 각 단어의 집합으로 생성 한 뒤, 생성된 집합을 통해 유사도를 측정(고객 간 유사도)\n",
    "- 0,1의 바이너리 데이터로 만든 이후에, 합집합과 교집합 사이의 비율로 나타냄(집합의 개념을 이용)\n",
    "- 얼마나 많은 아이템을 동시에 갖고 있는가?를 수치로 환산하며, 함께 갖고 있는 아이템이 없다면 0, 아이템 전체가 겹치면 1로 계산\n",
    "- 장점: 대표적인 이진 평가(binary feedback)에 대한 유사도를 측정할 수 있는 지표, 동시출현빈도(co-occurrence) 고려\n",
    "- 단점: 데이터가 순서나 양을 갖는 집합 데이터라면 낮은 성능을 보임\n",
    "\n",
    "\n",
    "<img src=\"https://upload.wikimedia.org/wikipedia/commons/c/c7/Intersection_over_Union_-_visual_equation.png\" width=\"500\">\n",
    "\n",
    "<img src=\"https://upload.wikimedia.org/wikipedia/commons/e/e6/Intersection_over_Union_-_poor%2C_good_and_excellent_score.png\" width=\"500\">\n",
    "\n",
    "\n",
    "\n",
    "$$ \\text{{Jaccard Similarity}}(A, B) = \\frac{{|A \\cap B|}}{{|A \\cup B|}} $$"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "executionInfo": {
     "elapsed": 94229,
     "status": "ok",
     "timestamp": 1695284323917,
     "user": {
      "displayName": "Joeun Park",
      "userId": "17163383815352082166"
     },
     "user_tz": -540
    },
    "id": "wn94TaJ-bZjL",
    "outputId": "a6c332e7-a5fb-46eb-d512-d658d78589b9"
   },
   "outputs": [],
   "source": [
    "# sklearn.metrics.pairwise 에서 pairwise_distances 불러오기\n",
    "# jaccard_matrix"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 최소, 최댓값 확인\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# jaccard_sim"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/",
     "height": 457
    },
    "executionInfo": {
     "elapsed": 953,
     "status": "ok",
     "timestamp": 1695284374194,
     "user": {
      "displayName": "Joeun Park",
      "userId": "17163383815352082166"
     },
     "user_tz": -540
    },
    "id": "D3UJbbvLbZjM",
    "outputId": "d136c686-46d0-4df2-b4d4-59b0472f17c9"
   },
   "outputs": [],
   "source": [
    "# heatmap (속도가 오래 걸리니 100*100 정도를 추천합니다.)\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/",
     "height": 484
    },
    "executionInfo": {
     "elapsed": 379,
     "status": "ok",
     "timestamp": 1695284486083,
     "user": {
      "displayName": "Joeun Park",
      "userId": "17163383815352082166"
     },
     "user_tz": -540
    },
    "id": "CrX7XtpLbZjM",
    "outputId": "988fa935-4a28-4691-b263-dd44dcbe892f"
   },
   "outputs": [],
   "source": [
    "# find_similarity_idx(0, jaccard_sim)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "czvS2i5_bZjM"
   },
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "GuomGX3bbZjM"
   },
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "colab": {
   "provenance": [
    {
     "file_id": "1mDCAatWOEOdSfiU9iGwi_hJG4G7AUmO7",
     "timestamp": 1695279387518
    }
   ],
   "toc_visible": true
  },
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.11.4"
  },
  "toc": {
   "base_numbering": 1,
   "nav_menu": {},
   "number_sections": false,
   "sideBar": false,
   "skip_h1_title": false,
   "title_cell": "Table of Contents",
   "title_sidebar": "Contents",
   "toc_cell": false,
   "toc_position": {
    "height": "calc(100% - 180px)",
    "left": "10px",
    "top": "150px",
    "width": "255.998px"
   },
   "toc_section_display": false,
   "toc_window_display": false
  },
  "varInspector": {
   "cols": {
    "lenName": 16,
    "lenType": 16,
    "lenVar": 40
   },
   "kernels_config": {
    "python": {
     "delete_cmd_postfix": "",
     "delete_cmd_prefix": "del ",
     "library": "var_list.py",
     "varRefreshCmd": "print(var_dic_list())"
    },
    "r": {
     "delete_cmd_postfix": ") ",
     "delete_cmd_prefix": "rm(",
     "library": "var_list.r",
     "varRefreshCmd": "cat(var_dic_list()) "
    }
   },
   "types_to_exclude": [
    "module",
    "function",
    "builtin_function_or_method",
    "instance",
    "_Feature"
   ],
   "window_display": false
  }
 },
 "nbformat": 4,
 "nbformat_minor": 1
}