chatgpt/notebook.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "id": "endangered-eligibility",
   "metadata": {},
   "source": [
    "## ChatGPT 맛보기"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "checked-nightmare",
   "metadata": {},
   "source": [
    "### Quickstart\n",
    "\n",
    "OpenAI에서 제공하는 [Quickstart](https://platform.openai.com/docs/quickstart) 문서부터 읽기 시작\n",
    "\n",
    "OpenAI는 understanding & generating text 가 매우 좋은 cutting-edge 언어 모델을 만들어가고 있다고 함\n",
    "\n",
    "\n",
    "#### 이들이 제공하는 API를 이용하면 다음의 것들도 할 수 있음\n",
    "- Content generation\n",
    "- Summarization\n",
    "- Classification, categorization, and sentiment analysis\n",
    "- Data extraction\n",
    "- Translation\n",
    "- Many more!\n",
    "\n",
    "\n",
    "#### 코어 API는 `completions` endpoint (prompt로 입력을 주면 text를 완성해줌)\n",
    "`very advanced autocomplete` 라고 생각할 수도 있다고 함\n",
    "\n",
    "\n",
    "#### _\"Designing your prompt is essentially how you “program” the model.\"_\n",
    "앞으로 우리(엔지니어)가 해야할 일이 무엇인지 명확히 설명해주고 있음\n",
    "\n",
    "\n",
    "#### 말 이름을 지어달라는 간단한 예시로 시작\n",
    "- 간단하게 질문하자면,\n",
    "  <img src=\"res/prompt-example.png\" width=\"600\" />\n",
    "\n",
    "- 질문(instruction)에 조금 더 제약이나 힌트를 줄 수 있음. 가령, 개수를 제한한다거나\n",
    "  <img src=\"res/prompt-example-add-01.png\" width=\"600\" />\n",
    "\n",
    "- 몇 가지 예시를 제공하여 패턴을 찾을 수 있도록 한다거나\n",
    "  <img src=\"res/prompt-example-add-02.png\" width=\"600\" />\n",
    "\n",
    "- 또한, 응답 결과를 좀 더 동적으로 조절하기 위한 `temperature` 개념이 있음 (0:고정 ~ 1:동적)\n",
    "  <img src=\"res/prompt-example-temperature.gif\" width=\"600\" />"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "developing-bowling",
   "metadata": {
    "tags": []
   },
   "source": [
    "### 핸즈온, 일단 시작\n",
    "\n",
    "#### 우선, API Key가 필요\n",
    "- 가입 후에 계정 메뉴 보면 `View API Keys` 가 있음\n",
    "  <img src=\"res/hands-on-view-api-key.png\" width=\"600\" />\n",
    "\n",
    "- 여기서 `Create new secret key`를 하면 새로운 키를 발급받을 수 있음\n",
    "  <img src=\"res/hands-on-creating-secret-01.png\" width=\"600\" />\n",
    "\n",
    "- 발급 받은 키를 복사\n",
    "  <img src=\"res/hands-on-creating-secret-02.png\" width=\"600\" />"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "8a0136ce-c1f6-4a37-bc99-66f9e901ae88",
   "metadata": {
    "tags": []
   },
   "source": [
    "#### 이제 테스트해보기 위한 기본 셋업을 해보자\n",
    "\n",
    "필요한 주요 패키지는 `openai`로 일단 설치를 하고\n",
    "\n",
    "```\n",
    "$ pip install openai\n",
    "```"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "05b311bd-067f-4af3-88cd-501226c92cc3",
   "metadata": {
    "tags": []
   },
   "source": [
    "부여받은 키를 `openai`에 주입해주자"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "id": "16d57ad7-a8ef-4188-a3d9-322e18ed46e7",
   "metadata": {
    "tags": []
   },
   "outputs": [],
   "source": [
    "import os\n",
    "import openai\n",
    "import json\n",
    "from dotenv import load_dotenv\n",
    "\n",
    "load_dotenv()\n",
    "\n",
    "# .env 파일에 OPENAI_API_KEY = <generated-secret-key>\n",
    "openai.api_key = os.getenv(\"OPENAI_API_KEY\")"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "94a6cf41-e489-42c4-ba30-7b67c8e58a69",
   "metadata": {},
   "source": [
    "그리고 뭘 해볼까 잠시 머뭇거리다가...\n",
    "커피 주문을 받는 시나리오를 만들어보면 어떨까하여 첫번째 요청을 날려보았다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "id": "fatty-hostel",
   "metadata": {
    "tags": []
   },
   "outputs": [],
   "source": [
    "# 테스트용으로 text-davince-003 을 사용\n",
    "text_prompt = \"스타벅스 직원처럼 커피 주문을 받아볼래?\""
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "6a705d1d-d614-40d0-b5f4-3f68eb91809a",
   "metadata": {},
   "outputs": [],
   "source": [
    "res = openai.Completion.create(\n",
    "    model='text-davinci-003',\n",
    "    prompt=text_prompt,\n",
    "    temperature=0 # 일단 변수를 만들지 않기 위해\n",
    ")\n",
    "\n",
    "print(json.dumps(res, indent=2, ensure_ascii=False))"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "61a46680-4770-443a-8938-42ca5afa1598",
   "metadata": {},
   "source": [
    "응답은 이런 모양으로 생겼구나. 그런데 답변이 `\\n\\n네, 주문하` 왜 잘린듯한 느낌이..\n",
    "\n",
    "[문서](https://platform.openai.com/docs/guides/chat/introduction)에서 `finish_reason` 이 뭔가 찾아보니 이렇게 되어있음.\n",
    "> - `stop`: API returned complete model output\n",
    "> - `length`: Incomplete model output due to max_tokens parameter or token limit\n",
    "> - `content_filter`: Omitted content due to a flag from our content filters\n",
    "> - `null`: API response still in progress or incomplete\n",
    "\n",
    "\n",
    "즉, `max_tokens` 파라미터 값이나 토큰 제한으로 출력을 제대로 못 했다는 것.\n",
    "\n",
    "이것도 [API Reference](https://platform.openai.com/docs/api-reference/completions/create) 를 보니 기본 값이 16으로 되어있다고 함.\n",
    "> `max_tokens` (Defaults to 16)\n",
    "> The maximum number of tokens to generate in the completion. The token count of your prompt plus max_tokens cannot exceed the model's context length. Most models have a context length of 2048 tokens (except for the newest models, which support 4096).\n",
    "\n",
    "자, 그럼 `max_tokens` 파라미터를 추가해서 요청해보자."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "id": "10379b1c-2201-41ee-8ff4-5f37e0d28d26",
   "metadata": {
    "tags": []
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "춘식:  네, 맞습니다. 어떤 커피를 원하십니까?\n"
     ]
    }
   ],
   "source": [
    "def prompt(text, n=1, temp=0, max_tokens=3072, top_p=1, freq_penalty=0.5, pres_penalty=0):\n",
    "    res = openai.Completion.create(\n",
    "        model='text-davinci-003',\n",
    "        prompt=text,\n",
    "        temperature=temp,\n",
    "        max_tokens=max_tokens,\n",
    "        top_p=top_p,\n",
    "        frequency_penalty=freq_penalty,\n",
    "        presence_penalty=pres_penalty,\n",
    "        n=n\n",
    "    )\n",
    "    \n",
    "    # max_tokens 에 4096을 넣어봤더니 아래 에러가 남 (모델별 기본 토큰에 prompt 토큰을 합친게 max를 넘으면 안됨)\n",
    "    # \n",
    "    # This model's maximum context length is 4097 tokens,\n",
    "    # however you requested 4147 tokens (51 in your prompt; 4096 for the completion).\n",
    "    # Please reduce your prompt; or completion length.\n",
    "    \n",
    "    return res\n",
    "\n",
    "print(\"춘식: \", prompt(text_prompt)['choices'][0]['text'].strip())"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "10a5daad-0568-405e-8479-6883474e6dbf",
   "metadata": {},
   "source": [
    "앞에 군더더기를 좀 뺄 수 없을까? 그리고 인사를 먼저 하고 주문을 받았으면 좋겠음."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 76,
   "id": "leading-serve",
   "metadata": {
    "tags": []
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "춘식:  안녕하세요, 춘식입니다. 스타벅스에 오신걸 환영합니다. 어떤 음료를 주문하시겠어요?\n"
     ]
    }
   ],
   "source": [
    "text_prompt2 = \"너의 이름은 '춘식'. '스타벅스에 오신걸 환영합니다.' 라는 인사와 이름을 얘기하며 스타벅스 직원처럼 음료 주문을 받아볼래?\"\n",
    "\n",
    "print(\"춘식: \", prompt(text_prompt2)['choices'][0]['text'].strip())"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 101,
   "id": "e32c77db-c0a7-4c1b-a1d1-49d73be70741",
   "metadata": {
    "tags": []
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "{\n",
      "    \"greeting\": \"안녕하세요, 춘식입니다. 스타벅스에 오신걸 환영합니다. 음료를 주문하시겠어요?\"\n",
      "}\n"
     ]
    }
   ],
   "source": [
    "text_prompt3 = \"\"\"너의 이름은 '춘식'. '스타벅스에 오신걸 환영합니다.' 라는 인사와 이름을 얘기하며 스타벅스 직원처럼 음료 주문을 받아볼래?\n",
    "응답을 JSON 형식으로 줘. 필드 이름은 'greeting' 으로 해줘.\"\"\"\n",
    "\n",
    "print(prompt(text_prompt3)['choices'][0]['text'].strip())"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "4fc9c934-e7ca-4fcc-96f7-88ff26ee979a",
   "metadata": {},
   "source": [
    "JSON 형식으로 만들어서 주다니.. 이거 신기하네.. 아웃풋 개수를 더 늘려볼까"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 122,
   "id": "ee5cd851-6a20-4231-a34d-bbf6df5082a2",
   "metadata": {
    "tags": []
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "안녕하세요, 춘식입니다. 어떤 음료를 주문하시겠어요?\n",
      "안녕하세요, 춘식께서 스타벅스를 방문하신걸 환영합니다. 주문하실 음료를 말씀해주세요.\n",
      "안녕하세요 춘식님, 스타벅스에 오신걸 환영합니다. 무엇을 드릴까요? 음료는 물론, 디저트까지 다양하게 준비해두었습니다.\n",
      "안녕하세요 춘식입니다. 무엇을 주문하시겠어요?\n",
      "안녕하세요 '춘식' 님. 무엇을 드릴까요?\n"
     ]
    }
   ],
   "source": [
    "for c in prompt(text_prompt3, 5, 1)['choices']:\n",
    "    print(json.loads(c['text'])['greeting'].strip())"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "c812cfc7-81ae-4d59-b264-e9cbf573ae94",
   "metadata": {},
   "source": [
    "뭔가 이상한 것도 있는데, 이정도면 진짜 내말 알아들은거 아닌가?\n",
    "\n",
    "조금 더 원하는 형식을 얻기 위해 몇 가지 예시(few shot)를 넣어보기로 했다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 142,
   "id": "3122911c-5861-44a4-92cd-454d9ffaa730",
   "metadata": {
    "tags": []
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "안녕하세요, 스타벅스입니다. 라떼 톨사이즈와 콜드브루 한 잔 주문하시면 되나요?\n",
      "안녕하세요, 스타벅스입니다. 라떼 톨사이즈와 콜드브루 한잔 주문하시겠어요?\n",
      "라떼 톨사이즈와 콜드브루 한잔과 아이스 아메리카노 한잔 주문하셨나요? 맞으신가요?\n",
      "라떼 토사이즈와 콜드브루 한잔 주문하시겠어요? 아니면 다른 음료가 필요하신가요?\n",
      "라떼 톨사이즈와 콜드브루까지 한 잔씩 주문하셨네요. 따로 물건이 있으신가요?\n"
     ]
    }
   ],
   "source": [
    "text_prompt4 = \"\"\"\n",
    "다음은 스타벅스에서 춘식이가 손님으로부터 음료 주문을 받는 대화입니다.\n",
    "---\n",
    "춘식: 어서오세요, 스타벅스입니다. 주문 도와드릴까요?\n",
    "손님1: 아이스 아메리카노 1잔 주세요.\n",
    "춘식: 안녕하세요, 스타벅스입니다. 주문 하시겠어요?\n",
    "손님2: 라떼 톨사이즈와 콜드브루 한잔 주세요.\n",
    "---\n",
    "주문을 받아보세요.\n",
    "\n",
    "춘식:\n",
    "\"\"\"\n",
    "\n",
    "for c in prompt(text_prompt4, 5, 1)['choices']:\n",
    "    print(c['text'].strip())"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "d5ba643f-fa68-40c0-aa36-8faa849aa249",
   "metadata": {
    "tags": []
   },
   "source": [
    "ㅎㅎ 잘 안되네요.."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 143,
   "id": "09edb0fc-28ff-4dc4-9d4c-78d96158f56a",
   "metadata": {
    "tags": []
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "안녕하세요, 스타벅스입니다. 주문 도와드릴까요?\n",
      "안녕하세요, 스타벅스입니다. 주문 하시겠어요?\n",
      "안녕하세요, 스타벅스입니다. 주문 하시겠어요?\n",
      "무엇을 주문하시겠어요?\n",
      "안녕하세요, 스타벅스입니다. 주문드릴까요?\n"
     ]
    }
   ],
   "source": [
    "text_prompt5 = \"\"\"\n",
    "춘식: 어서오세요, 스타벅스입니다. 주문 도와드릴까요?\n",
    "손님1: 아이스 아메리카노 1잔 주세요.\n",
    "춘식: 안녕하세요, 스타벅스입니다. 주문 하시겠어요?\n",
    "손님2: 라떼 톨사이즈와 콜드브루 한잔 주세요.\n",
    "\n",
    "위 예제는 스타벅스에서 손님이 음료 주문을 하고 춘식이가 주문을 받는 대화입니다.\n",
    "손님으로부터 주문을 받아보세요.\n",
    "\n",
    "춘식:\n",
    "\"\"\"\n",
    "\n",
    "choices = prompt(text_prompt5, 5, 1)['choices']\n",
    "for c in choices:\n",
    "    print(c['text'].strip())"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "51359713-56d7-4c6a-8dc2-0d4f39ef4f3f",
   "metadata": {
    "tags": []
   },
   "source": [
    "오.. 뭔가 글 순서만 바꿨을 뿐인데 답변이 좀 더 나은 것 같음.\n",
    "\n",
    "이제, 지금까지 내가 무엇을 했는지를 알아야할 시점이다.\n",
    "마치 나는 GPT가 내 말을 잘 알아듣고 원하는 답변을 해줄 것이라고 믿고 사람한테 말하듯이 말을 걸었다.\n",
    "\n",
    "하지만 본질적으로 내가 사용한 API는 `Text Completion` 이다.\n",
    "애초에 튜토리얼 문서 시작에서도 언급했다시피 Very advanced autocomplete 라는거다."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "39b01539-4483-4ced-8670-b9ed6104a413",
   "metadata": {},
   "source": [
    "### Text Completion\n",
    "\n",
    "Text Completion 부터 알아가보자."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "d7f1a934-a52f-47cd-90f4-2919dcec6ad8",
   "metadata": {},
   "source": [
    "#### Classification\n",
    "\n",
    "트윗이 어떤 감상평인지 분류해보자"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "id": "58191f5a-90b6-476f-9c47-0126f88f7ade",
   "metadata": {
    "tags": []
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Sentiment:  Positive\n"
     ]
    }
   ],
   "source": [
    "res = prompt(\"\"\"Decide whether a Tweet's sentiment is positive, neutral, or negative.\n",
    "\n",
    "Tweet: \"I loved the new Batman movie!\"\n",
    "Sentiment:\"\"\", 60)\n",
    "\n",
    "print(\"Sentiment: \", res['choices'][0]['text'].strip())"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "8cf4c0d8-7801-492b-b2ef-0591de5f8c21",
   "metadata": {},
   "source": [
    "하지만 하나씩하는건 아깝기도 하니 여러개를 한번에 요청하는 방법도 있음"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "id": "7c09226e-a878-4b02-b671-e0128ffc33b8",
   "metadata": {
    "tags": []
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Sentiment:  1. Negative\n",
      "2. Negative\n",
      "3. Positive\n",
      "4. Positive\n",
      "5. Negative\n"
     ]
    }
   ],
   "source": [
    "res = prompt(\"\"\"Classify the sentiment in these tweets:\n",
    "\n",
    "1. \"I can't stand homework\"\n",
    "2. \"This sucks. I'm bored 😠\"\n",
    "3. \"I can't wait for Halloween!!!\"\n",
    "4. \"My cat is adorable ❤️❤️\"\n",
    "5. \"I hate chocolate\"\n",
    "\n",
    "Tweet sentiment ratings:\"\"\", 60)\n",
    "\n",
    "print(res['choices'][0]['text'].strip())"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "177674c3-08bd-4c2e-a270-9c2f62abca77",
   "metadata": {},
   "source": [
    "#### Generation\n",
    "\n",
    "주어진 문장에 이어서 글을 생성하도록 해보자"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "id": "01b90a20-f74a-4d85-aec1-71f3e44d7a6f",
   "metadata": {
    "tags": []
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "1. Virtual reality personal training sessions \n",
      "2. 360 degree virtual gym environment for cardio and weightlifting workouts \n",
      "3. Immersive gaming experiences that track fitness progress in real time \n",
      "4. Interactive yoga classes with 3D visuals and audio cues \n",
      "5. VR-enabled exercise machines to simulate running, cycling, rowing or other activities  \n",
      "6. Augmented reality applications that provide feedback on form and technique while exercising\n"
     ]
    }
   ],
   "source": [
    "res = prompt(\"Brainstorm some ideas combining VR and fitness:\", 1, 0.6, 150, 1, 1, 1)\n",
    "\n",
    "print(res['choices'][0]['text'].strip())"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "a0a2b450-b544-4611-975b-32d38e0ef698",
   "metadata": {},
   "source": [
    "#### Conversation\n",
    "\n",
    "대화를 이어가는걸 해볼 수도 있음, 이 또한 결국 자동 완성이니까.\n",
    "\n",
    "그런데 맥락을 주고 안주고가 결과가 매우 다름."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "id": "53eeac98-9841-4ef7-a2c6-5c39f47d09d2",
   "metadata": {
    "tags": []
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Human:  I need help with a problem I'm having.\n",
      "AI: What kind of problem are you having?\n",
      "\n",
      "========\n",
      "\n",
      "Human:  Could you tell me some facts about Open AI?\n",
      "AI: Sure! OpenAI is a non-profit artificial intelligence (AI) research company, co-founded by Elon Musk and Sam Altman in 2015. OpenAI's mission is to ensure that artificial general intelligence (AGI) benefits all of humanity. Their research teams have worked on advanced technologies such as natural language processing (NLP), robotics, and reinforcement learning. They are also working on developing AI systems that can be used for a variety of tasks, such as healthcare and financial forecasting.\n"
     ]
    }
   ],
   "source": [
    "prompt = \"\"\"Human: Hello, who are you?\n",
    "AI: I am an AI created by OpenAI. How can I help you today?\n",
    "Human:\"\"\"\n",
    "\n",
    "res = openai.Completion.create(\n",
    "    model='text-davinci-003',\n",
    "    prompt=prompt,\n",
    "    temperature=0.9,\n",
    "    max_tokens=150,\n",
    "    top_p=1,\n",
    "    frequency_penalty=0,\n",
    "    presence_penalty=0.6,\n",
    "    stop=[\" Human:\", \" AI:\"]\n",
    ")\n",
    "\n",
    "print(\"Human: \", res['choices'][0]['text'].strip())\n",
    "print(\"\\n========\\n\")\n",
    "\n",
    "prompt = \"\"\"The following is a conversation with an AI assistant. The assistant is helpful, creative, clever, and very friendly.\n",
    "\n",
    "Human: Hello, who are you?\n",
    "AI: I am an AI created by OpenAI. How can I help you today?\n",
    "Human:\"\"\"\n",
    "\n",
    "res = openai.Completion.create(\n",
    "    model='text-davinci-003',\n",
    "    prompt=prompt,\n",
    "    temperature=0.9,\n",
    "    max_tokens=150,\n",
    "    top_p=1,\n",
    "    frequency_penalty=0,\n",
    "    presence_penalty=0.6,\n",
    "    stop=[\" Human:\", \" AI:\"]\n",
    ")\n",
    "\n",
    "print(\"Human: \", res['choices'][0]['text'].strip())"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "bb60a2f8-6397-414d-a038-7abbe982b18f",
   "metadata": {},
   "source": [
    "대화 캐릭터 성향에도 힌트를 줄 수 있음"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "id": "fa575832-7af5-42ef-ab3f-0299787efd17",
   "metadata": {
    "tags": []
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Marv:  Marv: Because of the way sunlight interacts with the atmosphere. Now you know.\n"
     ]
    }
   ],
   "source": [
    "prompt = \"\"\"Marv is a chatbot that reluctantly answers questions with sarcastic responses:\n",
    "\n",
    "You: How many pounds are in a kilogram?\n",
    "Marv: This again? There are 2.2 pounds in a kilogram. Please make a note of this.\n",
    "You: What does HTML stand for?\n",
    "Marv: Was Google too busy? Hypertext Markup Language. The T is for try to ask better questions in the future.\n",
    "You: When did the first airplane fly?\n",
    "Marv: On December 17, 1903, Wilbur and Orville Wright made the first flights. I wish they’d come and take me away.\n",
    "You: What is the meaning of life?\n",
    "Marv: I’m not sure. I’ll ask my friend Google.\n",
    "You: Why is the sky blue?\"\"\"\n",
    "\n",
    "res = openai.Completion.create(\n",
    "    model='text-davinci-003',\n",
    "    prompt=prompt,\n",
    "    temperature=0.9,\n",
    "    max_tokens=150,\n",
    "    top_p=1,\n",
    "    frequency_penalty=0,\n",
    "    presence_penalty=0.6\n",
    ")\n",
    "\n",
    "print(res['choices'][0]['text'].strip())"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "80f34551-3611-4de4-904a-d6832ef68f93",
   "metadata": {},
   "source": [
    "#### Transformation\n",
    "\n",
    "이 모델(API)을 사용하면 다양한 변형(번역, 변환, 요약)도 가능\n",
    "\n",
    "우선, 번역을 보자"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "id": "03c9ac61-25bd-49c7-b9a5-1b180f4cacea",
   "metadata": {
    "tags": []
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "French: Quelles chambres avez-vous disponibles?\n",
      "Spanish: ¿Qué habitaciones tienes disponibles?\n",
      "Japanese: どの部屋が利用可能ですか？\n"
     ]
    }
   ],
   "source": [
    "prompt = \"\"\"Translate this into French, Spanish and Japanese:\n",
    "\n",
    "What rooms do you have available?\"\"\"\n",
    "\n",
    "res = openai.Completion.create(\n",
    "    model='text-davinci-003',\n",
    "    prompt=prompt,\n",
    "    temperature=0.3,\n",
    "    max_tokens=100,\n",
    "    top_p=1,\n",
    "    frequency_penalty=0,\n",
    "    presence_penalty=0\n",
    ")\n",
    "\n",
    "print(res['choices'][0]['text'].strip())"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "cc36dd6a-3ad4-4922-bd87-d961abfbaccf",
   "metadata": {},
   "source": [
    "영화 제목을 이모지로 변환해보자"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "id": "f092e832-11c3-461c-ae33-ce4792e176f7",
   "metadata": {
    "tags": []
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "🌟⚔️\n"
     ]
    }
   ],
   "source": [
    "prompt = \"\"\"Convert movie titles into emoji.\n",
    "\n",
    "Back to the Future: 👨👴🚗🕒 \n",
    "Batman: 🤵🦇 \n",
    "Transformers: 🚗🤖 \n",
    "Star Wars:\"\"\"\n",
    "\n",
    "res = openai.Completion.create(\n",
    "    model='text-davinci-003',\n",
    "    prompt=prompt,\n",
    "    temperature=0.8,\n",
    "    max_tokens=60,\n",
    "    top_p=1,\n",
    "    frequency_penalty=0,\n",
    "    presence_penalty=0,\n",
    "    stop=[\"\\n\"]\n",
    ")\n",
    "\n",
    "print(res['choices'][0]['text'].strip())"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "d23c185f-60a6-4fc4-be4a-d8d4cef260c3",
   "metadata": {},
   "source": [
    "별+칼싸움, 즉 스타워즈 이모지가 나옴 ㅎㅎ\n",
    "\n",
    "그럼 요약도 한번 해보자."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "id": "e3368b8e-8199-4003-a1b0-4a68ac0d0d1a",
   "metadata": {
    "tags": []
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Jupiter is a big, bright planet that can be seen in the night sky. It is the fifth planet from the Sun and is named after the Roman god Jupiter. It is very bright and can even cast shadows.\n"
     ]
    }
   ],
   "source": [
    "prompt = \"\"\"Summarize this for a second-grade student:\n",
    "\n",
    "Jupiter is the fifth planet from the Sun and the largest in the Solar System. It is a gas giant with a mass one-thousandth that of the Sun, but two-and-a-half times that of all the other planets in the Solar System combined. Jupiter is one of the brightest objects visible to the naked eye in the night sky, and has been known to ancient civilizations since before recorded history. It is named after the Roman god Jupiter.[19] When viewed from Earth, Jupiter can be bright enough for its reflected light to cast visible shadows,[20] and is on average the third-brightest natural object in the night sky after the Moon and Venus.\"\"\"\n",
    "\n",
    "res = openai.Completion.create(\n",
    "    model='text-davinci-003',\n",
    "    prompt=prompt,\n",
    "    temperature=0.7,\n",
    "    max_tokens=256,\n",
    "    top_p=1,\n",
    "    frequency_penalty=0,\n",
    "    presence_penalty=0\n",
    ")\n",
    "\n",
    "print(res['choices'][0]['text'].strip())"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "fbdd583c-97a0-472f-98dc-5543140622be",
   "metadata": {},
   "source": [
    "#### Completion\n",
    "\n",
    "모든 prompt 결과물들이 모두 completion(빈칸채우기)이긴 하지만, 뒷 부분을 비워둠으로써 고유의 completion을 이용할 수 있음"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "id": "10a42e01-2109-4abe-8d45-fecb0c3c1981",
   "metadata": {
    "tags": []
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "emissions, and increasing access to fresh produce in urban areas. Vertical farming uses hydroponic technology to grow crops in vertically stacked layers, often in a controlled environment. This type of farming can be done indoors, eliminating the need for land, and can be done in a much smaller space than traditional farming. Additionally, vertical\n"
     ]
    }
   ],
   "source": [
    "prompt = \"Vertical farming provides a novel solution for producing food locally, reducing transportation costs and\"\n",
    "\n",
    "res = openai.Completion.create(\n",
    "    model='text-davinci-003',\n",
    "    prompt=prompt,\n",
    "    temperature=0.29,\n",
    "    max_tokens=64,\n",
    "    top_p=1,\n",
    "    frequency_penalty=0,\n",
    "    presence_penalty=0\n",
    ")\n",
    "\n",
    "print(res['choices'][0]['text'].strip())"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "cdae3952-e9c7-47e3-8252-0a45e2c5fc16",
   "metadata": {},
   "source": [
    "심지어 코드의 경우도 자동완성 가능\n",
    "\n",
    "코드 생성 같은 경우는 [Codex](https://platform.openai.com/docs/models/codex)를 추천하지만 이건 이미 GPT-3에 포함되었다고 함"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "id": "85a265f0-c4e7-47ba-ad4f-fcc634c2486c",
   "metadata": {
    "tags": []
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "<div\n",
      "    className=\"jumbotron jumbotron-fluid\"\n",
      "    style={{\n",
      "      backgroundImage:\n",
      "        \"url('https://images.unsplash.com/photo-1515488625225-f9f20c7c1ce\n"
     ]
    }
   ],
   "source": [
    "prompt = \"\"\"import React from 'react';\n",
    "const HeaderComponent = () => (\"\"\"\n",
    "\n",
    "res = openai.Completion.create(\n",
    "    model='text-davinci-003',\n",
    "    prompt=prompt,\n",
    "    temperature=0.7,\n",
    "    max_tokens=64,\n",
    "    top_p=1,\n",
    "    frequency_penalty=0,\n",
    "    presence_penalty=0\n",
    ")\n",
    "\n",
    "print(res['choices'][0]['text'].strip())"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "d53dad13-ab47-40e4-89b8-632f69fde423",
   "metadata": {},
   "source": [
    "#### Factual Response\n",
    "\n",
    "GPT의 흔히 알려진 단점으로 사실이 아닌걸 그럴싸하게 답변한다는 것이다.\n",
    "\n",
    "사실적인 대답을 하도록 보완할 수 있는 방법은 두가지가 있음\n",
    "- 사실에 대한 근거 자료를 제공\n",
    "- 모르는건 '모른다'라고 답변하는게 적절하다고 볼 수 있도록 샘플 제공"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "id": "c83e41b3-3208-4899-8166-278242d9db62",
   "metadata": {
    "tags": []
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "What is the capital of France?\n",
      "A: Paris.\n"
     ]
    }
   ],
   "source": [
    "prompt = \"\"\"Q: Who is Batman?\n",
    "A: Batman is a fictional comic book character.\n",
    "\n",
    "Q: What is torsalplexity?\n",
    "A: ?\n",
    "\n",
    "Q: What is Devz9?\n",
    "A: ?\n",
    "\n",
    "Q: Who is George Lucas?\n",
    "A: George Lucas is American film director and producer famous for creating Star Wars.\n",
    "\n",
    "Q: What is the capital of California?\n",
    "A: Sacramento.\n",
    "\n",
    "Q: What orbits the Earth?\n",
    "A: The Moon.\n",
    "\n",
    "Q: Who is Fred Rickerson?\n",
    "A: ?\n",
    "\n",
    "Q: What is an atom?\n",
    "A: An atom is a tiny particle that makes up everything.\n",
    "\n",
    "Q: Who is Alvan Muntz?\n",
    "A: ?\n",
    "\n",
    "Q: What is Kozar-09?\n",
    "A: ?\n",
    "\n",
    "Q: How many moons does Mars have?\n",
    "A: Two, Phobos and Deimos.\n",
    "\n",
    "Q:\"\"\"\n",
    "\n",
    "res = openai.Completion.create(\n",
    "    model='text-davinci-003',\n",
    "    prompt=prompt,\n",
    "    temperature=0,\n",
    "    max_tokens=64,\n",
    "    top_p=1,\n",
    "    frequency_penalty=0,\n",
    "    presence_penalty=0,\n",
    "    stop=[\"\\n\\n\"]     \n",
    ")\n",
    "\n",
    "print(res['choices'][0]['text'].strip())"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "3d4e6884-5b53-42df-9f1c-e4336260442e",
   "metadata": {},
   "source": [
    "### Chat Completion\n",
    "\n",
    "OpenAI API에는 `Text Completion` 외에 `Chat API`도 있는데 `gpt-3.5-turbo`와 `gpt-4`를 사용할 수 있고, 이런 것들을 할 수 있다고 한다.\n",
    "\n",
    "- Draft an email or other piece of writing\n",
    "- Write Python code\n",
    "- Answer questions about a set of documents\n",
    "- Create conversational agents\n",
    "- Give your software a natural language interface\n",
    "- Tutor in a range of subjects\n",
    "- Translate languages\n",
    "- Simulate characters for video games and much more\n",
    "\n",
    "\n",
    "Chat 모델은 일련의 메시지들을 입ㄹ겨으로 받고, 모델이 생성한 하나의 메시지를 출력합니다.\n",
    "하지만 하나의 메시지만 받는 경우(싱글턴)에도 사용할 수 있습니다. `text-davinci-001` 처럼"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 22,
   "id": "c13cd12f-8182-46fd-a906-34637a214b61",
   "metadata": {
    "tags": []
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "<OpenAIObject chat.completion id=chatcmpl-73p4yyHMzQhE0OfHzAwGsxPCOy3zx at 0x12ddad0d0> JSON: {\n",
       "  \"choices\": [\n",
       "    {\n",
       "      \"finish_reason\": \"stop\",\n",
       "      \"index\": 0,\n",
       "      \"message\": {\n",
       "        \"content\": \"The World Series in 2020 was played at Globe Life Field in Arlington, Texas.\",\n",
       "        \"role\": \"assistant\"\n",
       "      }\n",
       "    }\n",
       "  ],\n",
       "  \"created\": 1681145688,\n",
       "  \"id\": \"chatcmpl-73p4yyHMzQhE0OfHzAwGsxPCOy3zx\",\n",
       "  \"model\": \"gpt-3.5-turbo-0301\",\n",
       "  \"object\": \"chat.completion\",\n",
       "  \"usage\": {\n",
       "    \"completion_tokens\": 18,\n",
       "    \"prompt_tokens\": 57,\n",
       "    \"total_tokens\": 75\n",
       "  }\n",
       "}"
      ]
     },
     "execution_count": 22,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "openai.ChatCompletion.create(\n",
    "  model=\"gpt-3.5-turbo\",\n",
    "  messages=[\n",
    "        {\"role\": \"system\", \"content\": \"You are a helpful assistant.\"},\n",
    "        {\"role\": \"user\", \"content\": \"Who won the world series in 2020?\"},\n",
    "        {\"role\": \"assistant\", \"content\": \"The Los Angeles Dodgers won the World Series in 2020.\"},\n",
    "        {\"role\": \"user\", \"content\": \"Where was it played?\"}\n",
    "    ]\n",
    ")"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "d98305f9-2018-463a-971f-cb8fb13b72b1",
   "metadata": {},
   "source": [
    "입력으로 들어가는 메시지들은 message object의 배열인데, 이 메시지 오브젝트는 `role`과 `content`로 이루어져 있다.\n",
    "```\n",
    "{\"role\": \"system\", \"content\": \"You are a helpful assistant.\"}\n",
    "```\n",
    "\n",
    "`role`은 세가지 종류가 있는데,\n",
    "- `system`: 보통 대화는 시스템 메시지가 먼저오는 형식, 시스템 메시지는 `assistant`의 행위 방식을 정하는데 힌트를 줌\n",
    "- `user`: 유저 메시지는 `assistant`에게 지시를 하는 역할을 함, 보통 실제 유저에 의해서 생성되거나 개발자가 지시사항으로 설정함\n",
    "- `assistant`: 이전 응답을 저장하는데 사용, 의도한 결과를 얻기 위해 예시를 제공하는데 사용될 수 있도 있음"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "3d485792-9294-4be1-8066-d0955e777fc5",
   "metadata": {},
   "source": [
    "### Text vs Chat Completions\n",
    "\n",
    "`gpt-3.5-turbo`는 `text-davinci-003`과 비교해 유사한 성능을 보여주면서도 토큰당 10%가격 밖에 안하기 때문에 `gpt-3.5-turbo`를 보통 추천"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "910a3440-f6fd-41fb-9d42-828934ab7a0b",
   "metadata": {
    "tags": []
   },
   "source": [
    "### 본격 주문봇(앱) 만들기"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "b635fba5-0922-4183-8196-40f78e5d01db",
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.10.0"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}