YandexGPT_OpenSearch_LCEL_memory-01.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "id": "c8fd8966-b575-4996-9e63-ffb7e7fa1802",
   "metadata": {},
   "source": [
    "## Работа с YandexGPT и OpenSearch с помощью фреймворка Langchain"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "5fccbdbe-becf-4c19-b48c-6237b4307b5c",
   "metadata": {},
   "source": [
    "### 1. Устанавливаем необходимые библиотеки"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "id": "ff5a2013-45f2-450c-b5ad-719717e5167a",
   "metadata": {
    "execution": {
     "iopub.execute_input": "2024-04-25T10:54:47.630320Z",
     "iopub.status.busy": "2024-04-25T10:54:47.629606Z",
     "iopub.status.idle": "2024-04-25T10:54:56.832183Z",
     "shell.execute_reply": "2024-04-25T10:54:56.831203Z",
     "shell.execute_reply.started": "2024-04-25T10:54:47.630277Z"
    },
    "tags": []
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Defaulting to user installation because normal site-packages is not writeable\n",
      "Requirement already satisfied: yandex-chain in /home/jupyter/.local/lib/python3.10/site-packages (from -r requirements.txt (line 1)) (0.0.4)\n",
      "Requirement already satisfied: yandexcloud in /home/jupyter/.local/lib/python3.10/site-packages (from -r requirements.txt (line 2)) (0.255.0)\n",
      "Requirement already satisfied: opensearch-py in /home/jupyter/.local/lib/python3.10/site-packages (from -r requirements.txt (line 3)) (2.4.2)\n",
      "Requirement already satisfied: pypdf in /home/jupyter/.local/lib/python3.10/site-packages (from -r requirements.txt (line 4)) (3.9.0)\n",
      "Requirement already satisfied: langchain-community in /home/jupyter/.local/lib/python3.10/site-packages (from -r requirements.txt (line 5)) (0.0.32)\n",
      "Requirement already satisfied: langchain-text-splitters in /home/jupyter/.local/lib/python3.10/site-packages (from -r requirements.txt (line 6)) (0.0.1)\n",
      "Requirement already satisfied: langchain-core in /home/jupyter/.local/lib/python3.10/site-packages (from -r requirements.txt (line 7)) (0.1.41)\n",
      "Requirement already satisfied: PyJWT in /home/jupyter/.local/lib/python3.10/site-packages (from -r requirements.txt (line 8)) (2.8.0)\n",
      "Requirement already satisfied: requests in /kernel/lib/python3.10/site-packages (from yandex-chain->-r requirements.txt (line 1)) (2.31.0)\n",
      "Requirement already satisfied: langchain in /home/jupyter/.local/lib/python3.10/site-packages (from yandex-chain->-r requirements.txt (line 1)) (0.1.15)\n",
      "Requirement already satisfied: tenacity in /home/jupyter/.local/lib/python3.10/site-packages (from yandex-chain->-r requirements.txt (line 1)) (8.2.3)\n",
      "Requirement already satisfied: cryptography>=2.8 in /home/jupyter/.local/lib/python3.10/site-packages (from yandexcloud->-r requirements.txt (line 2)) (41.0.4)\n",
      "Requirement already satisfied: grpcio>=1.56.2 in /home/jupyter/.local/lib/python3.10/site-packages (from yandexcloud->-r requirements.txt (line 2)) (1.62.2)\n",
      "Requirement already satisfied: protobuf>=4.23.4 in /home/jupyter/.local/lib/python3.10/site-packages (from yandexcloud->-r requirements.txt (line 2)) (4.25.3)\n",
      "Requirement already satisfied: googleapis-common-protos>=1.59.1 in /usr/local/lib/python3.10/dist-packages (from yandexcloud->-r requirements.txt (line 2)) (1.59.1)\n",
      "Requirement already satisfied: six>=1.14.0 in /kernel/lib/python3.10/site-packages (from yandexcloud->-r requirements.txt (line 2)) (1.16.0)\n",
      "Collecting urllib3>=1.26.18 (from opensearch-py->-r requirements.txt (line 3))\n",
      "  Downloading urllib3-2.2.1-py3-none-any.whl.metadata (6.4 kB)\n",
      "Requirement already satisfied: python-dateutil in /kernel/lib/python3.10/site-packages (from opensearch-py->-r requirements.txt (line 3)) (2.9.0.post0)\n",
      "Requirement already satisfied: certifi>=2022.12.07 in /kernel/lib/python3.10/site-packages (from opensearch-py->-r requirements.txt (line 3)) (2024.2.2)\n",
      "Requirement already satisfied: PyYAML>=5.3 in /usr/local/lib/python3.10/dist-packages (from langchain-community->-r requirements.txt (line 5)) (6.0.1)\n",
      "Requirement already satisfied: SQLAlchemy<3,>=1.4 in /usr/local/lib/python3.10/dist-packages (from langchain-community->-r requirements.txt (line 5)) (2.0.19)\n",
      "Requirement already satisfied: aiohttp<4.0.0,>=3.8.3 in /usr/local/lib/python3.10/dist-packages (from langchain-community->-r requirements.txt (line 5)) (3.8.5)\n",
      "Requirement already satisfied: dataclasses-json<0.7,>=0.5.7 in /home/jupyter/.local/lib/python3.10/site-packages (from langchain-community->-r requirements.txt (line 5)) (0.5.14)\n",
      "Requirement already satisfied: langsmith<0.2.0,>=0.1.0 in /home/jupyter/.local/lib/python3.10/site-packages (from langchain-community->-r requirements.txt (line 5)) (0.1.36)\n",
      "Requirement already satisfied: numpy<2,>=1 in /usr/local/lib/python3.10/dist-packages (from langchain-community->-r requirements.txt (line 5)) (1.22.4)\n",
      "Requirement already satisfied: jsonpatch<2.0,>=1.33 in /home/jupyter/.local/lib/python3.10/site-packages (from langchain-core->-r requirements.txt (line 7)) (1.33)\n",
      "Collecting packaging<24.0,>=23.2 (from langchain-core->-r requirements.txt (line 7))\n",
      "  Downloading packaging-23.2-py3-none-any.whl.metadata (3.2 kB)\n",
      "Requirement already satisfied: pydantic<3,>=1 in /usr/local/lib/python3.10/dist-packages (from langchain-core->-r requirements.txt (line 7)) (1.10.12)\n",
      "Requirement already satisfied: attrs>=17.3.0 in /kernel/lib/python3.10/site-packages (from aiohttp<4.0.0,>=3.8.3->langchain-community->-r requirements.txt (line 5)) (23.2.0)\n",
      "Requirement already satisfied: charset-normalizer<4.0,>=2.0 in /kernel/lib/python3.10/site-packages (from aiohttp<4.0.0,>=3.8.3->langchain-community->-r requirements.txt (line 5)) (3.3.2)\n",
      "Requirement already satisfied: multidict<7.0,>=4.5 in /usr/local/lib/python3.10/dist-packages (from aiohttp<4.0.0,>=3.8.3->langchain-community->-r requirements.txt (line 5)) (6.0.4)\n",
      "Requirement already satisfied: async-timeout<5.0,>=4.0.0a3 in /usr/local/lib/python3.10/dist-packages (from aiohttp<4.0.0,>=3.8.3->langchain-community->-r requirements.txt (line 5)) (4.0.2)\n",
      "Requirement already satisfied: yarl<2.0,>=1.0 in /usr/local/lib/python3.10/dist-packages (from aiohttp<4.0.0,>=3.8.3->langchain-community->-r requirements.txt (line 5)) (1.9.2)\n",
      "Requirement already satisfied: frozenlist>=1.1.1 in /usr/local/lib/python3.10/dist-packages (from aiohttp<4.0.0,>=3.8.3->langchain-community->-r requirements.txt (line 5)) (1.4.0)\n",
      "Requirement already satisfied: aiosignal>=1.1.2 in /usr/local/lib/python3.10/dist-packages (from aiohttp<4.0.0,>=3.8.3->langchain-community->-r requirements.txt (line 5)) (1.3.1)\n",
      "Requirement already satisfied: cffi>=1.12 in /kernel/lib/python3.10/site-packages (from cryptography>=2.8->yandexcloud->-r requirements.txt (line 2)) (1.16.0)\n",
      "Requirement already satisfied: marshmallow<4.0.0,>=3.18.0 in /home/jupyter/.local/lib/python3.10/site-packages (from dataclasses-json<0.7,>=0.5.7->langchain-community->-r requirements.txt (line 5)) (3.20.1)\n",
      "Requirement already satisfied: typing-inspect<1,>=0.4.0 in /home/jupyter/.local/lib/python3.10/site-packages (from dataclasses-json<0.7,>=0.5.7->langchain-community->-r requirements.txt (line 5)) (0.9.0)\n",
      "Requirement already satisfied: jsonpointer>=1.9 in /home/jupyter/.local/lib/python3.10/site-packages (from jsonpatch<2.0,>=1.33->langchain-core->-r requirements.txt (line 7)) (2.4)\n",
      "Requirement already satisfied: orjson<4.0.0,>=3.9.14 in /home/jupyter/.local/lib/python3.10/site-packages (from langsmith<0.2.0,>=0.1.0->langchain-community->-r requirements.txt (line 5)) (3.9.15)\n",
      "Requirement already satisfied: typing-extensions>=4.2.0 in /kernel/lib/python3.10/site-packages (from pydantic<3,>=1->langchain-core->-r requirements.txt (line 7)) (4.11.0)\n",
      "Requirement already satisfied: idna<4,>=2.5 in /kernel/lib/python3.10/site-packages (from requests->yandex-chain->-r requirements.txt (line 1)) (3.7)\n",
      "Requirement already satisfied: greenlet!=0.4.17 in /home/jupyter/.local/lib/python3.10/site-packages (from SQLAlchemy<3,>=1.4->langchain-community->-r requirements.txt (line 5)) (3.0.3)\n",
      "Requirement already satisfied: pycparser in /kernel/lib/python3.10/site-packages (from cffi>=1.12->cryptography>=2.8->yandexcloud->-r requirements.txt (line 2)) (2.22)\n",
      "Requirement already satisfied: mypy-extensions>=0.3.0 in /home/jupyter/.local/lib/python3.10/site-packages (from typing-inspect<1,>=0.4.0->dataclasses-json<0.7,>=0.5.7->langchain-community->-r requirements.txt (line 5)) (1.0.0)\n",
      "Downloading packaging-23.2-py3-none-any.whl (53 kB)\n",
      "\u001b[2K   \u001b[90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━\u001b[0m \u001b[32m53.0/53.0 kB\u001b[0m \u001b[31m1.6 MB/s\u001b[0m eta \u001b[36m0:00:00\u001b[0m\n",
      "\u001b[?25hDownloading urllib3-2.2.1-py3-none-any.whl (121 kB)\n",
      "\u001b[2K   \u001b[90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━\u001b[0m \u001b[32m121.1/121.1 kB\u001b[0m \u001b[31m2.5 MB/s\u001b[0m eta \u001b[36m0:00:00\u001b[0ma \u001b[36m0:00:01\u001b[0m\n",
      "\u001b[?25hInstalling collected packages: urllib3, packaging\n",
      "\u001b[31mERROR: pip's dependency resolver does not currently take into account all the packages that are installed. This behaviour is the source of the following dependency conflicts.\n",
      "streamlit 1.24.0 requires pympler<2,>=0.9, which is not installed.\n",
      "ml-kernel 0.0.1 requires urllib3==1.25.11, but you have urllib3 2.2.1 which is incompatible.\n",
      "argilla 1.16.0 requires typer<0.8.0,>=0.6.0, but you have typer 0.9.0 which is incompatible.\n",
      "chromadb 0.4.24 requires numpy>=1.22.5, but you have numpy 1.22.4 which is incompatible.\n",
      "streamlit 1.24.0 requires importlib-metadata<7,>=1.4, but you have importlib-metadata 7.1.0 which is incompatible.\n",
      "yandex-speechkit 1.3.3 requires grpcio<=1.46.3, but you have grpcio 1.62.2 which is incompatible.\n",
      "yandex-speechkit 1.3.3 requires protobuf<=3.20.3, but you have protobuf 4.25.3 which is incompatible.\n",
      "botocore 1.23.24 requires urllib3<1.27,>=1.25.4, but you have urllib3 2.2.1 which is incompatible.\n",
      "cloud-ml 0.0.1 requires requests<=2.28.1,>=2.22.0, but you have requests 2.31.0 which is incompatible.\n",
      "dvc 2.58.2 requires platformdirs<4,>=3.1.1, but you have platformdirs 4.2.0 which is incompatible.\n",
      "dvc 2.58.2 requires psutil>=5.8, but you have psutil 5.7.3 which is incompatible.\n",
      "moviepy 1.0.3 requires decorator<5.0,>=4.0.2, but you have decorator 5.1.1 which is incompatible.\n",
      "pandas-gbq 0.17.9 requires pyarrow<10.0dev,>=3.0.0, but you have pyarrow 13.0.0 which is incompatible.\u001b[0m\u001b[31m\n",
      "\u001b[0mSuccessfully installed packaging-23.2 urllib3-1.26.18\n",
      "\n",
      "\u001b[1m[\u001b[0m\u001b[34;49mnotice\u001b[0m\u001b[1;39;49m]\u001b[0m\u001b[39;49m A new release of pip is available: \u001b[0m\u001b[31;49m23.0.1\u001b[0m\u001b[39;49m -> \u001b[0m\u001b[32;49m24.0\u001b[0m\n",
      "\u001b[1m[\u001b[0m\u001b[34;49mnotice\u001b[0m\u001b[1;39;49m]\u001b[0m\u001b[39;49m To update, run: \u001b[0m\u001b[32;49mpython3 -m pip install --upgrade pip\u001b[0m\n"
     ]
    }
   ],
   "source": [
    "%pip install -r requirements.txt"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "de37ab67-c431-42d4-8186-51e35d0dcd65",
   "metadata": {},
   "source": [
    "После установки библиотек необходимо перегазгрузить Kernel. Для этого в верхнем меню выберите Kernel -> Restart Kernel"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "37edd08c-8dd6-4714-a92a-00d5bcbfec34",
   "metadata": {
    "tags": []
   },
   "source": [
    "### 2. Подключение к кластеру OpenSearch"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "7d286c9e-5d55-48e7-963b-0a21f3bd5b72",
   "metadata": {},
   "source": [
    "Документация по подключению: https://cloud.yandex.ru/docs/managed-opensearch/operations/connect"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "ff8a7e94-5402-4720-8fc6-f90580ac3b53",
   "metadata": {},
   "source": [
    "#### Получение SSL-сертификата"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "id": "5a6b0c93-fa27-472a-9f02-848eca02541f",
   "metadata": {
    "execution": {
     "iopub.execute_input": "2024-04-25T10:55:11.715762Z",
     "iopub.status.busy": "2024-04-25T10:55:11.714750Z",
     "iopub.status.idle": "2024-04-25T10:55:11.810859Z",
     "shell.execute_reply": "2024-04-25T10:55:11.810122Z",
     "shell.execute_reply.started": "2024-04-25T10:55:11.715716Z"
    },
    "tags": []
   },
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "--2024-04-25 10:55:11--  https://storage.yandexcloud.net/cloud-certs/CA.pem\n",
      "Resolving storage.yandexcloud.net (storage.yandexcloud.net)... 213.180.193.243, 2a02:6b8::1d9\n",
      "Connecting to storage.yandexcloud.net (storage.yandexcloud.net)|213.180.193.243|:443... connected.\n",
      "HTTP request sent, awaiting response... 200 OK\n",
      "Length: 3579 (3.5K) [application/x-x509-ca-cert]\n",
      "Saving to: ‘/home/jupyter/datasphere/project/.opensearch/root.crt’\n",
      "\n",
      "     0K ...                                                   100% 4.43G=0s\n",
      "\n",
      "2024-04-25 10:55:11 (4.43 GB/s) - ‘/home/jupyter/datasphere/project/.opensearch/root.crt’ saved [3579/3579]\n",
      "\n"
     ]
    }
   ],
   "source": [
    "!mkdir -p /home/jupyter/datasphere/project/.opensearch && \\\n",
    "wget \"https://storage.yandexcloud.net/cloud-certs/CA.pem\" \\\n",
    "     --output-document /home/jupyter/datasphere/project/.opensearch/root.crt && \\\n",
    "chmod 0600 /home/jupyter/datasphere/project/.opensearch/root.crt"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "24cdbffa-d6dd-4133-adaf-e4abbc6e9b8c",
   "metadata": {},
   "source": [
    "#### Тестируем подключение к кластеру"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "id": "c866d602-96f7-45ba-a4aa-81a16e90dabf",
   "metadata": {
    "execution": {
     "iopub.execute_input": "2024-04-25T10:55:40.105580Z",
     "iopub.status.busy": "2024-04-25T10:55:40.105059Z",
     "iopub.status.idle": "2024-04-25T10:55:40.141096Z",
     "shell.execute_reply": "2024-04-25T10:55:40.140354Z",
     "shell.execute_reply.started": "2024-04-25T10:55:40.105547Z"
    },
    "tags": []
   },
   "outputs": [],
   "source": [
    "CA = '/home/jupyter/datasphere/project/.opensearch/root.crt'\n",
    "\n",
    "import os\n",
    "#Укажите пароль для пользователя admin\n",
    "PASS = os.environ['MDB_OS_PWD'] # Обратиться к секрету <имя_секрета> из переменных окружения\n",
    "#Укажите список хостов кластера\n",
    "HOSTS = os.environ['MDB_OS_HOSTS'].split(\",\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "id": "cc3b485f-23a8-480a-b01a-926e37170215",
   "metadata": {
    "execution": {
     "iopub.execute_input": "2024-04-25T10:55:52.781100Z",
     "iopub.status.busy": "2024-04-25T10:55:52.780269Z",
     "iopub.status.idle": "2024-04-25T10:55:53.167141Z",
     "shell.execute_reply": "2024-04-25T10:55:53.166427Z",
     "shell.execute_reply.started": "2024-04-25T10:55:52.781059Z"
    },
    "tags": []
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "{'name': 'rc1a-9r5h0inf2p0f3tk2.mdb.yandexcloud.net', 'cluster_name': 'c9qthb5rf6to08jrn7uo', 'cluster_uuid': 'us1xtR19RCe9tSmOydAvOg', 'version': {'distribution': 'opensearch', 'number': '2.8.0', 'build_type': 'deb', 'build_hash': '8cbab9609696cd93c45fd5f3090560648c04f5af', 'build_date': '2023-10-04T14:42:52.695597332Z', 'build_snapshot': False, 'lucene_version': '9.6.0', 'minimum_wire_compatibility_version': '7.10.0', 'minimum_index_compatibility_version': '7.0.0'}, 'tagline': 'The OpenSearch Project: https://opensearch.org/'}\n"
     ]
    }
   ],
   "source": [
    "from opensearchpy import OpenSearch\n",
    "\n",
    "conn = OpenSearch(\n",
    "  HOSTS,\n",
    "  http_auth=('admin', PASS),\n",
    "  use_ssl=True,\n",
    "  verify_certs=True,\n",
    "  ca_certs=CA)\n",
    "\n",
    "print(conn.info())"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "2becda23-4ec2-4903-ad50-dea4e18a08a3",
   "metadata": {},
   "source": [
    "При правильной настройке подключения код выше вернет объект dict с информацией об имени кластера, uuid, версии и т.д."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "388886d0-98ce-4493-823d-8fb59da67990",
   "metadata": {},
   "source": [
    "### 2. Получаем IAM-токен для работы с YandexGPT"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "id": "017656f3-8d1c-4834-869e-2344c3e30dae",
   "metadata": {
    "execution": {
     "iopub.execute_input": "2024-04-25T10:57:09.201222Z",
     "iopub.status.busy": "2024-04-25T10:57:09.200617Z",
     "iopub.status.idle": "2024-04-25T10:57:09.367153Z",
     "shell.execute_reply": "2024-04-25T10:57:09.366454Z",
     "shell.execute_reply.started": "2024-04-25T10:57:09.201180Z"
    },
    "tags": []
   },
   "outputs": [],
   "source": [
    "import time\n",
    "import jwt\n",
    "import requests"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "c6911d89-78b1-4e14-82fd-19c7f7aa399c",
   "metadata": {},
   "source": [
    "Для того, чтобы обратиться из DataSphere к YandexGPT в настройках проекта необходимо указать сервисный аккаунт, у которого есть роль ai.languageModels.user. Для сервисного аккаунта необходимо создать **авторизованный** ключ доступа. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "id": "daf218fe-907b-4eb3-b93d-739e65ecbaf9",
   "metadata": {
    "execution": {
     "iopub.execute_input": "2024-04-25T10:58:08.134212Z",
     "iopub.status.busy": "2024-04-25T10:58:08.132964Z",
     "iopub.status.idle": "2024-04-25T10:58:08.169083Z",
     "shell.execute_reply": "2024-04-25T10:58:08.168245Z",
     "shell.execute_reply.started": "2024-04-25T10:58:08.134171Z"
    },
    "tags": []
   },
   "outputs": [],
   "source": [
    "service_account_id = os.environ[\"SA_ID\"]\n",
    "key_id = os.environ[\"KEY_ID\"]\n",
    "# Как получить private key: https://yandex.cloud/ru/docs/iam/operations/iam-token/create-for-sa\n",
    "private_key = os.environ['PRIVATE_KEY'].replace('\\\\n', '\\n')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "id": "b1ed5015-3d81-4b74-8fba-71c90772da7e",
   "metadata": {
    "execution": {
     "iopub.execute_input": "2024-04-25T10:58:16.522949Z",
     "iopub.status.busy": "2024-04-25T10:58:16.521974Z",
     "iopub.status.idle": "2024-04-25T10:58:16.804071Z",
     "shell.execute_reply": "2024-04-25T10:58:16.803245Z",
     "shell.execute_reply.started": "2024-04-25T10:58:16.522899Z"
    },
    "tags": []
   },
   "outputs": [],
   "source": [
    "# Получаем IAM-токен\n",
    "\n",
    "now = int(time.time())\n",
    "payload = {\n",
    "        'aud': 'https://iam.api.cloud.yandex.net/iam/v1/tokens',\n",
    "        'iss': service_account_id,\n",
    "        'iat': now,\n",
    "        'exp': now + 360}\n",
    "\n",
    "# Формирование JWT\n",
    "encoded_token = jwt.encode(\n",
    "    payload,\n",
    "    private_key,\n",
    "    algorithm='PS256',\n",
    "    headers={'kid': key_id})\n",
    "\n",
    "url = 'https://iam.api.cloud.yandex.net/iam/v1/tokens'\n",
    "x = requests.post(url,  \n",
    "                  headers={'Content-Type': 'application/json'},\n",
    "                  json = {'jwt': encoded_token}).json()\n",
    "token = x['iamToken']"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "31915474-76b1-43f4-94c7-aef99385cb3f",
   "metadata": {},
   "source": [
    "### 3. Создаем индекс в OpenSearch для поиска релевантных документов"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "b18cd101-8614-426d-9b8d-ec18efc6cc06",
   "metadata": {},
   "source": [
    "Устанавливаем LangChain. **LangChain** — это фреймворк для разработки приложений на базе языковых моделей."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "id": "fbd7c854-f2d0-493b-a16a-5d89fcd745e3",
   "metadata": {
    "execution": {
     "iopub.execute_input": "2024-04-25T11:06:44.396074Z",
     "iopub.status.busy": "2024-04-25T11:06:44.395332Z",
     "iopub.status.idle": "2024-04-25T11:06:44.925470Z",
     "shell.execute_reply": "2024-04-25T11:06:44.924744Z",
     "shell.execute_reply.started": "2024-04-25T11:06:44.396026Z"
    },
    "tags": []
   },
   "outputs": [],
   "source": [
    "import langchain\n",
    "from operator import itemgetter\n",
    "from langchain.document_loaders import DirectoryLoader, PyPDFLoader, TextLoader, UnstructuredMarkdownLoader\n",
    "from langchain.text_splitter import RecursiveCharacterTextSplitter"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "id": "31b8ecf7-25c1-469d-be20-3263e9bb885a",
   "metadata": {
    "execution": {
     "iopub.execute_input": "2024-04-25T11:06:51.845896Z",
     "iopub.status.busy": "2024-04-25T11:06:51.845238Z",
     "iopub.status.idle": "2024-04-25T11:06:51.869982Z",
     "shell.execute_reply": "2024-04-25T11:06:51.869264Z",
     "shell.execute_reply.started": "2024-04-25T11:06:51.845852Z"
    },
    "tags": []
   },
   "outputs": [],
   "source": [
    "# Указываем путь к папке с документами в Object Storage. Для этого выберите Сopy Path\n",
    "source_dir = \"/home/jupyter/datasphere/s3/ds-knights-demo\"\n",
    "# source_dir = \"/home/jupyter/datasphere/s3/dz-yc-docs/yc-docs-2024-q2-md/ru/\""
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "id": "5f15a0c1-c6fb-465d-95de-b9d12f24f8e0",
   "metadata": {
    "execution": {
     "iopub.execute_input": "2024-04-17T20:27:43.142242Z",
     "iopub.status.busy": "2024-04-17T20:27:43.141453Z",
     "iopub.status.idle": "2024-04-17T20:27:43.157876Z",
     "shell.execute_reply": "2024-04-17T20:27:43.157292Z",
     "shell.execute_reply.started": "2024-04-17T20:27:43.142197Z"
    }
   },
   "outputs": [],
   "source": [
    "# Создаем объект для считывания документов из бакета в S3\n",
    "loader = langchain.document_loaders.DirectoryLoader(source_dir, \n",
    "                                                    glob=\"**/*.md\",\n",
    "                                                    silent_errors=True,\n",
    "                                                    show_progress=True, \n",
    "                                                    recursive=True,\n",
    "                                                    use_multithreading=True,\n",
    "                                                    loader_cls=UnstructuredMarkdownLoader)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "id": "177077d5-75ce-4e8e-9a0c-aee6e7a63b40",
   "metadata": {
    "execution": {
     "iopub.execute_input": "2024-04-25T11:06:55.573154Z",
     "iopub.status.busy": "2024-04-25T11:06:55.572147Z",
     "iopub.status.idle": "2024-04-25T11:06:55.588498Z",
     "shell.execute_reply": "2024-04-25T11:06:55.587706Z",
     "shell.execute_reply.started": "2024-04-25T11:06:55.573109Z"
    },
    "tags": []
   },
   "outputs": [],
   "source": [
    "# Создаем объект для считывания документов из S3 бакета \n",
    "loader = DirectoryLoader(source_dir, \n",
    "                         glob=\"**/*.pdf\", \n",
    "                         loader_cls=PyPDFLoader, \n",
    "                         silent_errors=True,\n",
    "                         show_progress=True, \n",
    "                         recursive=True\n",
    ")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "id": "79e50837-bda0-4069-b9d8-5cc29633c7c5",
   "metadata": {
    "execution": {
     "iopub.execute_input": "2024-04-17T08:06:05.685409Z",
     "iopub.status.busy": "2024-04-17T08:06:05.684556Z",
     "iopub.status.idle": "2024-04-17T08:06:05.704176Z",
     "shell.execute_reply": "2024-04-17T08:06:05.703480Z",
     "shell.execute_reply.started": "2024-04-17T08:06:05.685373Z"
    },
    "tags": []
   },
   "outputs": [],
   "source": [
    "# Создаем объект для считывания документов из бакета в S3\n",
    "# loader = DirectoryLoader(source_dir, \n",
    "#                         glob=\"**/*.txt\",\n",
    "#                         silent_errors=True,\n",
    "#                         show_progress=True, \n",
    "#                         recursive=True,\n",
    "#                        loader_cls=TextLoader)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "id": "9bf9c599-9c65-47a1-805d-9103e398cc4c",
   "metadata": {
    "execution": {
     "iopub.execute_input": "2024-04-25T11:07:03.559217Z",
     "iopub.status.busy": "2024-04-25T11:07:03.558483Z",
     "iopub.status.idle": "2024-04-25T11:07:03.598173Z",
     "shell.execute_reply": "2024-04-25T11:07:03.597332Z",
     "shell.execute_reply.started": "2024-04-25T11:07:03.559175Z"
    },
    "tags": []
   },
   "outputs": [],
   "source": [
    "# Указываем длины фрагмента, на который разбиваются документы\n",
    "\n",
    "CHUNK_SIZE = 1000\n",
    "CHUNK_OVERLAP = 200"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "id": "2b0f55b0-f32a-48ed-bfb8-4471130fd9e2",
   "metadata": {
    "execution": {
     "iopub.execute_input": "2024-04-25T11:07:15.308579Z",
     "iopub.status.busy": "2024-04-25T11:07:15.307818Z",
     "iopub.status.idle": "2024-04-25T11:07:17.140561Z",
     "shell.execute_reply": "2024-04-25T11:07:17.139814Z",
     "shell.execute_reply.started": "2024-04-25T11:07:15.308534Z"
    }
   },
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|██████████| 2/2 [00:01<00:00,  1.43it/s]\n"
     ]
    }
   ],
   "source": [
    "documents = loader.load()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "id": "3f239b62-b931-4d58-9c56-7f2cc4290cc1",
   "metadata": {
    "execution": {
     "iopub.execute_input": "2024-04-25T11:07:30.509656Z",
     "iopub.status.busy": "2024-04-25T11:07:30.508774Z",
     "iopub.status.idle": "2024-04-25T11:07:30.568621Z",
     "shell.execute_reply": "2024-04-25T11:07:30.567710Z",
     "shell.execute_reply.started": "2024-04-25T11:07:30.509603Z"
    }
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "7"
      ]
     },
     "execution_count": 15,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(documents)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "id": "08c2cc29-33c0-4211-9305-fb3e4a83ee69",
   "metadata": {
    "execution": {
     "iopub.execute_input": "2024-04-25T11:08:02.751422Z",
     "iopub.status.busy": "2024-04-25T11:08:02.750712Z",
     "iopub.status.idle": "2024-04-25T11:08:02.778841Z",
     "shell.execute_reply": "2024-04-25T11:08:02.777907Z",
     "shell.execute_reply.started": "2024-04-25T11:08:02.751379Z"
    },
    "tags": []
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Количество фрагментов, на которые разбиты все документы = 18\n"
     ]
    }
   ],
   "source": [
    "# Считываем документы и разбиваем на фрагменты\n",
    "\n",
    "text_splitter = RecursiveCharacterTextSplitter(\n",
    "    chunk_size=CHUNK_SIZE, \n",
    "    chunk_overlap=CHUNK_OVERLAP\n",
    ")\n",
    "docs = text_splitter.split_documents(documents)\n",
    "\n",
    "print(f\"Количество фрагментов, на которые разбиты все документы = {len(docs)}\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "3e818e14-f780-4970-a02b-d75dae02729e",
   "metadata": {},
   "outputs": [],
   "source": [
    "# md_splitter = RecursiveCharacterTextSplitter.from_language(\n",
    "#     language=Language.MARKDOWN, chunk_size=CHUNK_SIZE, chunk_overlap=CHUNK_OVERLAP\n",
    "# )\n",
    "# md_docs = md_splitter.create_documents()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "id": "0a7b5c74-5978-4bb9-b5c5-87c2a9e481ab",
   "metadata": {
    "execution": {
     "iopub.execute_input": "2024-04-25T11:09:10.582230Z",
     "iopub.status.busy": "2024-04-25T11:09:10.581299Z",
     "iopub.status.idle": "2024-04-25T11:09:10.956224Z",
     "shell.execute_reply": "2024-04-25T11:09:10.955394Z",
     "shell.execute_reply.started": "2024-04-25T11:09:10.582196Z"
    },
    "tags": []
   },
   "outputs": [],
   "source": [
    "# Cоздаем объект YandexGPTEmbeddings для построения векторов с помощью YandexGPT\n",
    "from yandex_chain import YandexEmbeddings\n",
    "folder_id = os.environ[\"YC_FOLDER_ID\"]\n",
    "embeddings = YandexEmbeddings(folder_id=folder_id, iam_token = token)\n",
    "embeddings.sleep_interval = 0.02 #текущее ограничение эмбеддера 50 RPS, делаем задержку 1/50 секунды, чтобы не выйти за это ограничение"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "id": "733255e9-5a53-4bcc-a8d2-3044234a793d",
   "metadata": {
    "execution": {
     "iopub.execute_input": "2024-04-25T11:09:19.162843Z",
     "iopub.status.busy": "2024-04-25T11:09:19.162156Z",
     "iopub.status.idle": "2024-04-25T11:09:19.180454Z",
     "shell.execute_reply": "2024-04-25T11:09:19.179749Z",
     "shell.execute_reply.started": "2024-04-25T11:09:19.162800Z"
    },
    "tags": []
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Ориентировочное время оцифровки = 0.14 с.\n"
     ]
    }
   ],
   "source": [
    "text_to_print = f\"Ориентировочное время оцифровки = {len(documents)*embeddings.sleep_interval} с.\"\n",
    "print(text_to_print)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "id": "15964efa-9324-4933-93ce-6b84e561c08d",
   "metadata": {
    "execution": {
     "iopub.execute_input": "2024-04-25T11:11:13.473525Z",
     "iopub.status.busy": "2024-04-25T11:11:13.472801Z",
     "iopub.status.idle": "2024-04-25T11:11:16.978312Z",
     "shell.execute_reply": "2024-04-25T11:11:16.977593Z",
     "shell.execute_reply.started": "2024-04-25T11:11:13.473493Z"
    },
    "tags": []
   },
   "outputs": [],
   "source": [
    "# Строим вектора по документам и добавляем их в базу OpenSearch\n",
    "from langchain_community.vectorstores import OpenSearchVectorSearch\n",
    "\n",
    "docsearch = OpenSearchVectorSearch.from_documents(\n",
    "     docs,\n",
    "     embeddings,\n",
    "     opensearch_url=HOSTS,\n",
    "     http_auth=(\"admin\", PASS),\n",
    "     use_ssl = True,\n",
    "     verify_certs = True,\n",
    "     ca_certs = CA,\n",
    "     engine = 'lucene',\n",
    "     index_name = \"dz-network-1000-200\",\n",
    "     bulk_size=1000000,\n",
    "     space_type=\"cosinesimil\"\n",
    ")\n",
    "# space_type: \"l2\", \"l1\", \"cosinesimil\", \"linf\", \"innerproduct\"; default: \"l2\""
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "id": "6d823e5d-ce90-4b4c-8d6a-984540b6f5f6",
   "metadata": {
    "execution": {
     "iopub.execute_input": "2024-04-25T11:11:56.584279Z",
     "iopub.status.busy": "2024-04-25T11:11:56.583535Z",
     "iopub.status.idle": "2024-04-25T11:11:56.612709Z",
     "shell.execute_reply": "2024-04-25T11:11:56.611877Z",
     "shell.execute_reply.started": "2024-04-25T11:11:56.584236Z"
    },
    "tags": []
   },
   "outputs": [],
   "source": [
    "# Если эмбеддинги уже есть, то запускаем эту строчку\n",
    "docsearch2 = OpenSearchVectorSearch (\n",
    "    embedding_function=embeddings,\n",
    "    # index_name = \"yc-docs-md-1000-200\",\n",
    "    index_name = \"ycdoc-24q2-1000-200-md\",\n",
    "    opensearch_url=HOSTS,\n",
    "    http_auth=(\"admin\", PASS),\n",
    "    use_ssl = True,\n",
    "    verify_certs = True,\n",
    "    ca_certs = CA,\n",
    "    engine = 'lucene'\n",
    ")  "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "id": "c745aef6-427a-4e35-a84d-c05853ad1c4c",
   "metadata": {
    "execution": {
     "iopub.execute_input": "2024-04-25T11:12:12.902259Z",
     "iopub.status.busy": "2024-04-25T11:12:12.901434Z",
     "iopub.status.idle": "2024-04-25T11:12:13.080713Z",
     "shell.execute_reply": "2024-04-25T11:12:13.079863Z",
     "shell.execute_reply.started": "2024-04-25T11:12:12.902212Z"
    },
    "tags": []
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[Document(page_content='13.02.2024, 16:08 Устройство сети в Yandex Cloud | Yandex Cloud - Документация\\nhttps://cloud.yandex.ru/ru/docs/vpc/concepts/network-overview 2/5\\nОдин из основных компонентов физической сети — транспортная сеть Yandex Cloud.\\nК транспортной сети подключаются:\\nЦОД (зоны доступности) Yande x Cloud.\\nТочки присутствия (Point of Presence или PoP). На точках прис утствия размещается сетевое оборудование транспортной сети. На отдельных точка\\nвнешним се тям и  интернету (Internet Peering). На отдельных точках присутствия клиентам Yande x Cloud предоставляется возможность организова\\nсобственной инфраструктуре и облачными ресурсами  и публичным се рвисам  Yande x Cloud с п омощью услуги Yande x Cloud Interconne ct.\\nТранспортная сеть Yande x Cloud со стоит из двух уровней:\\nУровень оптической сети DWD M. Оборудование оптического спектрального уплотнения (DWD M ) обеспечивает подключение оборудования уро', metadata={'source': '/home/jupyter/datasphere/s3/ds-knights-demo/Устройство сети в Yandex Cloud _ Yandex Cloud - Докумен.pdf', 'page': 1}),\n",
       " Document(page_content='Доступ облачных ресурсо в к интернету.\\nВиртуальную сеть часто называют термином Overlay. В одном каталоге ресурсо в может быть создана одна или несколько виртуальных сетей. Вир\\nесли они находятся в одном каталоге ресурсо в.\\nНиже приведено краткое описан ие устройства физической сети и виртуальной сети в Yande x Cloud. Больше информаци и об устройстве сети можно на\\nФизическая сеть в Yandex Cloud\\nФизическую сеть в Yande x Cloud мо жно представить следующим образом:Устройство сети в Yandex CloudРосси я Связаться с нами Консоль', metadata={'source': '/home/jupyter/datasphere/s3/ds-knights-demo/Устройство сети в Yandex Cloud _ Yandex Cloud - Докумен.pdf', 'page': 0})]"
      ]
     },
     "execution_count": 21,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Тестируем сохраненные вектора в docssearch\n",
    "query = \"Как устроена сеть в облаке?\"\n",
    "docs = docsearch.similarity_search(query, k=2)\n",
    "docs"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 22,
   "id": "b9959e73-a9f1-4f3d-9456-a37b6666bdc5",
   "metadata": {
    "execution": {
     "iopub.execute_input": "2024-04-25T11:13:05.315102Z",
     "iopub.status.busy": "2024-04-25T11:13:05.314185Z",
     "iopub.status.idle": "2024-04-25T11:13:05.547162Z",
     "shell.execute_reply": "2024-04-25T11:13:05.546414Z",
     "shell.execute_reply.started": "2024-04-25T11:13:05.315054Z"
    },
    "tags": []
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[Document(page_content='description: \"Облачная сеть — это аналог традиционной локальной сети в дата-центре. Облачные сети создаются в каталогах и используются для передачи информации между облачными ресурсами и связи ресурсов с интернетом.\"\\nkeywords:\\n  - облачная сеть\\n  - облако\\n  - сеть\\n\\nОблачные сети и подсети\\n\\nОблачные сети {#network}\\n\\nОблачная сеть — это аналог традиционной локальной сети в дата-центре. Облачные сети создаются в каталогах и используются для передачи информации между облачными ресурсами и связи ресурсов с интернетом.\\n\\nДля виртуальных машин Yandex Compute Cloud и хостов баз данных доступ из интернета и в интернет открыт через публичные IP-адреса.\\n\\nУправлять трафиком в облачных сетях и подсетях можно с помощью групп безопасности. Они содержат правила, которые определяют протоколы и IP-адреса для приема и отправки трафика.\\n\\nПодсети {#subnet}', metadata={'source': '/home/jupyter/datasphere/s3/dz-yc-docs/yc-docs-2024-q2-md/ru/vpc/concepts/network.md'}),\n",
       " Document(page_content='Устройство сети в Yandex Cloud\\n\\nСеть в Yandex Cloud можно условно разделить на две большие части:\\n\\nФизическая сеть — это аппаратная сеть внутри центров обработки данных (ЦОД), транспортная сеть между ЦОД и в местах подключения к внешним сетям и интернету. Физическую сеть часто называют термином Underlay.\\n\\nВиртуальная сеть — работает поверх физической сетевой инфраструктуры. Сервисы виртуальной сети Virtual Private Cloud (VPC) предоставляют пользователю:\\n\\nIP-связность между облачными ресурсами.\\n\\nДоступ облачных ресурсов к интернету.\\n\\nВиртуальную сеть часто называют термином Overlay. В одном каталоге ресурсов может быть создана одна или несколько виртуальных сетей. Виртуальные сети изолированы друг от друга, даже если они находятся в одном каталоге ресурсов.\\n\\nНиже приведено краткое описание устройства физической сети и виртуальной сети в Yandex Cloud. Больше информации об устройстве сети можно найти в разделе дополнительные материалы.\\n\\nФизическая сеть в Yandex Cloud {#underlay}', metadata={'source': '/home/jupyter/datasphere/s3/dz-yc-docs/yc-docs-2024-q2-md/ru/_includes/overview/network.md'})]"
      ]
     },
     "execution_count": 22,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Тестируем сохраненные вектора в docssearch2\n",
    "query = \"Как устроена сеть в облаке?\"\n",
    "docs2 = docsearch2.similarity_search(query, k=2)\n",
    "docs2"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 23,
   "id": "f7631e2f-7772-4543-b67f-783b6a440287",
   "metadata": {
    "execution": {
     "iopub.execute_input": "2024-04-25T11:13:15.203038Z",
     "iopub.status.busy": "2024-04-25T11:13:15.202277Z",
     "iopub.status.idle": "2024-04-25T11:13:15.216357Z",
     "shell.execute_reply": "2024-04-25T11:13:15.215246Z",
     "shell.execute_reply.started": "2024-04-25T11:13:15.202993Z"
    },
    "tags": []
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "13.02.2024, 16:08 Устройство сети в Yandex Cloud | Yandex Cloud - Документация\n",
      "https://cloud.yandex.ru/ru/docs/vpc/concepts/network-overview 2/5\n",
      "Один из основных компонентов физической сети — транспортная сеть Yandex Cloud.\n",
      "К транспортной сети подключаются:\n",
      "ЦОД (зоны доступности) Yande x Cloud.\n",
      "Точки присутствия (Point of Presence или PoP). На точках прис утствия размещается сетевое оборудование транспортной сети. На отдельных точка\n",
      "внешним се тям и  интернету (Internet Peering). На отдельных точках присутствия клиентам Yande x Cloud предоставляется возможность организова\n",
      "собственной инфраструктуре и облачными ресурсами  и публичным се рвисам  Yande x Cloud с п омощью услуги Yande x Cloud Interconne ct.\n",
      "Транспортная сеть Yande x Cloud со стоит из двух уровней:\n",
      "Уровень оптической сети DWD M. Оборудование оптического спектрального уплотнения (DWD M ) обеспечивает подключение оборудования уро\n"
     ]
    }
   ],
   "source": [
    "# Поисковая выдача N1 по тематическому фрагменту документации\n",
    "print(docs[0].page_content)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 24,
   "id": "e3726eb9-9062-4ebc-89a1-dfe52f454e10",
   "metadata": {
    "execution": {
     "iopub.execute_input": "2024-04-25T11:13:18.761852Z",
     "iopub.status.busy": "2024-04-25T11:13:18.761047Z",
     "iopub.status.idle": "2024-04-25T11:13:18.776513Z",
     "shell.execute_reply": "2024-04-25T11:13:18.775529Z",
     "shell.execute_reply.started": "2024-04-25T11:13:18.761807Z"
    },
    "tags": []
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "description: \"Облачная сеть — это аналог традиционной локальной сети в дата-центре. Облачные сети создаются в каталогах и используются для передачи информации между облачными ресурсами и связи ресурсов с интернетом.\"\n",
      "keywords:\n",
      "  - облачная сеть\n",
      "  - облако\n",
      "  - сеть\n",
      "\n",
      "Облачные сети и подсети\n",
      "\n",
      "Облачные сети {#network}\n",
      "\n",
      "Облачная сеть — это аналог традиционной локальной сети в дата-центре. Облачные сети создаются в каталогах и используются для передачи информации между облачными ресурсами и связи ресурсов с интернетом.\n",
      "\n",
      "Для виртуальных машин Yandex Compute Cloud и хостов баз данных доступ из интернета и в интернет открыт через публичные IP-адреса.\n",
      "\n",
      "Управлять трафиком в облачных сетях и подсетях можно с помощью групп безопасности. Они содержат правила, которые определяют протоколы и IP-адреса для приема и отправки трафика.\n",
      "\n",
      "Подсети {#subnet}\n"
     ]
    }
   ],
   "source": [
    "# Поисковая выдача N1 по большой документации\n",
    "print(docs2[0].page_content)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 25,
   "id": "e6d47bb4-2793-45bb-8758-412b3fcf2f18",
   "metadata": {
    "execution": {
     "iopub.execute_input": "2024-04-25T11:13:46.760724Z",
     "iopub.status.busy": "2024-04-25T11:13:46.759802Z",
     "iopub.status.idle": "2024-04-25T11:13:46.908112Z",
     "shell.execute_reply": "2024-04-25T11:13:46.907364Z",
     "shell.execute_reply.started": "2024-04-25T11:13:46.760674Z"
    },
    "tags": []
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[Document(page_content='13.02.2024, 16:08 Устройство сети в Yandex Cloud | Yandex Cloud - Документация\\nhttps://cloud.yandex.ru/ru/docs/vpc/concepts/network-overview 2/5\\nОдин из основных компонентов физической сети — транспортная сеть Yandex Cloud.\\nК транспортной сети подключаются:\\nЦОД (зоны доступности) Yande x Cloud.\\nТочки присутствия (Point of Presence или PoP). На точках прис утствия размещается сетевое оборудование транспортной сети. На отдельных точка\\nвнешним се тям и  интернету (Internet Peering). На отдельных точках присутствия клиентам Yande x Cloud предоставляется возможность организова\\nсобственной инфраструктуре и облачными ресурсами  и публичным се рвисам  Yande x Cloud с п омощью услуги Yande x Cloud Interconne ct.\\nТранспортная сеть Yande x Cloud со стоит из двух уровней:\\nУровень оптической сети DWD M. Оборудование оптического спектрального уплотнения (DWD M ) обеспечивает подключение оборудования уро', metadata={'source': '/home/jupyter/datasphere/s3/ds-knights-demo/Устройство сети в Yandex Cloud _ Yandex Cloud - Докумен.pdf', 'page': 1}),\n",
       " Document(page_content='Доступ облачных ресурсо в к интернету.\\nВиртуальную сеть часто называют термином Overlay. В одном каталоге ресурсо в может быть создана одна или несколько виртуальных сетей. Вир\\nесли они находятся в одном каталоге ресурсо в.\\nНиже приведено краткое описан ие устройства физической сети и виртуальной сети в Yande x Cloud. Больше информаци и об устройстве сети можно на\\nФизическая сеть в Yandex Cloud\\nФизическую сеть в Yande x Cloud мо жно представить следующим образом:Устройство сети в Yandex CloudРосси я Связаться с нами Консоль', metadata={'source': '/home/jupyter/datasphere/s3/ds-knights-demo/Устройство сети в Yandex Cloud _ Yandex Cloud - Докумен.pdf', 'page': 0})]"
      ]
     },
     "execution_count": 25,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# В дальнейшем нам понадобится не similarity search метод, а метод retriever\n",
    "# Сначала по тематическому фрагменту документации\n",
    "retriever = docsearch.as_retriever(search_kwargs={\"k\": 2})\n",
    "docs = retriever.invoke(query)\n",
    "docs"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 26,
   "id": "31e2f4eb-8103-4573-81ea-f83c72cb6c93",
   "metadata": {
    "execution": {
     "iopub.execute_input": "2024-04-25T11:13:51.158100Z",
     "iopub.status.busy": "2024-04-25T11:13:51.157353Z",
     "iopub.status.idle": "2024-04-25T11:13:51.527781Z",
     "shell.execute_reply": "2024-04-25T11:13:51.527060Z",
     "shell.execute_reply.started": "2024-04-25T11:13:51.158058Z"
    },
    "tags": []
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[Document(page_content='description: \"Облачная сеть — это аналог традиционной локальной сети в дата-центре. Облачные сети создаются в каталогах и используются для передачи информации между облачными ресурсами и связи ресурсов с интернетом.\"\\nkeywords:\\n  - облачная сеть\\n  - облако\\n  - сеть\\n\\nОблачные сети и подсети\\n\\nОблачные сети {#network}\\n\\nОблачная сеть — это аналог традиционной локальной сети в дата-центре. Облачные сети создаются в каталогах и используются для передачи информации между облачными ресурсами и связи ресурсов с интернетом.\\n\\nДля виртуальных машин Yandex Compute Cloud и хостов баз данных доступ из интернета и в интернет открыт через публичные IP-адреса.\\n\\nУправлять трафиком в облачных сетях и подсетях можно с помощью групп безопасности. Они содержат правила, которые определяют протоколы и IP-адреса для приема и отправки трафика.\\n\\nПодсети {#subnet}', metadata={'source': '/home/jupyter/datasphere/s3/dz-yc-docs/yc-docs-2024-q2-md/ru/vpc/concepts/network.md'}),\n",
       " Document(page_content='Устройство сети в Yandex Cloud\\n\\nСеть в Yandex Cloud можно условно разделить на две большие части:\\n\\nФизическая сеть — это аппаратная сеть внутри центров обработки данных (ЦОД), транспортная сеть между ЦОД и в местах подключения к внешним сетям и интернету. Физическую сеть часто называют термином Underlay.\\n\\nВиртуальная сеть — работает поверх физической сетевой инфраструктуры. Сервисы виртуальной сети Virtual Private Cloud (VPC) предоставляют пользователю:\\n\\nIP-связность между облачными ресурсами.\\n\\nДоступ облачных ресурсов к интернету.\\n\\nВиртуальную сеть часто называют термином Overlay. В одном каталоге ресурсов может быть создана одна или несколько виртуальных сетей. Виртуальные сети изолированы друг от друга, даже если они находятся в одном каталоге ресурсов.\\n\\nНиже приведено краткое описание устройства физической сети и виртуальной сети в Yandex Cloud. Больше информации об устройстве сети можно найти в разделе дополнительные материалы.\\n\\nФизическая сеть в Yandex Cloud {#underlay}', metadata={'source': '/home/jupyter/datasphere/s3/dz-yc-docs/yc-docs-2024-q2-md/ru/_includes/overview/network.md'})]"
      ]
     },
     "execution_count": 26,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Теперь используем ретривер по большой документации\n",
    "retriever2=docsearch2.as_retriever(search_kwargs={\"k\": 2})\n",
    "docs2 = retriever2.invoke(query)\n",
    "docs2"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 27,
   "id": "6763baaa-5afb-43ae-84ef-137c23cdb63b",
   "metadata": {
    "execution": {
     "iopub.execute_input": "2024-04-25T11:13:55.619280Z",
     "iopub.status.busy": "2024-04-25T11:13:55.618371Z",
     "iopub.status.idle": "2024-04-25T11:13:55.634068Z",
     "shell.execute_reply": "2024-04-25T11:13:55.633282Z",
     "shell.execute_reply.started": "2024-04-25T11:13:55.619237Z"
    },
    "tags": []
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "13.02.2024, 16:08 Устройство сети в Yandex Cloud | Yandex Cloud - Документация\n",
      "https://cloud.yandex.ru/ru/docs/vpc/concepts/network-overview 2/5\n",
      "Один из основных компонентов физической сети — транспортная сеть Yandex Cloud.\n",
      "К транспортной сети подключаются:\n",
      "ЦОД (зоны доступности) Yande x Cloud.\n",
      "Точки присутствия (Point of Presence или PoP). На точках прис утствия размещается сетевое оборудование транспортной сети. На отдельных точка\n",
      "внешним се тям и  интернету (Internet Peering). На отдельных точках присутствия клиентам Yande x Cloud предоставляется возможность организова\n",
      "собственной инфраструктуре и облачными ресурсами  и публичным се рвисам  Yande x Cloud с п омощью услуги Yande x Cloud Interconne ct.\n",
      "Транспортная сеть Yande x Cloud со стоит из двух уровней:\n",
      "Уровень оптической сети DWD M. Оборудование оптического спектрального уплотнения (DWD M ) обеспечивает подключение оборудования уро\n",
      "Доступ облачных ресурсо в к интернету.\n",
      "Виртуальную сеть часто называют термином Overlay. В одном каталоге ресурсо в может быть создана одна или несколько виртуальных сетей. Вир\n",
      "если они находятся в одном каталоге ресурсо в.\n",
      "Ниже приведено краткое описан ие устройства физической сети и виртуальной сети в Yande x Cloud. Больше информаци и об устройстве сети можно на\n",
      "Физическая сеть в Yandex Cloud\n",
      "Физическую сеть в Yande x Cloud мо жно представить следующим образом:Устройство сети в Yandex CloudРосси я Связаться с нами Консоль\n"
     ]
    }
   ],
   "source": [
    "# Чуть более читаемый вывод результатов поиска по тематическому фрагменту документации\n",
    "for i in range(2):\n",
    "    print(docs[i].page_content)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 28,
   "id": "67e58f38-1439-46f7-b1bd-b19c2a2cbbf4",
   "metadata": {
    "execution": {
     "iopub.execute_input": "2024-04-25T11:13:59.821943Z",
     "iopub.status.busy": "2024-04-25T11:13:59.821225Z",
     "iopub.status.idle": "2024-04-25T11:13:59.841973Z",
     "shell.execute_reply": "2024-04-25T11:13:59.841235Z",
     "shell.execute_reply.started": "2024-04-25T11:13:59.821900Z"
    },
    "tags": []
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "description: \"Облачная сеть — это аналог традиционной локальной сети в дата-центре. Облачные сети создаются в каталогах и используются для передачи информации между облачными ресурсами и связи ресурсов с интернетом.\"\n",
      "keywords:\n",
      "  - облачная сеть\n",
      "  - облако\n",
      "  - сеть\n",
      "\n",
      "Облачные сети и подсети\n",
      "\n",
      "Облачные сети {#network}\n",
      "\n",
      "Облачная сеть — это аналог традиционной локальной сети в дата-центре. Облачные сети создаются в каталогах и используются для передачи информации между облачными ресурсами и связи ресурсов с интернетом.\n",
      "\n",
      "Для виртуальных машин Yandex Compute Cloud и хостов баз данных доступ из интернета и в интернет открыт через публичные IP-адреса.\n",
      "\n",
      "Управлять трафиком в облачных сетях и подсетях можно с помощью групп безопасности. Они содержат правила, которые определяют протоколы и IP-адреса для приема и отправки трафика.\n",
      "\n",
      "Подсети {#subnet}\n",
      "Устройство сети в Yandex Cloud\n",
      "\n",
      "Сеть в Yandex Cloud можно условно разделить на две большие части:\n",
      "\n",
      "Физическая сеть — это аппаратная сеть внутри центров обработки данных (ЦОД), транспортная сеть между ЦОД и в местах подключения к внешним сетям и интернету. Физическую сеть часто называют термином Underlay.\n",
      "\n",
      "Виртуальная сеть — работает поверх физической сетевой инфраструктуры. Сервисы виртуальной сети Virtual Private Cloud (VPC) предоставляют пользователю:\n",
      "\n",
      "IP-связность между облачными ресурсами.\n",
      "\n",
      "Доступ облачных ресурсов к интернету.\n",
      "\n",
      "Виртуальную сеть часто называют термином Overlay. В одном каталоге ресурсов может быть создана одна или несколько виртуальных сетей. Виртуальные сети изолированы друг от друга, даже если они находятся в одном каталоге ресурсов.\n",
      "\n",
      "Ниже приведено краткое описание устройства физической сети и виртуальной сети в Yandex Cloud. Больше информации об устройстве сети можно найти в разделе дополнительные материалы.\n",
      "\n",
      "Физическая сеть в Yandex Cloud {#underlay}\n"
     ]
    }
   ],
   "source": [
    "# Чуть более читаемый вывод результатов поиска по большой документации\n",
    "for i in range(2):\n",
    "    print(docs2[i].page_content)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "486c825d-851f-45cf-909e-949fd9d86a0c",
   "metadata": {},
   "source": [
    "### 4. Обращаемся при помощи LLM к выбранным документам"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 29,
   "id": "813d4e79-e098-4446-9b1c-5d93609c19e6",
   "metadata": {
    "execution": {
     "iopub.execute_input": "2024-04-25T11:14:37.384326Z",
     "iopub.status.busy": "2024-04-25T11:14:37.383510Z",
     "iopub.status.idle": "2024-04-25T11:14:37.490414Z",
     "shell.execute_reply": "2024-04-25T11:14:37.489653Z",
     "shell.execute_reply.started": "2024-04-25T11:14:37.384286Z"
    },
    "tags": []
   },
   "outputs": [],
   "source": [
    "# Сначала определим шаблоны промптов для обработки документов и для языковой модели с учетом истории общения\n",
    "\n",
    "from langchain.chains import create_history_aware_retriever, create_retrieval_chain\n",
    "from langchain.chains.combine_documents import create_stuff_documents_chain\n",
    "\n",
    "from langchain_community.chat_message_histories import ChatMessageHistory\n",
    "from langchain_core.chat_history import BaseChatMessageHistory\n",
    "from langchain_core.output_parsers import StrOutputParser\n",
    "from langchain_core.prompts import ChatPromptTemplate, MessagesPlaceholder\n",
    "from langchain_core.runnables import RunnablePassthrough\n",
    "from langchain_core.runnables.history import RunnableWithMessageHistory\n",
    "from langchain_community.chat_models import ChatYandexGPT\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 30,
   "id": "adf8127f-2e74-420e-8714-44d4ca2bee07",
   "metadata": {
    "execution": {
     "iopub.execute_input": "2024-04-25T11:15:04.351790Z",
     "iopub.status.busy": "2024-04-25T11:15:04.350967Z",
     "iopub.status.idle": "2024-04-25T11:15:04.372580Z",
     "shell.execute_reply": "2024-04-25T11:15:04.371820Z",
     "shell.execute_reply.started": "2024-04-25T11:15:04.351747Z"
    },
    "tags": []
   },
   "outputs": [],
   "source": [
    "# выбираем какую yandexgpt модель будем использовать, и выставляем ее temperature = 0\n",
    "# model_uri = \"gpt://\"+str(folder_id)+\"/yandexgpt-lite/latest\"\n",
    "model_uri = \"gpt://\"+str(folder_id)+\"/yandexgpt/latest\"\n",
    "llm = ChatYandexGPT(iam_token = token, model_uri=model_uri, temperature = 0, max_tokens=8000)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 31,
   "id": "201bc7c1-a3d6-4edf-af16-130172cadfde",
   "metadata": {
    "execution": {
     "iopub.execute_input": "2024-04-25T11:15:25.635060Z",
     "iopub.status.busy": "2024-04-25T11:15:25.634242Z",
     "iopub.status.idle": "2024-04-25T11:15:25.650638Z",
     "shell.execute_reply": "2024-04-25T11:15:25.649788Z",
     "shell.execute_reply.started": "2024-04-25T11:15:25.635016Z"
    },
    "tags": []
   },
   "outputs": [],
   "source": [
    "### Контекстуализированный вопрос ###\n",
    "contextualize_q_system_prompt = \"\"\"Учитывая историю общения и последний вопрос пользователя, \\\n",
    "который может ссылаться на ДОКУМЕНТЫ в истории чата, сформулируй отдельный самодостаточный вопрос, \\\n",
    "который можно понять без истории общения. НЕ отвечай на вопрос, \\\n",
    "просто переформулируй его, если необходимо, в противном случае верни его как есть.\"\"\"\n",
    "contextualize_q_prompt = ChatPromptTemplate.from_messages(\n",
    "    [\n",
    "        (\"system\", contextualize_q_system_prompt),\n",
    "        MessagesPlaceholder(\"chat_history\"),\n",
    "        (\"human\", \"{input}\"),\n",
    "    ]\n",
    ")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 32,
   "id": "5eaeae44-a4b3-49ea-876b-bcbe0f3e6709",
   "metadata": {
    "execution": {
     "iopub.execute_input": "2024-04-25T11:15:45.976095Z",
     "iopub.status.busy": "2024-04-25T11:15:45.975278Z",
     "iopub.status.idle": "2024-04-25T11:15:46.003103Z",
     "shell.execute_reply": "2024-04-25T11:15:46.002238Z",
     "shell.execute_reply.started": "2024-04-25T11:15:45.976052Z"
    },
    "tags": []
   },
   "outputs": [],
   "source": [
    "### Ответ на вопрос ###\n",
    "qa_system_prompt = \"\"\"Ты помощник, который отвечает на вопросы \\\n",
    "Используй ДОКУМЕНТЫ ниже, чтобы ответить на этот вопрос. \\\n",
    "Если ты не знаешь ответ, просто скажи, что не знаешь. \\\n",
    "Используй максимум 20 предложений и старайся, чтобы ответ был максимально подробным.\\\n",
    "\n",
    "ДОКУМЕНТЫ: {context}\"\"\"\n",
    "qa_prompt = ChatPromptTemplate.from_messages(\n",
    "    [\n",
    "        (\"system\", qa_system_prompt),\n",
    "        MessagesPlaceholder(\"chat_history\"),\n",
    "        (\"human\", \"{input}\"),\n",
    "    ]\n",
    ")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 49,
   "id": "fb53089e-a7bb-4e96-8a19-ec6cc8695aa4",
   "metadata": {
    "execution": {
     "iopub.execute_input": "2024-04-25T11:20:48.186461Z",
     "iopub.status.busy": "2024-04-25T11:20:48.185779Z",
     "iopub.status.idle": "2024-04-25T11:20:48.197332Z",
     "shell.execute_reply": "2024-04-25T11:20:48.196692Z",
     "shell.execute_reply.started": "2024-04-25T11:20:48.186418Z"
    },
    "tags": []
   },
   "outputs": [],
   "source": [
    "history_aware_retriever = create_history_aware_retriever(\n",
    "    llm, retriever2, contextualize_q_prompt\n",
    ")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 50,
   "id": "ee52cf0f-01c6-4765-bc89-5e313cd3237c",
   "metadata": {
    "execution": {
     "iopub.execute_input": "2024-04-25T11:20:51.396560Z",
     "iopub.status.busy": "2024-04-25T11:20:51.395817Z",
     "iopub.status.idle": "2024-04-25T11:20:51.417455Z",
     "shell.execute_reply": "2024-04-25T11:20:51.416685Z",
     "shell.execute_reply.started": "2024-04-25T11:20:51.396514Z"
    },
    "tags": []
   },
   "outputs": [],
   "source": [
    "question_answer_chain = create_stuff_documents_chain(llm, qa_prompt)\n",
    "\n",
    "rag_chain = create_retrieval_chain(history_aware_retriever, question_answer_chain)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 51,
   "id": "66e03b3d-b3ca-4f2f-9eeb-3d1fdcc95400",
   "metadata": {
    "execution": {
     "iopub.execute_input": "2024-04-25T11:20:55.095440Z",
     "iopub.status.busy": "2024-04-25T11:20:55.094625Z",
     "iopub.status.idle": "2024-04-25T11:20:55.112995Z",
     "shell.execute_reply": "2024-04-25T11:20:55.112271Z",
     "shell.execute_reply.started": "2024-04-25T11:20:55.095393Z"
    },
    "tags": []
   },
   "outputs": [],
   "source": [
    "### Управление историей общения ###\n",
    "store = {}\n",
    "\n",
    "\n",
    "def get_session_history(session_id: str) -> BaseChatMessageHistory:\n",
    "    if session_id not in store:\n",
    "        store[session_id] = ChatMessageHistory()\n",
    "    return store[session_id]\n",
    "\n",
    "\n",
    "conversational_rag_chain = RunnableWithMessageHistory(\n",
    "    rag_chain,\n",
    "    get_session_history,\n",
    "    input_messages_key=\"input\",\n",
    "    history_messages_key=\"chat_history\",\n",
    "    output_messages_key=\"answer\",\n",
    ")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 52,
   "id": "8e37e12c-aa7d-4c47-b867-908c05b80b96",
   "metadata": {
    "execution": {
     "iopub.execute_input": "2024-04-25T11:21:07.278519Z",
     "iopub.status.busy": "2024-04-25T11:21:07.277827Z",
     "iopub.status.idle": "2024-04-25T11:21:07.289943Z",
     "shell.execute_reply": "2024-04-25T11:21:07.289299Z",
     "shell.execute_reply.started": "2024-04-25T11:21:07.278466Z"
    },
    "tags": []
   },
   "outputs": [],
   "source": [
    "inputs = {\"input\": \"Как устроена сеть в облаке?\"}"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 61,
   "id": "2950c2af-7018-419e-b1c3-4e649abff713",
   "metadata": {
    "execution": {
     "iopub.execute_input": "2024-04-25T11:26:45.309351Z",
     "iopub.status.busy": "2024-04-25T11:26:45.308566Z",
     "iopub.status.idle": "2024-04-25T11:27:05.514049Z",
     "shell.execute_reply": "2024-04-25T11:27:05.513328Z",
     "shell.execute_reply.started": "2024-04-25T11:26:45.309299Z"
    },
    "tags": []
   },
   "outputs": [],
   "source": [
    "ai = conversational_rag_chain.invoke(\n",
    "    inputs,\n",
    "    config={\n",
    "        \"configurable\": {\"session_id\": \"abc123\"}\n",
    "    },  # constructs a key \"abc123\" in `store`.\n",
    ")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 62,
   "id": "c16317dc-c579-40ad-87b7-b8a8def0950b",
   "metadata": {
    "execution": {
     "iopub.execute_input": "2024-04-25T11:27:05.515661Z",
     "iopub.status.busy": "2024-04-25T11:27:05.515223Z",
     "iopub.status.idle": "2024-04-25T11:27:05.531037Z",
     "shell.execute_reply": "2024-04-25T11:27:05.530355Z",
     "shell.execute_reply.started": "2024-04-25T11:27:05.515626Z"
    },
    "tags": []
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'Сеть в облаке представляет собой сложную систему, которая обеспечивает взаимодействие между различными облачными ресурсами и сервисами. Она состоит из нескольких ключевых компонентов:\\n\\n1. **Облачные ресурсы:** Это могут быть виртуальные машины, контейнеры, базы данных и другие сервисы, которые предоставляются пользователям в облачной среде.\\n\\n2. **Виртуальные сети:** Облачные провайдеры создают виртуальные сети, которые позволяют пользователям объединять свои ресурсы и обеспечивать их взаимодействие. Виртуальные сети изолированы друг от друга, что обеспечивает безопасность и контроль над трафиком.\\n\\n3. **Подсети:** Внутри виртуальных сетей можно создавать подсети, которые обеспечивают дополнительную изоляцию и гибкость в управлении трафиком и безопасностью.\\n\\n4. **Группы безопасности:** Пользователи могут создавать группы безопасности, чтобы контролировать доступ к своим ресурсам и определять правила для входящего и исходящего трафика.\\n\\n5. **Маршрутизация:** Облачные платформы предоставляют инструменты для настройки маршрутизации трафика между ресурсами и внешними сетями.\\n\\n6. **NAT-шлюзы:** NAT-шлюзы используются для обеспечения доступа облачных ресурсов к интернету и защиты внутренних ресурсов от внешних угроз.\\n\\n7. **Интернет-соединение:** Облачные ресурсы могут подключаться к интернету через NAT-шлюз, обеспечивая доступ к внешним сервисам и сетям.\\n\\n8. **Консоль управления:** Пользователи управляют своими ресурсами и настройками сети через консоль управления облачным провайдером.\\n\\nЭта система обеспечивает гибкость, масштабируемость и безопасность при работе с облачными ресурсами.'"
      ]
     },
     "execution_count": 62,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "ai[\"answer\"]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 46,
   "id": "7567819e-17aa-4f49-9b28-19f14dc76df3",
   "metadata": {
    "execution": {
     "iopub.execute_input": "2024-04-25T11:19:46.072644Z",
     "iopub.status.busy": "2024-04-25T11:19:46.071937Z",
     "iopub.status.idle": "2024-04-25T11:19:57.642499Z",
     "shell.execute_reply": "2024-04-25T11:19:57.641753Z",
     "shell.execute_reply.started": "2024-04-25T11:19:46.072608Z"
    },
    "tags": []
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Облачная сеть — это инфраструктура, которая обеспечивает взаимодействие между облачными ресурсами и интернетом. Она состоит из двух основных частей: физической и виртуальной сети.\n",
      "\n",
      "Физическая сеть представляет собой аппаратную сеть внутри центров обработки данных (ЦОД) и транспортную сеть между ЦОД. Эта сеть обеспечивает базовую функциональность и называется Underlay.\n",
      "\n",
      "Виртуальная сеть работает поверх физической сетевой инфраструктуры и предоставляет IP-связность между облачными сервисами. Она называется Overlay и может включать в себя несколько виртуальных сетей, созданных в одном каталоге ресурсов.\n",
      "\n",
      "Для получения более подробной информации о физической и виртуальной сетях в Yandex Cloud рекомендуется обратиться к документации.\n",
      "\n",
      "\n",
      " ******************************************** \n",
      "Облачная сеть в Yandex Cloud состоит из двух основных частей: физической и виртуальной сети.\n",
      "\n",
      "Физическая сеть представляет собой аппаратную сеть внутри центров обработки данных (ЦОД) и транспортную сеть между ЦОД. Эта сеть обеспечивает базовую функциональность и называется Underlay. Один из основных компонентов физической сети — транспортная сеть Yandex Cloud, к которой подключаются ЦОД и точки присутствия. На отдельных точках присутствия клиентам Yandex Cloud предоставляется возможность организовать подключение собственной инфраструктуры и облачных ресурсов к публичным сервисам Yandex Cloud с помощью услуги Yandex Cloud Interconnect. Транспортная сеть Yandex Cloud состоит их двух уровней: уровня оптической сети DWDM и оборудования, обеспечивающего подключение к уровню доступа.\n",
      "\n",
      "Виртуальная сеть работает поверх физической сетевой инфраструктуры и предоставляет IP-связность между облачными сервисами. Она называется Overlay и может включать в себя несколько виртуальных сетей, созданных в одном каталоге ресурсов. Виртуальная сеть позволяет получить доступ облачным ресурсам к интернету.\n",
      "\n",
      "Для получения более подробной информации о физической и виртуальной сетях в Yandex Cloud рекомендуется обратиться к документации.\n"
     ]
    }
   ],
   "source": [
    "from langchain_core.messages import HumanMessage\n",
    "\n",
    "chat_history = []\n",
    "\n",
    "question = \"Что такое облачная сеть?\"\n",
    "ai_msg_1 = rag_chain.invoke({\"input\": question, \"chat_history\": chat_history})\n",
    "chat_history.extend([HumanMessage(content=question), ai_msg_1[\"answer\"]])\n",
    "print(ai_msg_1[\"answer\"])\n",
    "print(\"\\n\\n ******************************************** \")\n",
    "second_question = \"Как она устроена?\"\n",
    "ai_msg_2 = rag_chain.invoke({\"input\": second_question, \"chat_history\": chat_history})\n",
    "print(ai_msg_2[\"answer\"])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 48,
   "id": "3a5a1b68-249c-4494-a1e9-639fe6eae89c",
   "metadata": {
    "execution": {
     "iopub.execute_input": "2024-04-25T11:20:04.794944Z",
     "iopub.status.busy": "2024-04-25T11:20:04.794152Z",
     "iopub.status.idle": "2024-04-25T11:20:04.815225Z",
     "shell.execute_reply": "2024-04-25T11:20:04.814519Z",
     "shell.execute_reply.started": "2024-04-25T11:20:04.794900Z"
    },
    "tags": []
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "page_content='13.02.2024, 16:08 Устройство сети в Yandex Cloud | Yandex Cloud - Документация\\nhttps://cloud.yandex.ru/ru/docs/vpc/concepts/network-overview 1/5Концепции\\xa0/ Устройство сети в Yandex Cloud\\nСтатья создана Yandex Cloud Обновлена \\x00\\x00 декабря \\x00\\x00\\x00\\x00 г.\\nФизическая сеть в Yande x Cloud\\nВиртуальная сеть в Yande x Cloud\\nVRouter\\nVRouter-agent\\nCloudGate\\nВиды сетевого взаимодействия\\nОграничения\\nДополнительные материалы\\nСеть в Yande x Cloud мо жно условно разделить на две большие части:\\nФизическая сеть — э то аппаратная сеть внутри центров обработки данных (ЦОД), транспортная сеть между ЦОД и в местах подключения к внешн\\nназывают терми ном Underlay.\\nВиртуальная сеть — р аботает поверх физической сетевой инфраструктуры. Сервисы виртуальной сети Virtual Private Cloud (VPC) предоставляют п\\nIP-связность между облачными ресурса ми.\\nДоступ облачных ресурсо в к интернету.\\nВиртуальную сеть часто называют термином Overlay. В одном каталоге ресурсо в может быть создана одна или несколько виртуальных сетей. Вир' metadata={'source': '/home/jupyter/datasphere/s3/ds-knights-demo/Устройство сети в Yandex Cloud _ Yandex Cloud - Докумен.pdf', 'page': 0}\n",
      "\n",
      "page_content='13.02.2024, 16:08 Устройство сети в Yandex Cloud | Yandex Cloud - Документация\\nhttps://cloud.yandex.ru/ru/docs/vpc/concepts/network-overview 2/5\\nОдин из основных компонентов физической сети — транспортная сеть Yandex Cloud.\\nК транспортной сети подключаются:\\nЦОД (зоны доступности) Yande x Cloud.\\nТочки присутствия (Point of Presence или PoP). На точках прис утствия размещается сетевое оборудование транспортной сети. На отдельных точка\\nвнешним се тям и  интернету (Internet Peering). На отдельных точках присутствия клиентам Yande x Cloud предоставляется возможность организова\\nсобственной инфраструктуре и облачными ресурсами  и публичным се рвисам  Yande x Cloud с п омощью услуги Yande x Cloud Interconne ct.\\nТранспортная сеть Yande x Cloud со стоит из двух уровней:\\nУровень оптической сети DWD M. Оборудование оптического спектрального уплотнения (DWD M ) обеспечивает подключение оборудования уро' metadata={'source': '/home/jupyter/datasphere/s3/ds-knights-demo/Устройство сети в Yandex Cloud _ Yandex Cloud - Докумен.pdf', 'page': 1}\n",
      "\n"
     ]
    }
   ],
   "source": [
    "for document in ai_msg_2[\"context\"]:\n",
    "    print(document)\n",
    "    print()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 63,
   "id": "949200bb-e580-4e88-81b6-6b5105254396",
   "metadata": {
    "execution": {
     "iopub.execute_input": "2024-04-25T11:27:11.758331Z",
     "iopub.status.busy": "2024-04-25T11:27:11.757604Z",
     "iopub.status.idle": "2024-04-25T11:27:11.772717Z",
     "shell.execute_reply": "2024-04-25T11:27:11.771993Z",
     "shell.execute_reply.started": "2024-04-25T11:27:11.758296Z"
    },
    "tags": []
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "page_content='description: \"Облачная сеть — это аналог традиционной локальной сети в дата-центре. Облачные сети создаются в каталогах и используются для передачи информации между облачными ресурсами и связи ресурсов с интернетом.\"\\nkeywords:\\n  - облачная сеть\\n  - облако\\n  - сеть\\n\\nОблачные сети и подсети\\n\\nОблачные сети {#network}\\n\\nОблачная сеть — это аналог традиционной локальной сети в дата-центре. Облачные сети создаются в каталогах и используются для передачи информации между облачными ресурсами и связи ресурсов с интернетом.\\n\\nДля виртуальных машин Yandex Compute Cloud и хостов баз данных доступ из интернета и в интернет открыт через публичные IP-адреса.\\n\\nУправлять трафиком в облачных сетях и подсетях можно с помощью групп безопасности. Они содержат правила, которые определяют протоколы и IP-адреса для приема и отправки трафика.\\n\\nПодсети {#subnet}' metadata={'source': '/home/jupyter/datasphere/s3/dz-yc-docs/yc-docs-2024-q2-md/ru/vpc/concepts/network.md'}\n",
      "\n",
      "page_content='Обеспечивать передачу информации между облачными ресурсами.\\n\\nСоединять облачные ресурсы с интернетом.\\n\\nСтроить статические маршруты и управлять трафиком с помощью групп безопасности.\\n\\nНаправлять трафик в интернет через NAT-шлюз.\\n\\nВыше представлена общая схема о том, как устроена взаимосвязь между сетями, подсетями и ресурсами Yandex Cloud. В консоли управления вы можете открыть карту облачной сети, которая по аналогии со схемой выше отображает взаимосвязи ваших ресурсов в выбранном каталоге.\\n\\nПодробнее об облачных сетях в разделах:\\n- Облачные сети и подсети\\n- Адреса облачных ресурсов\\n- Статическая маршрутизация\\n- Группы безопасности' metadata={'source': '/home/jupyter/datasphere/s3/dz-yc-docs/yc-docs-2024-q2-md/ru/vpc/concepts/index.md'}\n",
      "\n"
     ]
    }
   ],
   "source": [
    "for document in ai[\"context\"]:\n",
    "    print(document)\n",
    "    print()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "801b6adf-f23d-4da5-8d1d-c3ca9b6c30e8",
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "DataSphere Kernel",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.10.12"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}