parsbert-finetuned-persianQA.ipynb

{
  "cells": [
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "view-in-github",
        "colab_type": "text"
      },
      "source": [
        "<a href=\"https://colab.research.google.com/github/marzinouri/persianQA/blob/main/parsbert-finetuned-persianQA.ipynb\" target=\"_parent\"><img src=\"https://colab.research.google.com/assets/colab-badge.svg\" alt=\"Open In Colab\"/></a>"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": 2,
      "id": "eb67bca5-8086-4a19-a114-3e937ae43151",
      "metadata": {
        "id": "eb67bca5-8086-4a19-a114-3e937ae43151"
      },
      "outputs": [],
      "source": [
        "%%capture\n",
        "!pip install transformers"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": 3,
      "id": "4ed45203",
      "metadata": {
        "id": "4ed45203"
      },
      "outputs": [],
      "source": [
        "%%capture\n",
        "!pip install datasets"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": 4,
      "id": "5db2d2f1-683d-41b4-bece-568b8b6a54ee",
      "metadata": {
        "id": "5db2d2f1-683d-41b4-bece-568b8b6a54ee"
      },
      "outputs": [],
      "source": [
        "import transformers\n",
        "model_checkpoint = \"HooshvareLab/bert-fa-zwnj-base\"\n",
        "batch_size = 1"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": 5,
      "id": "f7c22271-79eb-44d7-8814-911b96ef283c",
      "metadata": {
        "scrolled": true,
        "id": "f7c22271-79eb-44d7-8814-911b96ef283c"
      },
      "outputs": [],
      "source": [
        "from transformers import AutoTokenizer\n",
        "tokenizer = AutoTokenizer.from_pretrained(model_checkpoint)"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": 18,
      "id": "a635ff6d-3a07-4d9c-806b-6e6a8d0f2e47",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 145,
          "referenced_widgets": [
            "0cd770eb93154cb4a782f01940728316",
            "d36254b6de4a4da88e37a543f135e3f4",
            "526e816b4ed343928a6bf5150557d5a9",
            "3e3000bf797f4a5ab5a44f6aea91f459",
            "26a73877b9d945fc9def6b36866f6282",
            "a5a6fa9bddaa44b694855ac68406c91b",
            "49d66b308477488ba981a7b747add52d",
            "46d171a8f7e64fc5be1eee8be4705651",
            "f0077bc0012e4ca68bf28a839d95d0e5",
            "27585b7f35ff411cbfbbf103036673a9",
            "6b371825210f4d90a1144d8439593aa0",
            "d9d2eac9ea304afd92fdc57f686952f0",
            "5c575fde05514f89bb5436605295741a",
            "0d9044bd7cb8476f8482d6937b0d9868",
            "79d6d9f1279f473395003c085ee2d235",
            "4ede78943ce74360922889f012238a8b",
            "8913ecaacbc54e94b125ffa522e27fcd",
            "78841cc2e2754d7988a4a81f4f8cffe8",
            "252270f4622746e0b2528126f427ac51",
            "96d33f419f684ec9b7647e0ca3fc0075",
            "81721f02d043460fb2531af03cf40847",
            "ad97269fda5642c98f9a13f730f63f99",
            "dc685dfdac304b849b7ebcad94e2e04e",
            "6ab5663f883948819487a880e3b6e08e",
            "a55dc37db5824eba992639c68db7e5d4",
            "f588b21156924dddb72728584d4d5933",
            "be3492452db845cab09b285139de060a",
            "87a6906183be41b1a6ea605956167c3d",
            "45b0c4e14819474b93de44cbb519569b",
            "6e142d8f96f64ce3a7dd0823a3700f0d",
            "8d44836e1b1145c5a636f903dedd9ddc",
            "d72bb1e5b5fd43598f717c2433d0e1a3"
          ]
        },
        "id": "a635ff6d-3a07-4d9c-806b-6e6a8d0f2e47",
        "outputId": "762caf49-1e25-44b2-910d-3f991da3ab66"
      },
      "outputs": [
        {
          "output_type": "display_data",
          "data": {
            "text/plain": [
              "VBox(children=(HTML(value='<center> <img\\nsrc=https://huggingface.co/front/assets/huggingface_logo-noborder.sv…"
            ],
            "application/vnd.jupyter.widget-view+json": {
              "version_major": 2,
              "version_minor": 0,
              "model_id": "0cd770eb93154cb4a782f01940728316"
            }
          },
          "metadata": {}
        }
      ],
      "source": [
        "from huggingface_hub import notebook_login\n",
        "\n",
        "notebook_login()"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": 6,
      "id": "a697bbc0-4ee7-46c0-9759-6d7d7afb6409",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "a697bbc0-4ee7-46c0-9759-6d7d7afb6409",
        "outputId": "08637783-96a5-4a45-c303-4193c27fe715"
      },
      "outputs": [
        {
          "output_type": "stream",
          "name": "stderr",
          "text": [
            "Repo card metadata block was not found. Setting CardData to empty.\n",
            "WARNING:huggingface_hub.repocard:Repo card metadata block was not found. Setting CardData to empty.\n"
          ]
        }
      ],
      "source": [
        "from datasets import load_dataset\n",
        "datasets = load_dataset(\"SajjadAyoubi/persian_qa\")"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": 6,
      "id": "21987073-ff1e-4aab-acb8-50986da184df",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "21987073-ff1e-4aab-acb8-50986da184df",
        "outputId": "1a235ddb-35cc-4a16-e8fa-8f00de7396b4"
      },
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "DatasetDict({\n",
              "    train: Dataset({\n",
              "        features: ['id', 'title', 'context', 'question', 'answers'],\n",
              "        num_rows: 9008\n",
              "    })\n",
              "    validation: Dataset({\n",
              "        features: ['id', 'title', 'context', 'question', 'answers'],\n",
              "        num_rows: 930\n",
              "    })\n",
              "})"
            ]
          },
          "metadata": {},
          "execution_count": 6
        }
      ],
      "source": [
        "datasets"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": 7,
      "id": "0f14dd4a-8658-430c-954d-0afd153690c3",
      "metadata": {
        "id": "0f14dd4a-8658-430c-954d-0afd153690c3"
      },
      "outputs": [],
      "source": [
        "from datasets import ClassLabel, Sequence\n",
        "import random\n",
        "import pandas as pd\n",
        "from IPython.display import display, HTML\n",
        "\n",
        "def show_random_elements(dataset, num_examples=10):\n",
        "    assert num_examples <= len(dataset), \"Can't pick more elements than there are in the dataset.\"\n",
        "    picks = []\n",
        "    for _ in range(num_examples):\n",
        "        pick = random.randint(0, len(dataset)-1)\n",
        "        while pick in picks:\n",
        "            pick = random.randint(0, len(dataset)-1)\n",
        "        picks.append(pick)\n",
        "\n",
        "    df = pd.DataFrame(dataset[picks])\n",
        "    for column, typ in dataset.features.items():\n",
        "        if isinstance(typ, ClassLabel):\n",
        "            df[column] = df[column].transform(lambda i: typ.names[i])\n",
        "        elif isinstance(typ, Sequence) and isinstance(typ.feature, ClassLabel):\n",
        "            df[column] = df[column].transform(lambda x: [typ.feature.names[i] for i in x])\n",
        "    display(HTML(df.to_html()))"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": 8,
      "id": "1aa8d165-2ca6-4113-ac22-4b47c8da8490",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 1000
        },
        "id": "1aa8d165-2ca6-4113-ac22-4b47c8da8490",
        "outputId": "fb2d3d0a-2b4e-4999-c159-efd1097db06c"
      },
      "outputs": [
        {
          "output_type": "display_data",
          "data": {
            "text/plain": [
              "<IPython.core.display.HTML object>"
            ],
            "text/html": [
              "<table border=\"1\" class=\"dataframe\">\n",
              "  <thead>\n",
              "    <tr style=\"text-align: right;\">\n",
              "      <th></th>\n",
              "      <th>id</th>\n",
              "      <th>title</th>\n",
              "      <th>context</th>\n",
              "      <th>question</th>\n",
              "      <th>answers</th>\n",
              "    </tr>\n",
              "  </thead>\n",
              "  <tbody>\n",
              "    <tr>\n",
              "      <th>0</th>\n",
              "      <td>1328</td>\n",
              "      <td>کره جنوبی</td>\n",
              "      <td>کرهٔ جنوبی که با نام رسمی جمهوری کره (به کره‌ای: 대한민국) نیز شناخته می‌شود، کشوری است در بخش جنوبی شبه‌جزیرهٔ کره در شرق آسیا. پایتخت آن شهر سئول است. سئول پایتخت کره جنوبی و یک شهر نوین و صنعتی است. این شهر در سال ۱۹۴۸ م، پایتخت کشور شد. جمعیت این شهر بالغ بر ۱۰ میلیون نفر و بزرگترین شهر کشور کره جنوبی است. این کلان‌شهر یکی از بزرگترین شهرهای دنیا به حساب می‌آید. این کشور، با قوانینی که برابری اقتصادی و فرصت‌های برابر برای تمام مردم را تضمین می‌کند، میزبان شرکت‌های بزرگ و بین‌المللی است که اقتصاد آن را توانمند می‌سازند. تنش پیوسته با کره شمالی بانی آن شده‌است که کره جنوبی ۲٫۶٪ از تولید ناخالص داخلی کشور را به نگهداری و بهبود ارتش خود اختصاص دهد و ارتش این کشور، در رده‌های برتر قدرت نظامی جهان جای دارد.تاریخ کره از پارینه‌سنگی زیرین آغاز می‌شود و با چوسان و دوران باستان نمایان می‌شود؛ جایی که گوریو و امپراتوری گوگوریو شکل گرفتند. در حدود ۱۹۷۹ میلادی، این کشور درگیر تنش‌های سیاسی و اقتصادی فراوانی بود و پس از این سال، تغییرات کم‌کم پدید آمدند</td>\n",
              "      <td>چه چیزی باعث شده ارتش کره شمالی قدرتمند باشد؟</td>\n",
              "      <td>{'text': [], 'answer_start': []}</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>1</th>\n",
              "      <td>6130</td>\n",
              "      <td>دریا</td>\n",
              "      <td>دریا بدنه آبی متصل آب‌های شور می‌باشد که ۷۰٫۸ درصد سطح زمین را پوشش می‌دهد. دریا آب‌وهوای زمین را معتدل می‌کند و نقش مهمی در چرخه آب، چرخه کربن، و چرخه نیتروژن دارد. اگرچه از زمان پیشاتاریخ دریانوردی و اکتشاف در دریا رواج داشته‌است، مطالعه مدرن علمی دریا (اقیانوس‌نگاری) به‌طور گسترده به سفر چلنجر بریتانیا در دهه ۱۸۷۰ مربوط می‌شود. دریا به‌طور مرسوم به چهار یا پنج بخش بزرگ تقسیم شده‌است، مواردی مانند آرام را اقیانوس و مواردی مانند مدیترانه را دریا می گویند.«واژه زرنگ کهن‌ترین نام سیستان و زاولستان است و در سنگ‌نوشتهٔ بیستون به گونهٔ زرنگا آمده‌است. به باور پژوهشگران، زرنگ و زریه که به زبان اوستایی به معنای دریا است، و دریه به فارسی هخامنشی و زریا در زبان پهلوی و دریا به زبان امروزی همه یکی است.» بزرگ‌ترین دریاهای جهان عبارتند از: دریای مدیترانه، دریای برینگ، دریای کارائیب، دریای اختسک. با توجه به شرایط فعلی رانش قاره‌ای، نیم‌کره شمالی اکنون به‌طور نسبی بین خشکی و دریا تقسیم شده‌است (با نسبت ۲:۳) اما نیم‌کره جنوبی به شدت اقیانوسی است (1:4.7).</td>\n",
              "      <td>هخامنشیان در چه تاریخی زندگی می کردند؟</td>\n",
              "      <td>{'text': [], 'answer_start': []}</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>2</th>\n",
              "      <td>3051</td>\n",
              "      <td>بلغارستان</td>\n",
              "      <td>بلغارستان (به بلغاری: България) با نام رسمی جمهوری بلغارستان (به بلغاری: Република България) کشوری در جنوب شرقی اروپا است. پایتخت این کشور شهر صوفیه است. جمعیت این کشور بالغ بر ۷٬۳۶۴٬۵۷۰ (در سال 2020) نفر است که هر ساله ۱٪ از آن کاسته می‌شود. بلغارستان بیشترین رشد منفی جمعیت را در جهان دارد.زبان رسمی این کشور بلغاری و واحد پول آن لِف با واحد جز ستونیکیی است. حدود ۸۵ درصد از مردم آن بلغاری‌تبار و بقیه بیشتر ترک و کولی هستند. بلغارستان ۱۱۰٬۹۹۴ کیلومتر مربع مساحت دارد و چهاردهمین کشور بزرگ در اروپا است. بلغارستان در سال ۲۰۰۴ به عضویت سازمان پیمان آتلانتیک شمالی (ناتو) درآمد و در سال ۲۰۰۵ اتحادیه اروپا، درخواست عضویت بلغارستان را در این اتحادیه پذیرفت و روز عضویت این کشور در اتحادیه اروپا را یک ژانویه ۲۰۰۷ اعلام کرد. مهمترین صادرات بلغارستان اسانس گل رز است، همچنین شراب نیز از دیگر اقلام مهم صادراتی بلغارستان است، بلغارستان چهارمین صادرکننده شراب در جهان است، پوشاک، کفش، آهن و فولاد، ماشین آلات و تجهیزات و سوخت نیز از دیگر صادرات بلغارستان می‌باشد. جمهوری بلغارستان رسماً کشوری سکولار است اما در قانون اساسی آن مسیحیت ارتدکس به عنوان دین سنتی کشور ذکر شده‌است.۷۶٪ جمعیت پیرو آیین مسیحیت نوع ارتدوکس هستند و ۱۰٪ جمعیت را مسلمانان تشکیل می‌دهند و ۱۱٫۸ درصد بی‌دین هستند.</td>\n",
              "      <td>بلغارستان در کدام قسمت اروپا قرار دارد؟</td>\n",
              "      <td>{'text': ['جنوب شرقی'], 'answer_start': [102]}</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>3</th>\n",
              "      <td>5894</td>\n",
              "      <td>چاقی</td>\n",
              "      <td>چاقی وضیعت پزشکی است که بافت چربی بیش از حد طبیعی در بدن فرد انباشته شده باشد. انباشت بیش از حد بافت چربی می‌تواند باعث پسرفت شاخص‌های سلامتی، از جمله کاهش میانگین طول عمر و/یا کاهش کیفیت زندگی گردد. شایع‌ترین روش برای تخمین چاقی استفاده از شاخص توده بدن (BMI) است. شاخصی که با تقسیم کردن وزن شخص بر حسب کیلوگرم بر توان دوم قد وی بر حسب متر به دست می‌آید. طبق تعریف هنگامی که شاخص توده بدن از ۳۰=(kg/m^۲) بیشتر شود، آن فرد چاق محسوب می‌شود. و در کودکان از صدک استفاده میشود دلایل متنوعی برای علت چاقی ارائه شده‌است. اما مهم‌ترین علت مؤثر در چاقی و اضافه وزن، عبارت است از تمایل بدن ما برای ذخیره انرژی به صورت چربی این تمایل به صورت تکاملی به انسان امروزی به ارث رسیده‌است. هزاران سال پیش، اجداد انسان امروزی به دلیل نحوه تغذیه که عبارت بود از دوره‌های پرخوری، و انتظار طولانی مدت برای پیدا کردن دوباره غذا، توانایی ذخیره انرژی به صورت بافت اضافه چربی را به دست آوردند. و در کودکان از صدک استفاده میشود.در بیشتر کسانی که اضافه وزن دارند، چاقی موضعی و شکمی دارند.</td>\n",
              "      <td>مهمترین راه برای فهمیدن میزان چاقی را بیان کنید؟</td>\n",
              "      <td>{'text': ['شاخص توده بدن (BMI)'], 'answer_start': [241]}</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>4</th>\n",
              "      <td>4844</td>\n",
              "      <td>استیو مک‌کوئین</td>\n",
              "      <td>ترنس استیون مک کویین یا استیو مک کویین (تولد:۱۹۳۰/۳/۲۴ مرگ:۱۹۸۰/۱۱/۷) بازیگر معروف آمریکایی بود و ملقب به &lt;&lt;سلطان خونسردی _KING OF KOOLD&gt;&gt; بود و یکی از مظاهرفرهنگ ملّی است. شخصیت ضدقهرمان،جنایتکارو خشن استیو مک کویین باعث شد نامش در اکثر فیلم های پر فروش دهه ۱۹۶۰ و ۱۹۷۰ ظاهر شود،او بخاطر بازی در فیلم اکشن (دانه های شن_۱۹۶۶) نامزد دریافت جایزه اُسکار شد.از دیگر فیلم های مشهور او می توان به پاپیون،گریز،سرقت از بانک سنت لوییس،بچه سین سیناتی،نوادا اسمیت،هفت دلاور،فرار بزرگ و آسمان خراش جهنمی اشاره نمود.درسال۱۹۷۴ استیو مک کویین به عنوان گران ترین بازیگر جهان معرفی شد و مبلقی حدود۳میلیون دلاردستمزد دریافت میکرد،ولی تا۴سال بعد از کسب این عنوان در هیچ فیلمی بازی نکرد. (استیو مک کویین معروف ترین بازیگرفیلم های ضدقهرمان تاریخ بود و همیشه سیگار می کشید.) استیومک کویین در آمریکا_ایندیانا به دنیا آمد. پدرش ویلیام، خلبان هواپیماهای نمایشی بود و ۶ ماه بعد از آشنایی با مادر استیو، او را ترک کرد. مادر استیومک کویین، جولیا، معتاد الکُلی بود. از آنجا که مادرش توانایی مراقبت کردن از کودک را نداشت، استیو را در سال ۱۹۳۳ نزد والدین خود گذاشت و رفت. کمی بعد استیو به همراه پدربزرگ و مادربزرگش به اسلاتر جایی که دایی بزرگش مزرعه‌ای داشت رفته و در آنجا بزرگ شد.</td>\n",
              "      <td>فیلم های معروف استیو کدامند؟</td>\n",
              "      <td>{'text': ['پاپیون،گریز،سرقت از بانک سنت لوییس،بچه سین سیناتی،نوادا اسمیت،هفت دلاور،فرار بزرگ و آسمان خراش جهنمی'], 'answer_start': [392]}</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>5</th>\n",
              "      <td>3347</td>\n",
              "      <td>پوریای ولی</td>\n",
              "      <td>پوریای ولی (نام‌های دیگر: محمود خوارزمی، پریار) پهلوان نامدار، محبوب، مردمدار و شاعر ایرانی اهل سرزمین خوارزم است که در ورزش‌های زورخانه‌ای و پهلوانی پیشینهٔ زیادی داشته و در ساده‌زیستی، دستگیری از مستمندان و ستمدیدگان، و چشم بستن بر زرق و برق دنیای فانی، به معرفتی ناب رسیده بوده‌است.پوریای ولی در جوانی کشتی می‌گرفت و پیشه پوتین‌دوزی و کلاه‌دوزی داشت. در همان زمان جوانی، به شهرهای گوناگون آسیای میانه، ایران وهندوستان سفر کرد و همه جا کشتی گرفت و به پهلوانی نام یافت. دربارهٔ دگرگونی روحی پوریای ولی روایت‌های فراوان آورده‌اند. به‌طور کلی پوریای ولی یک اسطوره نامی است. پوریای ولی در میان ورزشکاران ایران نمونه‌ای از اخلاق، پایمردی و جوانمردی است و نه تنها در مقام یک پهلوان، بلکه در مقام یک قدیس در میان مردم جایگاهی والا و افسانه‌ای دارد. ایران مسئولین استانی میراث فرهنگی استان آذربایجان غربی پس از انجام آزمایشات DNA بر روی جسد پوریای ولی و تایید مقبره‌ی او در شهر خوی، استان آذربایجان غربی آرامگاهی در خور این پهلوان ایرانی پدید آوردند.</td>\n",
              "      <td>قبر پوریا در کدام شهر است؟</td>\n",
              "      <td>{'text': ['شهر خوی'], 'answer_start': [868]}</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>6</th>\n",
              "      <td>8297</td>\n",
              "      <td>گور</td>\n",
              "      <td>مزار، قَبر یا مدفن حفره‌ای در زمین است که مردگان را در آن به خاک می‌سپارند. واژه قبر عرب‌شده گور است که به صورت قُبور نیز جمع بسته می‌شود. اگر در مورد گور افراد با احترام یاد شود به آن آرامگاه یا مَقبره نیز می‌گویند. اگر گور فرد محل زیارت شود به آن مزار گفته می‌شود. گور مقدسان و مرشدان دینی را تربت و خاک می‌نامند. محلی که گورهای زیادی در آن در کنار هم کنده شود گورستان یا قبرستان نام دارد. در ایران منطقه خاورمیانه سنگ قبر را به طور خوابیده بر روی گور می‌گذارند اما در کشورهای فرنگی سنگ گور به شکل ایستاده بالای گور جای دارد. گورها گاه به صورت خانوادگی در بخشی از گورستان در کنار هم یا در محدوده‌ای مشخص با عنوان گور خانوادگی قرار داده می‌شوند و در این حالت گاه این بخش‌ها سرپرست‌ها یا کلیددارهایی هم دارد که متولی گور نامیده می‌شوند. ایرانیان زرتشتی پیش از اسلام مردگان خود را در دخمه مدفون می‌کردند. دخمه چاهی است سنگی که مرده را در آن قرار می‌دهند. پس از اسلام نخستین گورستان‌ها سنگی بوده و مردگان در آن قرار می‌گرفته‌اند. مانند قبرستان سیراف که قدیمی‌ترین قبرستان کشف شده ایران در دوران اسلامی است. امروزه در برخی کشورها از دستگاه‌های لیزری نیز برای حکاکی سنگ‌هایی مثل سنگ مزار یا سنگ‌های یادبود استفاده می‌شود. در این روش با اسکن کردن تصاویر و ورود آن‌ها به رایانه می‌توان بدون دخالت دست، آن‌ها را بر روی سنگ قبر حکاکی نمود. بخش‌های گور: چال، خاک حفاری‌شده گور، تاق سنگی یا آجری. سنگ قبر یا نشانه‌های یادمانی دیگر از جمله گنبد و دیگر سازه‌ها مردگان را، بسته به فرهنگ ناحیه، کفن‌پوش یا در تابوت در درون چال گور می‌نهند. بازشکافی گور به بازشکافتن و بیرون آوردن دوباره مرده از گور، اصطلاحاً نَبش قبر می‌گویند که واژه نبش به معنی شکافتن و کندن است.</td>\n",
              "      <td>گورهای خانوادگی را توضیح دهید؟</td>\n",
              "      <td>{'text': ['متولی گور'], 'answer_start': [711]}</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>7</th>\n",
              "      <td>9037</td>\n",
              "      <td>حمله مغول به ایران</td>\n",
              "      <td>حملهٔ مغول به ایران به سه لشکرکشی مغول به ایران در فاصله سال‌های ۱۲۱۹ تا ۱۲۵۶ میلادی (۶۱۶ تا ۶۵۴ ه‍.ق) اشاره دارد. این لشکرکشی‌ها به حکومت خوارزمشاهیان، اسماعیلیه الموت و حکومت‌های محلی اتابکان سلجوقی خاتمه داد و به ایجاد حکومت ایلخانان مغول به جای آن‌ها در ایران منجر شد.خصمانهٔ خود موجبات غضب خان مغول را فراهم کرد و هجوم او را به ممالک اسلامی باعث گردید. حملهٔ مغول در پی قتل ۴۵۰ بازرگان مغولی در شهر اترار آغاز شد. شروع نخستین لشکرکشی در سپتامبر سال ۱۲۱۹ میلادی (پائیز ۵۹۸ خ. / ۶۱۶ ق) و به فرماندهی چنگیز خان بود. سلطان محمد خوارزمشاه در همان سال با سپاهی به مبارزه با مغول برآمد، ولی از جوجی پسر چنگیز شکست خورد و از آن پس تصمیم گرفت که از مواجهه با لشکر مغول خودداری کند. چنگیز برای دستگیری سلطان محمد دو نفر از بزرگان لشکر خود را به تعقیب او فرستاد. سال بعد سلطان محمد در بستر مرگ، جلال‌الدین خوارزمشاه را به جانشینی خویش برگزید و جلال‌الدین بیش از ۱۰ سال پس از مرگ پدر در برابر سپاهیان مغول ایستادگی کرد. دومین لشکرکشی در سال ۶۲۶ ه‍.ق به امر اوگتای قاآن و به فرماندهی جرماغون نویان بود</td>\n",
              "      <td>فرمانده مغول ها در دومین حمله به ایران چه کسی بود؟</td>\n",
              "      <td>{'text': ['جرماغون نویان'], 'answer_start': [976]}</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>8</th>\n",
              "      <td>4961</td>\n",
              "      <td>ببر سیبری</td>\n",
              "      <td>ببر سیبری  که با نام‌های ببر منچوری، ببر کره‌ای، ببر آمور و ببر اوسوری نیز شناخته می‌شود، یکی از زیرگونه‌های ببر است که در گذشته در بخش‌های وسیعی از شرق آسیا می‌زیست اما امروزه تنها در منطقهٔ حفاظت شده‌ای در شرق سیبری زندگی می‌کند. ببر سیبری بزرگترین زیرگونهٔ ببر و بزرگترین گربه‌سان زندهٔ جهان است. ببر منقرض شده مازندران نزدیک‌ترین زیرگونه ببر به ببر سیبری است و مطالعات ژنتیکی جدید حکایت از آن دارد که این دو را حتی می‌توان یک زیرگونه محسوب کرد. ببر سیبری در دهه ۱۹۳۰ در آستانه انقراض قرار داشت و تعداد آن‌ها تنها به بیست تا سی ببر کاهش یافته بود. اما این حیوان به طرزی باورنکردنی از انقراض قریب‌الوقوع رهایی جست و جمعیت آن تا سال ۲۰۱۰ به حدود ۳۶۰ ببر رسید. ببر سیبری با توجه به همین افزایش جمعیت از سال ۲۰۱۰ از بالاترین ردهٔ حفاظتی یعنی «به شدت در معرض خطر» خارج شده و در یک رده پایین‌تر یعنی «در خطر انقراض» قرار گرفته است. ببرهای سیبری تنوع ژنتیکی بسیار پائینی دارند که این به دلیل کاهش شدید جمعیت این حیوان در دهه ۱۹۴۰ و تعداد اندک توله ببرهایی است که به بلوغ می‌رسند.محل سکونت ببرهای سیبری در قسمت جنوبی شمال شرق روسیه در کنار رودخانه آمور و مرز روسیه با چین و کره شمالی است.</td>\n",
              "      <td>اسم های دیگر ببر سیبری چیست؟</td>\n",
              "      <td>{'text': ['ببر منچوری، ببر کره‌ای، ببر آمور و ببر اوسوری'], 'answer_start': [25]}</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>9</th>\n",
              "      <td>348</td>\n",
              "      <td>کارل پوپر</td>\n",
              "      <td>سِر کارل رایموند پاپر فیلسوف علم، منطق دان، ریاضی‌دان و اندیشمند اتریشی-انگلیسی و استاد مدرسه اقتصاد لندن بود. او یکی از بزرگ‌ترین فیلسوفان علم سده بیستم به حساب می‌آید و آثار زیادی در فلسفه سیاسی و اجتماعی از خود باقی گذاشته‌است. پاپر به دلیل کوشش‌هایش در رد روش علمی طرفداران کلاسیک مشاهده/استنباط (اثبات‌گرایان) از طریق پیشبرد روش ابطال‌پذیری تجربی، مخالفت‌اش با دانش برآمده از قیاس و استدلال کلاسیک (ارسطویی-افلاطونی) و دفاع از خردگرایی انتقادی، بنیادگذاری نخستین فلسفه انتقادی غیر توجیه‌گرانه در تاریخ فلسفه و دفاع نیرومندش از لیبرال دموکراسی و اصول انتقادگرایی اجتماعی که به نظر او امکان ظهور جامعه باز را فراهم کردند، شهرت دارد. وی در یک خانوادهٔ از طبقه متوسط و دارای مذهب یهودی که به مسیحیت پروتستان گرویده بود، زاده شد</td>\n",
              "      <td>پوپر چه جوری  روش علمی استنباط (اثبات‌گرایان)  را ثابت می کند؟</td>\n",
              "      <td>{'text': [], 'answer_start': []}</td>\n",
              "    </tr>\n",
              "  </tbody>\n",
              "</table>"
            ]
          },
          "metadata": {}
        }
      ],
      "source": [
        "show_random_elements(datasets[\"train\"])"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": 11,
      "id": "836e3e11-0c57-48fb-9415-63cb89639a90",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 1000
        },
        "id": "836e3e11-0c57-48fb-9415-63cb89639a90",
        "outputId": "1e008ac5-49f1-4c88-dddb-9c7b4651f3b8"
      },
      "outputs": [
        {
          "output_type": "display_data",
          "data": {
            "text/plain": [
              "<IPython.core.display.HTML object>"
            ],
            "text/html": [
              "<table border=\"1\" class=\"dataframe\">\n",
              "  <thead>\n",
              "    <tr style=\"text-align: right;\">\n",
              "      <th></th>\n",
              "      <th>id</th>\n",
              "      <th>title</th>\n",
              "      <th>context</th>\n",
              "      <th>question</th>\n",
              "      <th>answers</th>\n",
              "    </tr>\n",
              "  </thead>\n",
              "  <tbody>\n",
              "    <tr>\n",
              "      <th>0</th>\n",
              "      <td>9387</td>\n",
              "      <td>ریچارد یکم</td>\n",
              "      <td>ریچارد در سومین جنگ صلیبی شرکتی مؤثر داشت و یکی از سرداران صلیبیون علیه صلاح‌الدین ایوبی بود که به شکست انجامید و خزانه به جا مانده از هنری دوم را به کلی تهی کرد. بعداً در هنگام بازگشت به وطن در آلمان اسیر لئوپولد پنجم، دوک اتریش گردید و برای آزادی وی بیش از دو برابر درآمد سالانه خزانه‌داری انگلستان درخواست شد. در جریان جنگ صلیبی سوم سه هزار نفر از اسرای مسلمان را در پای دیوارهای عکا و پیش چشم صلاح الدین ایوبی قتل‌عام کرد. پس از آزادی به جنگی پرهزینه علیه پادشاه فرانسه فیلیپ دوم معروف به فیلیپ اوگوست (ستایششده) دست زد که حاصلی در پی نداشت. سرانجام این پادشاه ولخرج و ماجراجو در جریان محاصره قلعه‌ای در فرانسه در اثر اصابت تیری زهرآلود کشته شد. افسانه رابین‌هود و راهزنان جنگل شروود در زمان یکی از سفرهای ریچارد اتفاق می‌افتد که حکومت در اختیار برادر ریچارد یعنی جان ملقب به بی‌زمین (لکلند) بوده‌است. در شرف پایان سال ۱۱۸۹ میلادی، هنوز هنری دوم و فیلیپ دوم خود را آماده حرکت به سرزمین مقدس نکرده بودند. در این زمان ریچارد، پسر هنری دریافت که پدرش درصدد انتخاب برادرش، جان لکلند، به عنوان جانشین خود است؛ بنابراین با فیلیپ دوم متحد و وارد جنگ با پدرش شد.</td>\n",
              "      <td>ریچارد چندتا داداش داشت؟</td>\n",
              "      <td>{'text': [], 'answer_start': []}</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>1</th>\n",
              "      <td>9842</td>\n",
              "      <td>ژن</td>\n",
              "      <td>ژن، در ژنتیک مندلی و ژنتیک مولکولی کلاسیک, همچنین در مبحث تکامل و در دوران پساژنگان تعاریف متفاوتی دارد اما از دیدگاه مولکولی کلاسیک دنباله‌ای از نوکلوئوتیدهاست که در برگیرنده اطلاعات لازم جهت تولید مولوکول‌های RNA و یا پروتئین‌های لازم برای سلول هستند. هر ژن در بخشی از DNA سلول وجود دارد.یا با تعریفی دیگر ژن بخشی از مولکول دی ان ای می باشد که روی یک رشته از آن قرار دارد. درون سلول‌ها، طی فرایند رونویسی ژن‌ها به مولکول‌های RNA تبدیل می‌شوند که یا به شکل مستقیم در سلول استفاده می‌شوند و یا دربرگیرنده اطلاعاتی جهت تولید پروتئین هستند و طی فرایند ترجمه، پروتئین مربوط به آن‌ها ساخته می‌شود. ژن‌ها می‌توانند دچار جهش شوند، که تغییری در توالی دنباله آن‌هاست. جهش‌ها باعث ایجاد تغییر در پروتئین‌های تولید شده از روی ژن‌ها می‌شوند و می‌توانند عملکرد پروتئین را به کلی تغییر دهند و باعث به وجود آمدن صفاتی جدید در سلول بشوند. ژن‌ها در اثر جهش‌های ژنتیکی، براساس انتخاب طبیعی تکامل پیدا می‌کنند و ژن‌های قوی‌تر و بهتر به مرور جایگزین ژن‌های قبلی می‌شوند.</td>\n",
              "      <td>ژن چگونه به RNA تبدیل می شود؟</td>\n",
              "      <td>{'text': ['طی فرایند رونویسی', 'رونویسی'], 'answer_start': [389, 399]}</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>2</th>\n",
              "      <td>10102</td>\n",
              "      <td>مارک زاکربرگ</td>\n",
              "      <td>مارک الیوت زاکربرگ برنامه‌نویس رایانه و یکی از مؤسسان وبگاه شبکه اجتماعی آنلاین فیس‌بوک در آمریکا است. مجلهٔ تایم وی را به عنوان شخصیت سال ۲۰۱۰ انتخاب کرده‌است. او به عنوان یک دانشجوی دانشگاه هاروارد با کمک دانشجویان علوم کامپیوتر به خصوص پشتوانهٔ «اندرو مک‌کالم»، «داستین موسکوویتز» و «کریس هاگز» اقدام به تأسیس این وبگاه کرد. او اکنون به عنوان مدیر اجرایی در فیس‌بوک فعالیت می‌کند. در سال ۲۰۰۸، مجله فوربس او را جوانترین میلیاردر، که ثروتش را شخصاً کسب کرده معرفی کرد و ثروت او را ۱٬۵ میلیارد دلار تخمین زده‌است. هم‌اکنون وبگاه فوربس، دارایی‌های وی را ۷۸٬۳ میلیارد دلار اعلام کرده‌است و از این لحاظ پنجمین شخص ثروتمند در جهان است. در سال ۲۰۱۰ فیلمی با عنوان شبکهٔ اجتماعی به کارگردانی دیوید فینچر در مورد مارک زاکربرگ و فیس‌بوک ساخته شد. این فیلم که براساس کتاب میلیاردرهای تصادفی نوشتهٔ بن مزریک تهیه شده، به نحوهٔ شکل‌گیری و تأسیس فیس‌بوک و مسائل و کشمکش‌های پیرامون آن می‌پردازد. قابل ذکر است که نه مارک زاکربرگ و نه هیچ‌کدام از شرکای نزدیک وی در تهیه و ساخت این فیلم همکاری نداشته‌اند.</td>\n",
              "      <td>ثروتمند ترین فرد دنیا کیست؟</td>\n",
              "      <td>{'text': [], 'answer_start': []}</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>3</th>\n",
              "      <td>9653</td>\n",
              "      <td>باشگاه فوتبال آرسنال</td>\n",
              "      <td>باشگاه فوتبال آرسنال یک باشگاه فوتبال انگلیسی در شمال شهر لندن است که موفق به کسب ۱۳ عنوان قهرمانی در لیگ برتر انگلستان، ۱۴ قهرمانی در جام حذفی فوتبال انگلستان ، ۱۶ قهرمانی در جام خیریه انگلستان و دو قهرمانی در جام اتحادیه فوتبال انگلستان شده‌است. آن‌ها رکورددار طولانی‌ترین مدت صدرنشینی بدون وقفه در لیگ فوتبال انگلیس، بیشترین بازی بدون باختِ پیاپی (۴۹ بازی) و همچنین قهرمانی بدون شکست در یک فصل (۰۴–۲۰۰۳) می‌باشند و توانستند اولین و تنها تیمی در تاریخ لیگ برتر باشند که جام طلایی را بدست می‌آورند. باشگاه فوتبال آرسنال در سال ۱۸۸۶ در محله وول‌ویچ واقع در جنوب‌شرقی لندن شکل گرفت و در سال ۱۸۹۳ میلادی برای اولین بار از جنوب انگلستان به فوتبال لیگ پیوست. در سال ۱۹۱۳ میلادی آن‌ها به شمال شهر لندن در منطقه هایبری و ورزشگاه آرسنال نقل مکان کردند. آرسنال رقابتی دیرینه با همسایه‌اش تاتنهام دارد که آن‌ها به‌طور منظم شهرآورد شمال لندن را برگزار می‌کنند. همچنین باشگاه آرسنال در رده هفتم باارزش‌ترین باشگاه‌های فوتبال جهان در سال ۲۰۱۹ با ارزش تقریبی ۲٬۳ میلیارد دلار قرار گرفته‌است.</td>\n",
              "      <td>آرسنال چندمین باشگاه فوتبال با ارزش جهان بوده؟</td>\n",
              "      <td>{'text': ['هفتم', 'هفتم'], 'answer_start': [879, 879]}</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>4</th>\n",
              "      <td>9324</td>\n",
              "      <td>کمدی الهی</td>\n",
              "      <td>کمدی الهی سه‌گانه‌ای‌ست به شعر که دانته آلیگیری، شاعر و نویسنده ایتالیایی، نوشتن آن را در سال ۱۳۰۸ میلادی آغاز کرد و تا زمان مرگش در سال ۱۳۲۱ میلادی کامل کرد. این کتاب از زبان اول شخص است و دانته در این کتاب، سفر خیالی خود به دوزخ، برزخ و بهشت تعریف می‌کند. کمدی الهی یکی از اولین کتاب‌های ادبیات ایتالیا است و از بزرگ‌ترین آثار در ادبیات جهان به‌شمار می‌آید. این کتاب کمک کرد تا زبان توسکانی و شیوهٔ نوشتاری آن به استانداردی برای زبان ایتالیایی تبدیل شود. به‌نظر می‌رسد این کتاب تأثیر زیادی از کتاب ارداویراف‌نامه داشته‌است چرا که هماهنگی زیادی بین این دو کتاب وجود دارد؛ و کمدی‌الهی پس از این کتاب زرتشتی نوشته شده‌است. این کتاب در ابتدا کمدی  نام داشت و بعدها جیووانی بوکاچیو (نویسنده هم‌عصر دانته) واژهٔ الهی را به آن افزود و نام کمدی الهی برای اولین بار در چاپ و نیز به سال ۱۵۵۵ بر جلد این کتاب ظاهر شد. دانته آلیگیری در بخش نخست کمدی الهی، محمد، پایه‌گذار اسلام را مورد انتقاد قرار داده و در تصویری از کتاب، شکنجه شدن محمد در جهنم را ترسیم کرده‌است</td>\n",
              "      <td>کتاب کمدی الهی درباره چیست؟</td>\n",
              "      <td>{'text': ['دانته در این کتاب، سفر خیالی خود به دوزخ، برزخ و بهشت تعریف می‌کند', 'سفر خیالی خود به دوزخ، برزخ و بهشت'], 'answer_start': [190, 209]}</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>5</th>\n",
              "      <td>10152</td>\n",
              "      <td>پارانویا</td>\n",
              "      <td>بدگُمانی یا پارانویا  در تعریف عام آن، غریزه یا فرایندی از فکر است که تحت تأثیر اضطراب یا ترس به حالتی غیرمنطقی در می آید. افراد پارانوئید معمولاً فکر می‌کنند که دیگران برای آزار و اذیت آن‌ها می‌کوشند یا فکر می‌کنند که دیگران به دنبال توطئه علیه آن‌ها هستند. پارانویا با فوبیا تفاوت دارد. افرادی که دچار فوبیا هستند ترس غیر منطقی دارند، اما به خاطر ترس و اضطرابشان دیگران را سرزنش نمی‌کنند. وارد کردن اتهامات غیرواقعی و عدم اعتماد معمولاً از دیگر نشانه‌های پارانویا است. به عنوان مثال، حادثه ای که اکثر مردم به عنوان یک حادثه یا تصادف تلقی می‌کنند، از منظر یک فرد پارانوئید ممکن است توطئه تصور شود. دو شاخصه شناسایی توهمات پارانوئید (۱) آمادگی ذهنی پذیرش سست‌ترین شواهد در حمایت از باورهای غیرواقعی و (۲) عدم توانایی در تشخیص شواهد و ادله مستحکمی است که افکار پارانوید را رد می‌کند. پژوهش‌ها نشان می‌دهد که پارانویا با اعتقاد به تئوری‌های توطئه ارتباط مستقیم دارد. داده‌های ذهنی افرادی که دچار پارانویا هستند و افکارشان بر اساس توهم آزاربینی و باورهای غلط شکل می‌گیرد</td>\n",
              "      <td>شباهت پارانویا و تئوری‌های توطئه در چیست؟</td>\n",
              "      <td>{'text': [], 'answer_start': []}</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>6</th>\n",
              "      <td>10195</td>\n",
              "      <td>فارابی</td>\n",
              "      <td>ابونصر محمد بن محمد طرخانی ملقب به فارابی، در حدود سال ۲۵۷هجری قمری/ ۸۷۰میلادی در دهکدهٔ «وسیج» از ناحیهٔ پاراب (فاراب) در فرارود (شهر اُترار کنونی در جنوب قزاقستان) یا پاریاب (فاریاب) خراسان در افغانستان کنونی به دنیا آمد. دهخدا به نقل از بدیع الزمان فروزانفر می‌نویسد: «اسم پدر او طرخان و نام جدش اوزلوغ است (اما در دانشنامه ایرانیکا رد شده است). نام ازلغ و طرخان هر دو نامهای سغدی ایرانی هستند که نام طرخان از سغدی به ترکی وارد شده است. درشرح زندگی فارابی مطلبی که بر جریان واقعی زندگی دوران طفولیت و جوانی وی باشد در کتاب‌ها وجود ندارد. ابن ابی اصیبعه دو خبر متناقض دربارهٔ او نقل می‌کند: اول اینکه فارابی در آغاز کار نگهبان باغی در دمشق بود و دوم اینکه، در عنفوان جوانی به قضاوت مشغول بود و چون به معارف دیگر آشنا شد، قضاوت را ترک کرد و با تمام میل به طرف معارف دیگر روی آورد.» در جوانی برای تحصیل به بغداد رفت و نزد «متی بن یونس» به فراگرفتن منطق و فلسفه پرداخت. سپس به حرّان سفر کرد و به شاگردی «یوحنا بن حیلان» درآمد. از آغاز کار، هوش سرشار و علم آموزی وی سبب شد که همه موضوعاتی را که تدریس می‌شد، به خوبی فرا گیرد. به زودی نام او به عنوان فیلسوف و دانشمند شهرت یافت و چون به بغداد بازگشت، گروهی از شاگردان، گرد او فراهم آمدند که «یحیی بن عدی» فیلسوف مسیحی یکی از آنان بود.</td>\n",
              "      <td>فارابی برای تحصیل در جوانی پیش چه کسی رفت؟</td>\n",
              "      <td>{'text': ['متی بن یونس', 'متی بن یونس'], 'answer_start': [823, 823]}</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>7</th>\n",
              "      <td>10233</td>\n",
              "      <td>پاسارگاد</td>\n",
              "      <td>مجموعه میراث جهانی پاسارگاد مجموعه‌ای از سازه‌های باستانی برجای‌مانده از دوران هخامنشی است که در شهرستان پاسارگاد در استان فارس جای گرفته‌است. این مجموعه دربرگیرنده ساختمان‌هایی چون آرامگاه کوروش بزرگ، پاسارگاد، باغ پادشاهی پاسارگاد، کاخ دروازه، پل، کاخ بارعام، کاخ اختصاصی، دو کوشک، آب‌نماهای باغ شاهی، آرامگاه کمبوجیه، ساختارهای دفاعی تل تخت، کاروانسرای مظفری، محوطهٔ مقدس و تنگه بلاغی است. این مجموعه، پنجمین مجموعه ثبت‌شده در فهرست آثار میراث جهانی در ایران است که در نشست یونسکو که در تیرماه سال ۱۳۸۳ در چین برگزار شد به دلیل دارا بودن شاخص‌های فراوان با صد در صد آرا در فهرست میراث جهانی به ثبت رسید. نام پاسارگاد در اصل به معنی نیکان روزگار است. نام اصلی شهر پاسارگاد چیزی شبیه «پَسَرگَد» بوده و تلفظ امروزی نیز درست است و رابطه‌ای میان این نام و «پارس» نیست. همچنین گفته شده که پاسارگاد ممکن است تغییر یافته پارسه گراد باشد که معنی آن «شهر پارس» است. گراد و گورد و گرد (مانند دستگرد) معنی شهر می‌دهد و در زبان پارسی و عربی به صورت کوره بکار می‌رود مانند کوره اردشیر و کوره دهات.</td>\n",
              "      <td>نشست یونسکوی که پاسارگاد در آن به ثبت جهانی رسید در کجا بود؟</td>\n",
              "      <td>{'text': ['چین', 'چین'], 'answer_start': [509, 509]}</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>8</th>\n",
              "      <td>10050</td>\n",
              "      <td>رولز-رویس موتور کارز</td>\n",
              "      <td>رولز-رویس موتور کارز شرکت خودروسازی بریتانیایی است، که در زمینه مهندسی، طراحی، تولید و توزیع خودروهای لوکس فعالیت می‌نماید. این شرکت در سال ۱۹۰۶ توسط چارلز رولز و هنری رویس، تحت نام رولز-رویس لیمیتد تأسیس شد. شرکت رولز-رویس از سال ۱۹۱۴ بخش طراحی و تولید موتورهای هواگرد را نیز به خط تولید کارخانجات خود اضافه کرد. در سال ۱۹۷۱ برای جلوگیری از ورشکستگی شرکت رولز-رویس، دارایی‌های این شرکت از سوی دولت بریتانیا، ملی اعلام شد، سپس در سال ۱۹۷۳ شرکت رولز-رویس به دو شرکت تفکیک شد و بخش خودروسازی رولز-رویس موتورز نام گرفت و بخش هوافضای آن نیز تحت عنوان رولز-رویس هلدینگ ثبت گردید. ریشه‌های تأسیس رولز رویس به اواخر سال ۱۹۰۳ و اوایل ۱۹۰۴ بازمی‌گردد، که این شرکت، اولین کارخانه تولید خودروی خود را، با مشارکت هنری رویس و چارلز رولز در شهر منچستر راه‌اندازی نمود. این شرکت در آغاز فعالیتش با نام رولز-رویس لیمیتد ثبت گردید. فردریک هنری رویس پسر یک آسیابان بود، که در کارش ورشکست شده بود. وی که کوچک‌ترین فرزند خانواده بود، بعد از ورشکستگی شرکت اجاره‌ای پدر و مرگ وی، تأمین بخشی از هزینه چهار خواهر و برادر دیگر خود را به عهده گرفت.</td>\n",
              "      <td>رقیب رولز رویس کیه؟</td>\n",
              "      <td>{'text': [], 'answer_start': []}</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>9</th>\n",
              "      <td>10161</td>\n",
              "      <td>وهابیت</td>\n",
              "      <td>وهابیت جنبشی مذهبی است که محمد بن عبدالوهاب در قرن هجدهم در نجد عربستان بنیان گذاشت و از سال ۱۷۴۴ مورد پذیرش خاندان سعودی قرار گرفت. دیدگاه وهابی به یک پالایش اساسی در اسلام معتقد است و زیارت قبور و تقدیس برخی افراد را دلالتی بر شرک می‌داند. وهابیت هدف خود را بازگشت به آموزه‌های اصیل در قرآن و حدیث (سنت پیامبر) می‌داند و با هر نوع بدعتی مخالفت می‌کند. وهابیت از نظر ایدئولوژیکی پیرو اعتقادات ابن تیمیه و از نظر فقهی پیرو مذهب حنبلی است. وهابیت الهام‌بخش بسیاری از جنبش‌های مذهبی جهان اسلام از هند و سوماترا تا سودان و شمال آفریقا بوده‌است و بر جنبش طالبان در افغانستان و برخی جنبش‌های اسلامی دیگر قرن بیستم هم تأثیر گذاشته‌است. گروه داعش یکی از گروه‌هایی است که با عقاید وهابی فعالیت می‌کند. عبدالوهاب بعد از اینکه به دلیل مواضع خود از مدینه بیرون شد به شمال شرقی نجد رفته و خاندان سعودی را پیرو باورهای خود کرد و این باعث شد تا وهابیت از نظر سیاسی متحد دودمان سعودی شود. شیخ سعودی متقاعد شد که وظیفه مذهبی آن‌ها به راه انداختن جنگ مقدسی علیه تمام انواع دیگر اسلام است.</td>\n",
              "      <td>وهابیون چه چیزی را شرک می پندارند؟</td>\n",
              "      <td>{'text': ['زیارت قبور و تقدیس برخی افراد', 'زیارت قبور و تقدیس برخی افراد'], 'answer_start': [186, 186]}</td>\n",
              "    </tr>\n",
              "  </tbody>\n",
              "</table>"
            ]
          },
          "metadata": {}
        }
      ],
      "source": [
        "show_random_elements(datasets[\"validation\"])"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": 8,
      "id": "fc92996b-5157-4eeb-be1f-d76f4d4b257d",
      "metadata": {
        "id": "fc92996b-5157-4eeb-be1f-d76f4d4b257d"
      },
      "outputs": [],
      "source": [
        "max_length = 384\n",
        "doc_stride = 128"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": 9,
      "id": "09e8a9cb-741e-49f7-8aff-74da4afcae78",
      "metadata": {
        "id": "09e8a9cb-741e-49f7-8aff-74da4afcae78"
      },
      "outputs": [],
      "source": [
        "pad_on_right = tokenizer.padding_side == \"right\"\n"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": 10,
      "id": "a1715d29-260c-4cd0-ae02-323411eb0c42",
      "metadata": {
        "id": "a1715d29-260c-4cd0-ae02-323411eb0c42"
      },
      "outputs": [],
      "source": [
        "def prepare_train_features(examples):\n",
        "    tokenized_examples = tokenizer(\n",
        "        examples[\"question\" if pad_on_right else \"context\"],\n",
        "        examples[\"context\" if pad_on_right else \"question\"],\n",
        "        truncation=\"only_second\" if pad_on_right else \"only_first\",\n",
        "        max_length=max_length,\n",
        "        stride=doc_stride,\n",
        "        return_overflowing_tokens=True,\n",
        "        return_offsets_mapping=True,\n",
        "        padding=\"max_length\",\n",
        "    )\n",
        "\n",
        "    sample_mapping = tokenized_examples.pop(\"overflow_to_sample_mapping\")\n",
        "    offset_mapping = tokenized_examples.pop(\"offset_mapping\")\n",
        "\n",
        "    tokenized_examples[\"start_positions\"] = []\n",
        "    tokenized_examples[\"end_positions\"] = []\n",
        "\n",
        "    for i, offsets in enumerate(offset_mapping):\n",
        "        input_ids = tokenized_examples[\"input_ids\"][i]\n",
        "        cls_index = input_ids.index(tokenizer.cls_token_id)\n",
        "\n",
        "        sequence_ids = tokenized_examples.sequence_ids(i)\n",
        "        sample_index = sample_mapping[i]\n",
        "        answers = examples[\"answers\"][sample_index]\n",
        "        if len(answers[\"answer_start\"]) == 0:\n",
        "            tokenized_examples[\"start_positions\"].append(cls_index)\n",
        "            tokenized_examples[\"end_positions\"].append(cls_index)\n",
        "        else:\n",
        "            start_char = answers[\"answer_start\"][0]\n",
        "            end_char = start_char + len(answers[\"text\"][0])\n",
        "\n",
        "            token_start_index = 0\n",
        "            while sequence_ids[token_start_index] != (1 if pad_on_right else 0):\n",
        "                token_start_index += 1\n",
        "\n",
        "            token_end_index = len(input_ids) - 1\n",
        "            while sequence_ids[token_end_index] != (1 if pad_on_right else 0):\n",
        "                token_end_index -= 1\n",
        "\n",
        "            if not (offsets[token_start_index][0] <= start_char and offsets[token_end_index][1] >= end_char):\n",
        "                tokenized_examples[\"start_positions\"].append(cls_index)\n",
        "                tokenized_examples[\"end_positions\"].append(cls_index)\n",
        "            else:\n",
        "\n",
        "                while token_start_index < len(offsets) and offsets[token_start_index][0] <= start_char:\n",
        "                    token_start_index += 1\n",
        "                tokenized_examples[\"start_positions\"].append(token_start_index - 1)\n",
        "                while offsets[token_end_index][1] >= end_char:\n",
        "                    token_end_index -= 1\n",
        "                tokenized_examples[\"end_positions\"].append(token_end_index + 1)\n",
        "\n",
        "    return tokenized_examples"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": 14,
      "id": "ca28bc02-c66e-475c-8a4d-30aecd155eb7",
      "metadata": {
        "id": "ca28bc02-c66e-475c-8a4d-30aecd155eb7"
      },
      "outputs": [],
      "source": [
        "# features = prepare_train_features(datasets['train'][:5])\n"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": 11,
      "id": "41d2701a-56b3-479d-91f3-40b30425d503",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 49,
          "referenced_widgets": [
            "194efe560ac3416688dd7819eefaeeee",
            "12a05985d8354224b841128c7302ebc3",
            "b54f0303817a4a7a974fb4821ee0cb64",
            "4aabe16a7e9245889a1da8cf929dc876",
            "0aaf97591d3d423189c0da540379b7ab",
            "ff0a13e567754f9b9fd5c01524c4d7f0",
            "820990dbd1c446afa44efdfe7ca05240",
            "a22daa4ec00c4e1ea4a825e4d557835b",
            "7ba158064e7842e29cca72528dba580d",
            "213f3b8610c640d5b71014f2a44b92b5",
            "6527c4f5b2c24414a137b6e654dfd8de"
          ]
        },
        "id": "41d2701a-56b3-479d-91f3-40b30425d503",
        "outputId": "34f9d021-e6e9-43a4-eaa0-cc23ec87f9b0"
      },
      "outputs": [
        {
          "output_type": "display_data",
          "data": {
            "text/plain": [
              "Map:   0%|          | 0/9008 [00:00<?, ? examples/s]"
            ],
            "application/vnd.jupyter.widget-view+json": {
              "version_major": 2,
              "version_minor": 0,
              "model_id": "194efe560ac3416688dd7819eefaeeee"
            }
          },
          "metadata": {}
        }
      ],
      "source": [
        "tokenized_datasets = datasets.map(prepare_train_features, batched=True, remove_columns=datasets[\"train\"].column_names)\n"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": 12,
      "id": "9f2a2200-f7d3-4f85-becc-f142831528a5",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "9f2a2200-f7d3-4f85-becc-f142831528a5",
        "outputId": "243724d2-4879-4cf5-cb79-36610d5d5913"
      },
      "outputs": [
        {
          "output_type": "stream",
          "name": "stderr",
          "text": [
            "Some weights of BertForQuestionAnswering were not initialized from the model checkpoint at HooshvareLab/bert-fa-zwnj-base and are newly initialized: ['qa_outputs.bias', 'qa_outputs.weight']\n",
            "You should probably TRAIN this model on a down-stream task to be able to use it for predictions and inference.\n"
          ]
        }
      ],
      "source": [
        "from transformers import AutoModelForQuestionAnswering, TrainingArguments, Trainer\n",
        "\n",
        "model = AutoModelForQuestionAnswering.from_pretrained(model_checkpoint)"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": 13,
      "id": "b5da10dc-9365-451c-9ce8-4682cea318f5",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "b5da10dc-9365-451c-9ce8-4682cea318f5",
        "outputId": "5bd81033-a5a6-495b-b367-f82f991d7292"
      },
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "BertForQuestionAnswering(\n",
              "  (bert): BertModel(\n",
              "    (embeddings): BertEmbeddings(\n",
              "      (word_embeddings): Embedding(42000, 768, padding_idx=0)\n",
              "      (position_embeddings): Embedding(512, 768)\n",
              "      (token_type_embeddings): Embedding(2, 768)\n",
              "      (LayerNorm): LayerNorm((768,), eps=1e-12, elementwise_affine=True)\n",
              "      (dropout): Dropout(p=0.1, inplace=False)\n",
              "    )\n",
              "    (encoder): BertEncoder(\n",
              "      (layer): ModuleList(\n",
              "        (0-11): 12 x BertLayer(\n",
              "          (attention): BertAttention(\n",
              "            (self): BertSelfAttention(\n",
              "              (query): Linear(in_features=768, out_features=768, bias=True)\n",
              "              (key): Linear(in_features=768, out_features=768, bias=True)\n",
              "              (value): Linear(in_features=768, out_features=768, bias=True)\n",
              "              (dropout): Dropout(p=0.1, inplace=False)\n",
              "            )\n",
              "            (output): BertSelfOutput(\n",
              "              (dense): Linear(in_features=768, out_features=768, bias=True)\n",
              "              (LayerNorm): LayerNorm((768,), eps=1e-12, elementwise_affine=True)\n",
              "              (dropout): Dropout(p=0.1, inplace=False)\n",
              "            )\n",
              "          )\n",
              "          (intermediate): BertIntermediate(\n",
              "            (dense): Linear(in_features=768, out_features=3072, bias=True)\n",
              "            (intermediate_act_fn): GELUActivation()\n",
              "          )\n",
              "          (output): BertOutput(\n",
              "            (dense): Linear(in_features=3072, out_features=768, bias=True)\n",
              "            (LayerNorm): LayerNorm((768,), eps=1e-12, elementwise_affine=True)\n",
              "            (dropout): Dropout(p=0.1, inplace=False)\n",
              "          )\n",
              "        )\n",
              "      )\n",
              "    )\n",
              "  )\n",
              "  (qa_outputs): Linear(in_features=768, out_features=2, bias=True)\n",
              ")"
            ]
          },
          "metadata": {},
          "execution_count": 13
        }
      ],
      "source": [
        "import torch\n",
        "device = torch.device('cuda') if torch.cuda.is_available() else torch.device('cpu')\n",
        "model.to(device)"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": 14,
      "id": "589d7770-463a-45de-8356-46d203759f7b",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "589d7770-463a-45de-8356-46d203759f7b",
        "outputId": "375491a9-a5e5-4dbc-8771-f1bf2cec5512"
      },
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "True"
            ]
          },
          "metadata": {},
          "execution_count": 14
        }
      ],
      "source": [
        "torch.cuda.is_available()"
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "%%capture\n",
        "!pip install accelerate -U"
      ],
      "metadata": {
        "id": "z-aX2P-ZhqU-"
      },
      "id": "z-aX2P-ZhqU-",
      "execution_count": 20,
      "outputs": []
    },
    {
      "cell_type": "code",
      "execution_count": 15,
      "id": "dba32f41-c901-49f4-8b2a-514a9f884b11",
      "metadata": {
        "id": "dba32f41-c901-49f4-8b2a-514a9f884b11"
      },
      "outputs": [],
      "source": [
        "model_name = \"parsbert-finetuned-persianQA\"\n",
        "args = TrainingArguments(\n",
        "    model_name,\n",
        "    evaluation_strategy = \"epoch\",\n",
        "    learning_rate=2e-5,\n",
        "    per_device_train_batch_size=batch_size,\n",
        "    per_device_eval_batch_size=batch_size,\n",
        "    num_train_epochs=3,\n",
        "    weight_decay=0.01,\n",
        "    push_to_hub=True,\n",
        "    save_steps=5000\n",
        ")"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": 16,
      "id": "6c8b8e0f-7d0b-4294-9ac8-03830c00a438",
      "metadata": {
        "id": "6c8b8e0f-7d0b-4294-9ac8-03830c00a438"
      },
      "outputs": [],
      "source": [
        "from transformers import default_data_collator\n",
        "\n",
        "data_collator = default_data_collator"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": 19,
      "id": "3dc7ff68-5c42-4dd4-953f-19a5bfaec22d",
      "metadata": {
        "id": "3dc7ff68-5c42-4dd4-953f-19a5bfaec22d"
      },
      "outputs": [],
      "source": [
        "trainer = Trainer(\n",
        "    model.to(device),\n",
        "    args,\n",
        "    train_dataset=tokenized_datasets[\"train\"],\n",
        "    eval_dataset=tokenized_datasets[\"validation\"],\n",
        "    data_collator=data_collator,\n",
        "    tokenizer=tokenizer,\n",
        ")"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": 20,
      "id": "f4565174-8a88-474d-9d2e-d57449d47272",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 326
        },
        "id": "f4565174-8a88-474d-9d2e-d57449d47272",
        "outputId": "5d616c20-65cf-4259-e5ca-790b74e47df8"
      },
      "outputs": [
        {
          "data": {
            "text/html": [
              "\n",
              "    <div>\n",
              "      \n",
              "      <progress value='27386' max='27615' style='width:300px; height:20px; vertical-align: middle;'></progress>\n",
              "      [27386/27615 57:43 < 00:28, 7.91 it/s, Epoch 2.98/3]\n",
              "    </div>\n",
              "    <table border=\"1\" class=\"dataframe\">\n",
              "  <thead>\n",
              " <tr style=\"text-align: left;\">\n",
              "      <th>Epoch</th>\n",
              "      <th>Training Loss</th>\n",
              "      <th>Validation Loss</th>\n",
              "    </tr>\n",
              "  </thead>\n",
              "  <tbody>\n",
              "    <tr>\n",
              "      <td>1</td>\n",
              "      <td>2.988100</td>\n",
              "      <td>2.565369</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <td>2</td>\n",
              "      <td>2.278700</td>\n",
              "      <td>2.563670</td>\n",
              "    </tr>\n",
              "  </tbody>\n",
              "</table><p>"
            ],
            "text/plain": [
              "<IPython.core.display.HTML object>"
            ]
          },
          "metadata": {},
          "output_type": "display_data"
        },
        {
          "output_type": "display_data",
          "data": {
            "text/plain": [
              "<IPython.core.display.HTML object>"
            ],
            "text/html": [
              "\n",
              "    <div>\n",
              "      \n",
              "      <progress value='27615' max='27615' style='width:300px; height:20px; vertical-align: middle;'></progress>\n",
              "      [27615/27615 58:34, Epoch 3/3]\n",
              "    </div>\n",
              "    <table border=\"1\" class=\"dataframe\">\n",
              "  <thead>\n",
              " <tr style=\"text-align: left;\">\n",
              "      <th>Epoch</th>\n",
              "      <th>Training Loss</th>\n",
              "      <th>Validation Loss</th>\n",
              "    </tr>\n",
              "  </thead>\n",
              "  <tbody>\n",
              "    <tr>\n",
              "      <td>1</td>\n",
              "      <td>2.988100</td>\n",
              "      <td>2.565369</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <td>2</td>\n",
              "      <td>2.278700</td>\n",
              "      <td>2.563670</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <td>3</td>\n",
              "      <td>1.350400</td>\n",
              "      <td>3.371840</td>\n",
              "    </tr>\n",
              "  </tbody>\n",
              "</table><p>"
            ]
          },
          "metadata": {}
        },
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "TrainOutput(global_step=27615, training_loss=2.4094787166663836, metrics={'train_runtime': 3517.9325, 'train_samples_per_second': 7.85, 'train_steps_per_second': 7.85, 'total_flos': 5411782452948480.0, 'train_loss': 2.4094787166663836, 'epoch': 3.0})"
            ]
          },
          "metadata": {},
          "execution_count": 20
        }
      ],
      "source": [
        "#my system ran out of memory after 2 epochs. I continued training from a saved checkpoint\n",
        "\n",
        "trainer.train()"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "id": "b75be9a6-0ec9-4515-8c9f-3225cabe8e66",
      "metadata": {
        "colab": {
          "referenced_widgets": [
            "65a82cadd2094f0f94813a31172ab2a3"
          ]
        },
        "id": "b75be9a6-0ec9-4515-8c9f-3225cabe8e66",
        "outputId": "5636955d-6603-448b-a518-3acbf4926059"
      },
      "outputs": [
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Loading model from C:/Users/marzi/Downloads/parsbert-finetuned-persianQA/checkpoint-20000).\n",
            "***** Running training *****\n",
            "  Num examples = 9205\n",
            "  Num Epochs = 3\n",
            "  Instantaneous batch size per device = 1\n",
            "  Total train batch size (w. parallel, distributed & accumulation) = 1\n",
            "  Gradient Accumulation steps = 1\n",
            "  Total optimization steps = 27615\n",
            "  Continuing training from checkpoint, will skip to saved global_step\n",
            "  Continuing training from epoch 2\n",
            "  Continuing training from global step 20000\n",
            "  Will skip the first 2 epochs then the first 1590 batches in the first epoch. If this takes a lot of time, you can add the `--ignore_data_skip` flag to your launch command, but you will resume the training on data already seen by your model.\n"
          ]
        },
        {
          "data": {
            "application/vnd.jupyter.widget-view+json": {
              "model_id": "65a82cadd2094f0f94813a31172ab2a3",
              "version_major": 2,
              "version_minor": 0
            },
            "text/plain": [
              "  0%|          | 0/1590 [00:00<?, ?it/s]"
            ]
          },
          "metadata": {},
          "output_type": "display_data"
        },
        {
          "data": {
            "text/html": [
              "\n",
              "    <div>\n",
              "      \n",
              "      <progress value='27615' max='27615' style='width:300px; height:20px; vertical-align: middle;'></progress>\n",
              "      [27615/27615 2:01:23, Epoch 3/3]\n",
              "    </div>\n",
              "    <table border=\"1\" class=\"dataframe\">\n",
              "  <thead>\n",
              "    <tr style=\"text-align: left;\">\n",
              "      <th>Epoch</th>\n",
              "      <th>Training Loss</th>\n",
              "      <th>Validation Loss</th>\n",
              "    </tr>\n",
              "  </thead>\n",
              "  <tbody>\n",
              "    <tr>\n",
              "      <td>3</td>\n",
              "      <td>1.470300</td>\n",
              "      <td>3.428255</td>\n",
              "    </tr>\n",
              "  </tbody>\n",
              "</table><p>"
            ],
            "text/plain": [
              "<IPython.core.display.HTML object>"
            ]
          },
          "metadata": {},
          "output_type": "display_data"
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Saving model checkpoint to parsbert-finetuned-persianQA\\checkpoint-25000\n",
            "Configuration saved in parsbert-finetuned-persianQA\\checkpoint-25000\\config.json\n",
            "Model weights saved in parsbert-finetuned-persianQA\\checkpoint-25000\\pytorch_model.bin\n",
            "tokenizer config file saved in parsbert-finetuned-persianQA\\checkpoint-25000\\tokenizer_config.json\n",
            "Special tokens file saved in parsbert-finetuned-persianQA\\checkpoint-25000\\special_tokens_map.json\n",
            "tokenizer config file saved in parsbert-finetuned-persianQA\\tokenizer_config.json\n",
            "Special tokens file saved in parsbert-finetuned-persianQA\\special_tokens_map.json\n",
            "***** Running Evaluation *****\n",
            "  Num examples = 930\n",
            "  Batch size = 1\n",
            "\n",
            "\n",
            "Training completed. Do not forget to share your model on huggingface.co/models =)\n",
            "\n",
            "\n"
          ]
        },
        {
          "data": {
            "text/plain": [
              "TrainOutput(global_step=27615, training_loss=0.3851581684687896, metrics={'train_runtime': 7296.5564, 'train_samples_per_second': 3.785, 'train_steps_per_second': 3.785, 'total_flos': 5411782452948480.0, 'train_loss': 0.3851581684687896, 'epoch': 3.0})"
            ]
          },
          "execution_count": 38,
          "metadata": {},
          "output_type": "execute_result"
        }
      ],
      "source": [
        "trainer.train(\"C:/Users/marzi/Downloads/parsbert-finetuned-persianQA/checkpoint-20000\")"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": 21,
      "id": "e3bcb839-def0-4a81-be51-f7452dffcfd2",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "e3bcb839-def0-4a81-be51-f7452dffcfd2",
        "outputId": "fa2e68e5-0fa8-4ffc-fbc1-a766cc9092f4"
      },
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "odict_keys(['loss', 'start_logits', 'end_logits'])"
            ]
          },
          "metadata": {},
          "execution_count": 21
        }
      ],
      "source": [
        "import torch\n",
        "\n",
        "for batch in trainer.get_eval_dataloader():\n",
        "    break\n",
        "batch = {k: v.to(trainer.args.device) for k, v in batch.items()}\n",
        "with torch.no_grad():\n",
        "    output = trainer.model(**batch)\n",
        "output.keys()"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": 22,
      "id": "df08d681-e05d-4d16-8d71-c2ee244592c9",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "df08d681-e05d-4d16-8d71-c2ee244592c9",
        "outputId": "d9106857-7c78-4e81-f81f-34170f7d6014"
      },
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "(torch.Size([1, 384]), torch.Size([1, 384]))"
            ]
          },
          "metadata": {},
          "execution_count": 22
        }
      ],
      "source": [
        "output.start_logits.shape, output.end_logits.shape\n"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": 23,
      "id": "39e3cad6-0375-4498-beaf-9b5fbfe9c8a7",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "39e3cad6-0375-4498-beaf-9b5fbfe9c8a7",
        "outputId": "0bf567fc-8d71-4c7d-999e-596894346bce"
      },
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "(tensor([19], device='cuda:0'), tensor([19], device='cuda:0'))"
            ]
          },
          "metadata": {},
          "execution_count": 23
        }
      ],
      "source": [
        "output.start_logits.argmax(dim=-1), output.end_logits.argmax(dim=-1)\n"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": 24,
      "id": "38e47da6-0919-481f-b8b5-3dc3018b37f1",
      "metadata": {
        "id": "38e47da6-0919-481f-b8b5-3dc3018b37f1"
      },
      "outputs": [],
      "source": [
        "n_best_size = 20\n"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": 25,
      "id": "3ad32e50-1b74-4baf-996f-c3bfde6b1da9",
      "metadata": {
        "id": "3ad32e50-1b74-4baf-996f-c3bfde6b1da9"
      },
      "outputs": [],
      "source": [
        "import numpy as np\n",
        "\n",
        "start_logits = output.start_logits[0].cpu().numpy()\n",
        "end_logits = output.end_logits[0].cpu().numpy()\n",
        "start_indexes = np.argsort(start_logits)[-1 : -n_best_size - 1 : -1].tolist()\n",
        "end_indexes = np.argsort(end_logits)[-1 : -n_best_size - 1 : -1].tolist()\n",
        "valid_answers = []\n",
        "for start_index in start_indexes:\n",
        "    for end_index in end_indexes:\n",
        "        if start_index <= end_index:\n",
        "            valid_answers.append(\n",
        "                {\n",
        "                    \"score\": start_logits[start_index] + end_logits[end_index],\n",
        "                    \"text\": \"\"\n",
        "                }\n",
        "            )"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": 26,
      "id": "9fb9543f-88bb-4eeb-9eec-811bfb7bb494",
      "metadata": {
        "id": "9fb9543f-88bb-4eeb-9eec-811bfb7bb494"
      },
      "outputs": [],
      "source": [
        "def prepare_validation_features(examples):\n",
        "    examples[\"question\"] = [q.lstrip() for q in examples[\"question\"]]\n",
        "    tokenized_examples = tokenizer(\n",
        "        examples[\"question\" if pad_on_right else \"context\"],\n",
        "        examples[\"context\" if pad_on_right else \"question\"],\n",
        "        truncation=\"only_second\" if pad_on_right else \"only_first\",\n",
        "        max_length=max_length,\n",
        "        stride=doc_stride,\n",
        "        return_overflowing_tokens=True,\n",
        "        return_offsets_mapping=True,\n",
        "        padding=\"max_length\",\n",
        "    )\n",
        "\n",
        "    sample_mapping = tokenized_examples.pop(\"overflow_to_sample_mapping\")\n",
        "    tokenized_examples[\"example_id\"] = []\n",
        "\n",
        "    for i in range(len(tokenized_examples[\"input_ids\"])):\n",
        "        sequence_ids = tokenized_examples.sequence_ids(i)\n",
        "        context_index = 1 if pad_on_right else 0\n",
        "        sample_index = sample_mapping[i]\n",
        "        tokenized_examples[\"example_id\"].append(examples[\"id\"][sample_index])\n",
        "\n",
        "        tokenized_examples[\"offset_mapping\"][i] = [\n",
        "            (o if sequence_ids[k] == context_index else None)\n",
        "            for k, o in enumerate(tokenized_examples[\"offset_mapping\"][i])\n",
        "        ]\n",
        "\n",
        "    return tokenized_examples"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": 27,
      "id": "3570ee82-98a2-4e48-a8df-1885d8441195",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 49,
          "referenced_widgets": [
            "29107b2d7d6d4d86a48e76129cdb7732",
            "df66eee98aa74e97a265b05192c55897",
            "4a88f46daa2e4977b32f5fafae6fec75",
            "b6915291897a4829b3d386fa3d9d1e4a",
            "8b705b4df1a8484cac7ca3d1e80be782",
            "4fc5851dd554481999faa6a829f7bdf7",
            "67326efa1cff40d2a768ed0fc9ee741c",
            "cfffd5171ce045cebae73676df9f9c01",
            "37a80a035ab3436ea8e80ecf3bcb5d94",
            "265f31e6e91c4f41a19d489131006044",
            "210da7a719c44427996a4601d45a219d"
          ]
        },
        "id": "3570ee82-98a2-4e48-a8df-1885d8441195",
        "outputId": "3445ddb1-b6c1-4257-f580-6a2f5d796b62"
      },
      "outputs": [
        {
          "output_type": "display_data",
          "data": {
            "text/plain": [
              "Map:   0%|          | 0/930 [00:00<?, ? examples/s]"
            ],
            "application/vnd.jupyter.widget-view+json": {
              "version_major": 2,
              "version_minor": 0,
              "model_id": "29107b2d7d6d4d86a48e76129cdb7732"
            }
          },
          "metadata": {}
        }
      ],
      "source": [
        "validation_features = datasets[\"validation\"].map(\n",
        "    prepare_validation_features,\n",
        "    batched=True,\n",
        "    remove_columns=datasets[\"validation\"].column_names\n",
        ")"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": 28,
      "id": "30f575fb-86cf-45b2-a6b5-009a21124785",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 17
        },
        "id": "30f575fb-86cf-45b2-a6b5-009a21124785",
        "outputId": "206e0dcf-c5da-40fb-d475-990571af1523"
      },
      "outputs": [
        {
          "output_type": "display_data",
          "data": {
            "text/plain": [
              "<IPython.core.display.HTML object>"
            ],
            "text/html": []
          },
          "metadata": {}
        }
      ],
      "source": [
        "raw_predictions = trainer.predict(validation_features)\n"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": 29,
      "id": "47a260b9-f178-4193-b273-0c63b54c80b9",
      "metadata": {
        "id": "47a260b9-f178-4193-b273-0c63b54c80b9"
      },
      "outputs": [],
      "source": [
        "validation_features.set_format(type=validation_features.format[\"type\"], columns=list(validation_features.features.keys()))\n",
        "max_answer_length = 30\n"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": 30,
      "id": "5a2d38c5-0c22-4ae7-a37c-62e6a52be332",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "5a2d38c5-0c22-4ae7-a37c-62e6a52be332",
        "outputId": "99f8ef43-fdb4-4f66-90b0-2d858533de2e"
      },
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "[{'score': 17.286743, 'text': 'مادرید'},\n",
              " {'score': 14.515724, 'text': 'در مادرید'},\n",
              " {'score': 4.037961, 'text': 'مادرید،'},\n",
              " {'score': 3.554978,\n",
              "  'text': 'مادرید یک باشگاه حرفه\\u200cای فوتبال است که در مادرید'},\n",
              " {'score': 2.792417,\n",
              "  'text': 'رئال مادرید یک باشگاه حرفه\\u200cای فوتبال است که در مادرید'},\n",
              " {'score': 2.3897376,\n",
              "  'text': 'یک باشگاه حرفه\\u200cای فوتبال است که در مادرید'},\n",
              " {'score': 1.8212633, 'text': 'فوتبال است که در مادرید'},\n",
              " {'score': 1.5499735, 'text': 'مادرید، پایتخت اسپانیا'},\n",
              " {'score': 1.5446272,\n",
              "  'text': 'باشگاه فوتبال رئال مادرید یک باشگاه حرفه\\u200cای فوتبال است که در مادرید'},\n",
              " {'score': 1.2669418, 'text': 'در مادرید،'},\n",
              " {'score': 0.8022642, 'text': 'مادرید، پایتخت اسپانیا قرار دارد'},\n",
              " {'score': 0.34256458, 'text': 'باشگاه حرفه\\u200cای فوتبال است که در مادرید'},\n",
              " {'score': 0.29788113, 'text': 'مادرید، پایتخت اسپانیا قرار دارد.'},\n",
              " {'score': 0.28706264, 'text': 'حرفه\\u200cای فوتبال است که در مادرید'},\n",
              " {'score': -0.3963647, 'text': 'مادرید، پایتخت اسپانیا قرار دارد. رئال'},\n",
              " {'score': -1.0785995, 'text': 'مادرید، پایتخت'},\n",
              " {'score': -1.2210455, 'text': 'در مادرید، پایتخت اسپانیا'},\n",
              " {'score': -1.6986322, 'text': 'در'},\n",
              " {'score': -1.9687548, 'text': 'در مادرید، پایتخت اسپانیا قرار دارد'},\n",
              " {'score': -2.4731379, 'text': 'در مادرید، پایتخت اسپانیا قرار دارد.'}]"
            ]
          },
          "metadata": {},
          "execution_count": 30
        }
      ],
      "source": [
        "start_logits = output.start_logits[0].cpu().numpy()\n",
        "end_logits = output.end_logits[0].cpu().numpy()\n",
        "offset_mapping = validation_features[0][\"offset_mapping\"]\n",
        "context = datasets[\"validation\"][0][\"context\"]\n",
        "start_indexes = np.argsort(start_logits)[-1 : -n_best_size - 1 : -1].tolist()\n",
        "end_indexes = np.argsort(end_logits)[-1 : -n_best_size - 1 : -1].tolist()\n",
        "valid_answers = []\n",
        "for start_index in start_indexes:\n",
        "    for end_index in end_indexes:\n",
        "        if (\n",
        "            start_index >= len(offset_mapping)\n",
        "            or end_index >= len(offset_mapping)\n",
        "            or offset_mapping[start_index] is None\n",
        "            or offset_mapping[end_index] is None\n",
        "        ):\n",
        "            continue\n",
        "        if end_index < start_index or end_index - start_index + 1 > max_answer_length:\n",
        "            continue\n",
        "        if start_index <= end_index:\n",
        "            start_char = offset_mapping[start_index][0]\n",
        "            end_char = offset_mapping[end_index][1]\n",
        "            valid_answers.append(\n",
        "                {\n",
        "                    \"score\": start_logits[start_index] + end_logits[end_index],\n",
        "                    \"text\": context[start_char: end_char]\n",
        "                }\n",
        "            )\n",
        "\n",
        "valid_answers = sorted(valid_answers, key=lambda x: x[\"score\"], reverse=True)[:n_best_size]\n",
        "valid_answers"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": 31,
      "id": "2381fb2f-4bb5-43c9-b50e-7dce18520b0d",
      "metadata": {
        "id": "2381fb2f-4bb5-43c9-b50e-7dce18520b0d"
      },
      "outputs": [],
      "source": [
        "import collections\n",
        "\n",
        "examples = datasets[\"validation\"]\n",
        "features = validation_features\n",
        "\n",
        "example_id_to_index = {k: i for i, k in enumerate(examples[\"id\"])}\n",
        "features_per_example = collections.defaultdict(list)\n",
        "for i, feature in enumerate(features):\n",
        "    features_per_example[example_id_to_index[feature[\"example_id\"]]].append(i)"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": 32,
      "id": "36e8db18-bff9-40e5-bb12-c24aca2c6417",
      "metadata": {
        "id": "36e8db18-bff9-40e5-bb12-c24aca2c6417"
      },
      "outputs": [],
      "source": [
        "from tqdm.auto import tqdm\n",
        "\n",
        "def postprocess_qa_predictions(examples, features, raw_predictions, n_best_size = 20, max_answer_length = 30):\n",
        "    all_start_logits, all_end_logits = raw_predictions\n",
        "    example_id_to_index = {k: i for i, k in enumerate(examples[\"id\"])}\n",
        "    features_per_example = collections.defaultdict(list)\n",
        "    for i, feature in enumerate(features):\n",
        "        features_per_example[example_id_to_index[feature[\"example_id\"]]].append(i)\n",
        "    predictions = collections.OrderedDict()\n",
        "\n",
        "\n",
        "    print(f\"Post-processing {len(examples)} example predictions split into {len(features)} features.\")\n",
        "\n",
        "    for example_index, example in enumerate(tqdm(examples)):\n",
        "        feature_indices = features_per_example[example_index]\n",
        "\n",
        "        min_null_score = None\n",
        "        valid_answers = []\n",
        "\n",
        "        context = example[\"context\"]\n",
        "        for feature_index in feature_indices:\n",
        "            start_logits = all_start_logits[feature_index]\n",
        "            end_logits = all_end_logits[feature_index]\n",
        "            offset_mapping = features[feature_index][\"offset_mapping\"]\n",
        "\n",
        "            cls_index = features[feature_index][\"input_ids\"].index(tokenizer.cls_token_id)\n",
        "            feature_null_score = start_logits[cls_index] + end_logits[cls_index]\n",
        "            if min_null_score is None or min_null_score < feature_null_score:\n",
        "                min_null_score = feature_null_score\n",
        "\n",
        "            start_indexes = np.argsort(start_logits)[-1 : -n_best_size - 1 : -1].tolist()\n",
        "            end_indexes = np.argsort(end_logits)[-1 : -n_best_size - 1 : -1].tolist()\n",
        "            for start_index in start_indexes:\n",
        "                for end_index in end_indexes:\n",
        "                    if (\n",
        "                        start_index >= len(offset_mapping)\n",
        "                        or end_index >= len(offset_mapping)\n",
        "                        or offset_mapping[start_index] is None\n",
        "                        or offset_mapping[end_index] is None\n",
        "                    ):\n",
        "                        continue\n",
        "                    if end_index < start_index or end_index - start_index + 1 > max_answer_length:\n",
        "                        continue\n",
        "\n",
        "                    start_char = offset_mapping[start_index][0]\n",
        "                    end_char = offset_mapping[end_index][1]\n",
        "                    valid_answers.append(\n",
        "                        {\n",
        "                            \"score\": start_logits[start_index] + end_logits[end_index],\n",
        "                            \"text\": context[start_char: end_char]\n",
        "                        }\n",
        "                    )\n",
        "\n",
        "        if len(valid_answers) > 0:\n",
        "            best_answer = sorted(valid_answers, key=lambda x: x[\"score\"], reverse=True)[0]\n",
        "        else:\n",
        "            best_answer = {\"text\": \"\", \"score\": 0.0}\n",
        "\n",
        "        answer = best_answer[\"text\"] if best_answer[\"score\"] > min_null_score else \"\"\n",
        "        predictions[example[\"id\"]] = answer\n",
        "\n",
        "    return predictions"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": 33,
      "id": "93b7d1d5-6bcb-48ca-9c9a-2dbae05f8dd2",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 67,
          "referenced_widgets": [
            "fa78ee80155540f79c0ee93f43f5d8ec",
            "8d896c4f20c34cc2ba9f161c922a60c2",
            "94716211e54b40bf895d827969506afe",
            "3f3d2eed9635410abc782066802abd90",
            "d7d25c67318e4f8db2127ff5dde6f5df",
            "75e5f730975143c1ad6f94eab327747f",
            "e286b126c54148939939c53075e36a31",
            "6adb9e481b5c47569fa83cd10d8fc0e3",
            "f97812da8cb340f8870ea50fb58ae826",
            "ebc9ea59db5d424fa053d8264b23d9aa",
            "0905327b512c419fb13f3a1899d31d30"
          ]
        },
        "id": "93b7d1d5-6bcb-48ca-9c9a-2dbae05f8dd2",
        "outputId": "eebbd7e5-a1f0-45c0-e5a1-7a9657cae566"
      },
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "Post-processing 930 example predictions split into 930 features.\n"
          ]
        },
        {
          "output_type": "display_data",
          "data": {
            "text/plain": [
              "  0%|          | 0/930 [00:00<?, ?it/s]"
            ],
            "application/vnd.jupyter.widget-view+json": {
              "version_major": 2,
              "version_minor": 0,
              "model_id": "fa78ee80155540f79c0ee93f43f5d8ec"
            }
          },
          "metadata": {}
        }
      ],
      "source": [
        "final_predictions = postprocess_qa_predictions(datasets[\"validation\"], validation_features, raw_predictions.predictions)\n"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": 35,
      "id": "961a3201-7011-45f6-97a8-dde3398640e6",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 67,
          "referenced_widgets": [
            "99bb5f34264e405085cb21c50ac13376",
            "4b7f86d737d843b8a5165f3a07d0cf43",
            "1895c4b51ac44e7cb0e12322334764c8",
            "d7b67c278f2f47dab6192fea65485027",
            "8e3d86440e3f4eceb96ff7ac1b17e0ec",
            "26467309223e4df3867cf0af17031940",
            "36f878b968174b2a9711ddf3b68aff57",
            "91c0084fb8a1473fb390ed4dedb5ec74",
            "b13f6821f78343cc98c1f92d4b40b4e2",
            "4d8ebfdcc9744feb9ea0deb9b059da9c",
            "69cb878a520445ca8e8ef6da63a2b156",
            "5c1b74692d3c45f3bca371d0428c709b"
          ]
        },
        "id": "961a3201-7011-45f6-97a8-dde3398640e6",
        "outputId": "63b08c1b-fd85-4137-ee3f-513ba4e60a54"
      },
      "outputs": [
        {
          "output_type": "display_data",
          "data": {
            "text/plain": [
              "Downloading builder script:   0%|          | 0.00/2.25k [00:00<?, ?B/s]"
            ],
            "application/vnd.jupyter.widget-view+json": {
              "version_major": 2,
              "version_minor": 0,
              "model_id": "99bb5f34264e405085cb21c50ac13376"
            }
          },
          "metadata": {}
        },
        {
          "output_type": "display_data",
          "data": {
            "text/plain": [
              "Downloading extra modules:   0%|          | 0.00/3.19k [00:00<?, ?B/s]"
            ],
            "application/vnd.jupyter.widget-view+json": {
              "version_major": 2,
              "version_minor": 0,
              "model_id": "4b7f86d737d843b8a5165f3a07d0cf43"
            }
          },
          "metadata": {}
        }
      ],
      "source": [
        "from datasets import load_metric\n",
        "metric = load_metric(\"squad_v2\")\n",
        "formatted_predictions = [{\"id\": k, \"prediction_text\": v, \"no_answer_probability\": 0.0} for k, v in final_predictions.items()]"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": 36,
      "id": "dc49eea1-4b8a-40ba-aaaf-0b542d1e4545",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "dc49eea1-4b8a-40ba-aaaf-0b542d1e4545",
        "outputId": "a3ebfe7f-e4a0-4267-8e1e-5fccbd57c168"
      },
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "{'exact': 41.935483870967744,\n",
              " 'f1': 57.93013297514893,\n",
              " 'total': 930,\n",
              " 'HasAns_exact': 30.87557603686636,\n",
              " 'HasAns_f1': 53.725074757125164,\n",
              " 'HasAns_total': 651,\n",
              " 'NoAns_exact': 67.74193548387096,\n",
              " 'NoAns_f1': 67.74193548387096,\n",
              " 'NoAns_total': 279,\n",
              " 'best_exact': 42.1505376344086,\n",
              " 'best_exact_thresh': 0.0,\n",
              " 'best_f1': 58.03765985686937,\n",
              " 'best_f1_thresh': 0.0}"
            ]
          },
          "metadata": {},
          "execution_count": 36
        }
      ],
      "source": [
        "references = [{\"id\": ex[\"id\"], \"answers\": ex[\"answers\"]} for ex in datasets[\"validation\"]]\n",
        "metric.compute(predictions=formatted_predictions, references=references)"
      ]
    }
  ],
  "metadata": {
    "kernelspec": {
      "display_name": "Python 3",
      "name": "python3"
    },
    "language_info": {
      "codemirror_mode": {
        "name": "ipython",
        "version": 3
      },
      "file_extension": ".py",
      "mimetype": "text/x-python",
      "name": "python",
      "nbconvert_exporter": "python",
      "pygments_lexer": "ipython3",
      "version": "3.9.7"
    },
    "colab": {
      "provenance": [],
      "gpuType": "T4",
      "include_colab_link": true
    },
    "accelerator": "GPU",
    "widgets": {
      "application/vnd.jupyter.widget-state+json": {
        "0cd770eb93154cb4a782f01940728316": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "VBoxModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "VBoxModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "VBoxView",
            "box_style": "",
            "children": [
              "IPY_MODEL_81721f02d043460fb2531af03cf40847",
              "IPY_MODEL_ad97269fda5642c98f9a13f730f63f99",
              "IPY_MODEL_dc685dfdac304b849b7ebcad94e2e04e",
              "IPY_MODEL_6ab5663f883948819487a880e3b6e08e"
            ],
            "layout": "IPY_MODEL_49d66b308477488ba981a7b747add52d"
          }
        },
        "d36254b6de4a4da88e37a543f135e3f4": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "HTMLModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HTMLModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HTMLView",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_46d171a8f7e64fc5be1eee8be4705651",
            "placeholder": "​",
            "style": "IPY_MODEL_f0077bc0012e4ca68bf28a839d95d0e5",
            "value": "<center> <img\nsrc=https://huggingface.co/front/assets/huggingface_logo-noborder.svg\nalt='Hugging Face'> <br> Copy a token from <a\nhref=\"https://huggingface.co/settings/tokens\" target=\"_blank\">your Hugging Face\ntokens page</a> and paste it below. <br> Immediately click login after copying\nyour token or it might be stored in plain text in this notebook file. </center>"
          }
        },
        "526e816b4ed343928a6bf5150557d5a9": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "PasswordModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "PasswordModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "PasswordView",
            "continuous_update": true,
            "description": "Token:",
            "description_tooltip": null,
            "disabled": false,
            "layout": "IPY_MODEL_27585b7f35ff411cbfbbf103036673a9",
            "placeholder": "​",
            "style": "IPY_MODEL_6b371825210f4d90a1144d8439593aa0",
            "value": ""
          }
        },
        "3e3000bf797f4a5ab5a44f6aea91f459": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "CheckboxModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "CheckboxModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "CheckboxView",
            "description": "Add token as git credential?",
            "description_tooltip": null,
            "disabled": false,
            "indent": true,
            "layout": "IPY_MODEL_d9d2eac9ea304afd92fdc57f686952f0",
            "style": "IPY_MODEL_5c575fde05514f89bb5436605295741a",
            "value": true
          }
        },
        "26a73877b9d945fc9def6b36866f6282": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "ButtonModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "ButtonModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "ButtonView",
            "button_style": "",
            "description": "Login",
            "disabled": false,
            "icon": "",
            "layout": "IPY_MODEL_0d9044bd7cb8476f8482d6937b0d9868",
            "style": "IPY_MODEL_79d6d9f1279f473395003c085ee2d235",
            "tooltip": ""
          }
        },
        "a5a6fa9bddaa44b694855ac68406c91b": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "HTMLModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HTMLModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HTMLView",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_4ede78943ce74360922889f012238a8b",
            "placeholder": "​",
            "style": "IPY_MODEL_8913ecaacbc54e94b125ffa522e27fcd",
            "value": "\n<b>Pro Tip:</b> If you don't already have one, you can create a dedicated\n'notebooks' token with 'write' access, that you can then easily reuse for all\nnotebooks. </center>"
          }
        },
        "49d66b308477488ba981a7b747add52d": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": "center",
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": "flex",
            "flex": null,
            "flex_flow": "column",
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": "50%"
          }
        },
        "46d171a8f7e64fc5be1eee8be4705651": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "f0077bc0012e4ca68bf28a839d95d0e5": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "DescriptionStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "DescriptionStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "description_width": ""
          }
        },
        "27585b7f35ff411cbfbbf103036673a9": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "6b371825210f4d90a1144d8439593aa0": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "DescriptionStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "DescriptionStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "description_width": ""
          }
        },
        "d9d2eac9ea304afd92fdc57f686952f0": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "5c575fde05514f89bb5436605295741a": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "DescriptionStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "DescriptionStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "description_width": ""
          }
        },
        "0d9044bd7cb8476f8482d6937b0d9868": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "79d6d9f1279f473395003c085ee2d235": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "ButtonStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "ButtonStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "button_color": null,
            "font_weight": ""
          }
        },
        "4ede78943ce74360922889f012238a8b": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "8913ecaacbc54e94b125ffa522e27fcd": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "DescriptionStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "DescriptionStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "description_width": ""
          }
        },
        "78841cc2e2754d7988a4a81f4f8cffe8": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "LabelModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "LabelModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "LabelView",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_252270f4622746e0b2528126f427ac51",
            "placeholder": "​",
            "style": "IPY_MODEL_96d33f419f684ec9b7647e0ca3fc0075",
            "value": "Connecting..."
          }
        },
        "252270f4622746e0b2528126f427ac51": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "96d33f419f684ec9b7647e0ca3fc0075": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "DescriptionStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "DescriptionStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "description_width": ""
          }
        },
        "81721f02d043460fb2531af03cf40847": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "LabelModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "LabelModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "LabelView",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_a55dc37db5824eba992639c68db7e5d4",
            "placeholder": "​",
            "style": "IPY_MODEL_f588b21156924dddb72728584d4d5933",
            "value": "Token is valid (permission: write)."
          }
        },
        "ad97269fda5642c98f9a13f730f63f99": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "LabelModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "LabelModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "LabelView",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_be3492452db845cab09b285139de060a",
            "placeholder": "​",
            "style": "IPY_MODEL_87a6906183be41b1a6ea605956167c3d",
            "value": "Your token has been saved in your configured git credential helpers (store)."
          }
        },
        "dc685dfdac304b849b7ebcad94e2e04e": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "LabelModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "LabelModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "LabelView",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_45b0c4e14819474b93de44cbb519569b",
            "placeholder": "​",
            "style": "IPY_MODEL_6e142d8f96f64ce3a7dd0823a3700f0d",
            "value": "Your token has been saved to /root/.cache/huggingface/token"
          }
        },
        "6ab5663f883948819487a880e3b6e08e": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "LabelModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "LabelModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "LabelView",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_8d44836e1b1145c5a636f903dedd9ddc",
            "placeholder": "​",
            "style": "IPY_MODEL_d72bb1e5b5fd43598f717c2433d0e1a3",
            "value": "Login successful"
          }
        },
        "a55dc37db5824eba992639c68db7e5d4": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "f588b21156924dddb72728584d4d5933": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "DescriptionStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "DescriptionStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "description_width": ""
          }
        },
        "be3492452db845cab09b285139de060a": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "87a6906183be41b1a6ea605956167c3d": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "DescriptionStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "DescriptionStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "description_width": ""
          }
        },
        "45b0c4e14819474b93de44cbb519569b": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "6e142d8f96f64ce3a7dd0823a3700f0d": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "DescriptionStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "DescriptionStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "description_width": ""
          }
        },
        "8d44836e1b1145c5a636f903dedd9ddc": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "d72bb1e5b5fd43598f717c2433d0e1a3": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "DescriptionStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "DescriptionStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "description_width": ""
          }
        },
        "194efe560ac3416688dd7819eefaeeee": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "HBoxModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HBoxModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HBoxView",
            "box_style": "",
            "children": [
              "IPY_MODEL_12a05985d8354224b841128c7302ebc3",
              "IPY_MODEL_b54f0303817a4a7a974fb4821ee0cb64",
              "IPY_MODEL_4aabe16a7e9245889a1da8cf929dc876"
            ],
            "layout": "IPY_MODEL_0aaf97591d3d423189c0da540379b7ab"
          }
        },
        "12a05985d8354224b841128c7302ebc3": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "HTMLModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HTMLModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HTMLView",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_ff0a13e567754f9b9fd5c01524c4d7f0",
            "placeholder": "​",
            "style": "IPY_MODEL_820990dbd1c446afa44efdfe7ca05240",
            "value": "Map: 100%"
          }
        },
        "b54f0303817a4a7a974fb4821ee0cb64": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "FloatProgressModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "FloatProgressModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "ProgressView",
            "bar_style": "success",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_a22daa4ec00c4e1ea4a825e4d557835b",
            "max": 9008,
            "min": 0,
            "orientation": "horizontal",
            "style": "IPY_MODEL_7ba158064e7842e29cca72528dba580d",
            "value": 9008
          }
        },
        "4aabe16a7e9245889a1da8cf929dc876": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "HTMLModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HTMLModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HTMLView",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_213f3b8610c640d5b71014f2a44b92b5",
            "placeholder": "​",
            "style": "IPY_MODEL_6527c4f5b2c24414a137b6e654dfd8de",
            "value": " 9008/9008 [00:17&lt;00:00, 492.06 examples/s]"
          }
        },
        "0aaf97591d3d423189c0da540379b7ab": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "ff0a13e567754f9b9fd5c01524c4d7f0": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "820990dbd1c446afa44efdfe7ca05240": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "DescriptionStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "DescriptionStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "description_width": ""
          }
        },
        "a22daa4ec00c4e1ea4a825e4d557835b": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "7ba158064e7842e29cca72528dba580d": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "ProgressStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "ProgressStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "bar_color": null,
            "description_width": ""
          }
        },
        "213f3b8610c640d5b71014f2a44b92b5": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "6527c4f5b2c24414a137b6e654dfd8de": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "DescriptionStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "DescriptionStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "description_width": ""
          }
        },
        "29107b2d7d6d4d86a48e76129cdb7732": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "HBoxModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HBoxModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HBoxView",
            "box_style": "",
            "children": [
              "IPY_MODEL_df66eee98aa74e97a265b05192c55897",
              "IPY_MODEL_4a88f46daa2e4977b32f5fafae6fec75",
              "IPY_MODEL_b6915291897a4829b3d386fa3d9d1e4a"
            ],
            "layout": "IPY_MODEL_8b705b4df1a8484cac7ca3d1e80be782"
          }
        },
        "df66eee98aa74e97a265b05192c55897": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "HTMLModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HTMLModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HTMLView",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_4fc5851dd554481999faa6a829f7bdf7",
            "placeholder": "​",
            "style": "IPY_MODEL_67326efa1cff40d2a768ed0fc9ee741c",
            "value": "Map: 100%"
          }
        },
        "4a88f46daa2e4977b32f5fafae6fec75": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "FloatProgressModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "FloatProgressModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "ProgressView",
            "bar_style": "success",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_cfffd5171ce045cebae73676df9f9c01",
            "max": 930,
            "min": 0,
            "orientation": "horizontal",
            "style": "IPY_MODEL_37a80a035ab3436ea8e80ecf3bcb5d94",
            "value": 930
          }
        },
        "b6915291897a4829b3d386fa3d9d1e4a": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "HTMLModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HTMLModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HTMLView",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_265f31e6e91c4f41a19d489131006044",
            "placeholder": "​",
            "style": "IPY_MODEL_210da7a719c44427996a4601d45a219d",
            "value": " 930/930 [00:01&lt;00:00, 472.81 examples/s]"
          }
        },
        "8b705b4df1a8484cac7ca3d1e80be782": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "4fc5851dd554481999faa6a829f7bdf7": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "67326efa1cff40d2a768ed0fc9ee741c": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "DescriptionStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "DescriptionStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "description_width": ""
          }
        },
        "cfffd5171ce045cebae73676df9f9c01": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "37a80a035ab3436ea8e80ecf3bcb5d94": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "ProgressStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "ProgressStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "bar_color": null,
            "description_width": ""
          }
        },
        "265f31e6e91c4f41a19d489131006044": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "210da7a719c44427996a4601d45a219d": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "DescriptionStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "DescriptionStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "description_width": ""
          }
        },
        "fa78ee80155540f79c0ee93f43f5d8ec": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "HBoxModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HBoxModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HBoxView",
            "box_style": "",
            "children": [
              "IPY_MODEL_8d896c4f20c34cc2ba9f161c922a60c2",
              "IPY_MODEL_94716211e54b40bf895d827969506afe",
              "IPY_MODEL_3f3d2eed9635410abc782066802abd90"
            ],
            "layout": "IPY_MODEL_d7d25c67318e4f8db2127ff5dde6f5df"
          }
        },
        "8d896c4f20c34cc2ba9f161c922a60c2": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "HTMLModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HTMLModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HTMLView",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_75e5f730975143c1ad6f94eab327747f",
            "placeholder": "​",
            "style": "IPY_MODEL_e286b126c54148939939c53075e36a31",
            "value": "100%"
          }
        },
        "94716211e54b40bf895d827969506afe": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "FloatProgressModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "FloatProgressModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "ProgressView",
            "bar_style": "success",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_6adb9e481b5c47569fa83cd10d8fc0e3",
            "max": 930,
            "min": 0,
            "orientation": "horizontal",
            "style": "IPY_MODEL_f97812da8cb340f8870ea50fb58ae826",
            "value": 930
          }
        },
        "3f3d2eed9635410abc782066802abd90": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "HTMLModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HTMLModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HTMLView",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_ebc9ea59db5d424fa053d8264b23d9aa",
            "placeholder": "​",
            "style": "IPY_MODEL_0905327b512c419fb13f3a1899d31d30",
            "value": " 930/930 [00:11&lt;00:00, 95.18it/s]"
          }
        },
        "d7d25c67318e4f8db2127ff5dde6f5df": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "75e5f730975143c1ad6f94eab327747f": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "e286b126c54148939939c53075e36a31": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "DescriptionStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "DescriptionStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "description_width": ""
          }
        },
        "6adb9e481b5c47569fa83cd10d8fc0e3": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "f97812da8cb340f8870ea50fb58ae826": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "ProgressStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "ProgressStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "bar_color": null,
            "description_width": ""
          }
        },
        "ebc9ea59db5d424fa053d8264b23d9aa": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "0905327b512c419fb13f3a1899d31d30": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "DescriptionStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "DescriptionStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "description_width": ""
          }
        },
        "4b7f86d737d843b8a5165f3a07d0cf43": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "HBoxModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HBoxModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HBoxView",
            "box_style": "",
            "children": [
              "IPY_MODEL_1895c4b51ac44e7cb0e12322334764c8",
              "IPY_MODEL_d7b67c278f2f47dab6192fea65485027",
              "IPY_MODEL_8e3d86440e3f4eceb96ff7ac1b17e0ec"
            ],
            "layout": "IPY_MODEL_26467309223e4df3867cf0af17031940"
          }
        },
        "1895c4b51ac44e7cb0e12322334764c8": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "HTMLModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HTMLModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HTMLView",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_36f878b968174b2a9711ddf3b68aff57",
            "placeholder": "​",
            "style": "IPY_MODEL_91c0084fb8a1473fb390ed4dedb5ec74",
            "value": "Downloading extra modules: "
          }
        },
        "d7b67c278f2f47dab6192fea65485027": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "FloatProgressModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "FloatProgressModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "ProgressView",
            "bar_style": "success",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_b13f6821f78343cc98c1f92d4b40b4e2",
            "max": 3188,
            "min": 0,
            "orientation": "horizontal",
            "style": "IPY_MODEL_4d8ebfdcc9744feb9ea0deb9b059da9c",
            "value": 3188
          }
        },
        "8e3d86440e3f4eceb96ff7ac1b17e0ec": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "HTMLModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HTMLModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HTMLView",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_69cb878a520445ca8e8ef6da63a2b156",
            "placeholder": "​",
            "style": "IPY_MODEL_5c1b74692d3c45f3bca371d0428c709b",
            "value": " 11.3k/? [00:00&lt;00:00, 462kB/s]"
          }
        },
        "26467309223e4df3867cf0af17031940": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "36f878b968174b2a9711ddf3b68aff57": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "91c0084fb8a1473fb390ed4dedb5ec74": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "DescriptionStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "DescriptionStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "description_width": ""
          }
        },
        "b13f6821f78343cc98c1f92d4b40b4e2": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "4d8ebfdcc9744feb9ea0deb9b059da9c": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "ProgressStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "ProgressStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "bar_color": null,
            "description_width": ""
          }
        },
        "69cb878a520445ca8e8ef6da63a2b156": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "5c1b74692d3c45f3bca371d0428c709b": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "DescriptionStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "DescriptionStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "description_width": ""
          }
        }
      }
    }
  },
  "nbformat": 4,
  "nbformat_minor": 5
}