notebooks/04_Zero_Shot.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {
    "collapsed": true,
    "jupyter": {
     "outputs_hidden": true
    }
   },
   "outputs": [],
   "source": [
    "import sys\n",
    "sys.path.append('../scripts')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {
    "collapsed": false,
    "jupyter": {
     "outputs_hidden": false
    }
   },
   "outputs": [],
   "source": [
    "import pandas as pd\n",
    "import openai\n",
    "from pathlib import Path\n",
    "from evaluation import error_analysis, get_scores\n",
    "import re"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {
    "collapsed": false,
    "jupyter": {
     "outputs_hidden": false
    }
   },
   "outputs": [],
   "source": [
    "import hydra\n",
    "from hydra import compose, initialize\n",
    "\n",
    "hydra.core.global_hydra.GlobalHydra.instance().clear()\n",
    "initialize(config_path='..', version_base='1.3.1')\n",
    "config = compose(config_name='experiment.yaml')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {
    "collapsed": false,
    "jupyter": {
     "outputs_hidden": false
    }
   },
   "outputs": [],
   "source": [
    "openai.api_key = config.api_key"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {
    "collapsed": false,
    "jupyter": {
     "outputs_hidden": false
    }
   },
   "outputs": [],
   "source": [
    "prompt_to_use = 0\n",
    "prompts = [\n",
    "    \"Ich werde dir im Folgenden einen Satz zeigen, welcher sogennannte Koordinationsellipsen enthält. Du sollst sie finden und auflösen. Ein Beispiel:'Dieser Unterschied zeigte sich sowohl im Stadium I/II als auch im Stadium III [REF].' Deine Antwort:'Dieser Unterschied zeigte sich sowohl im Stadium I/Stadium II als auch im Stadium III [REF].'. Ein weiteres Beispiel:'Ziel ist eine möglichst genaue Beschreibung der Tumormerkmale und –ausdehnung um eine optimale an das Erkrankungsstadium angepasste Therapie zu ermöglichen.' Deine Antwort:'Ziel ist eine möglichst genaue Beschreibung der Tumormerkmale und Tumorausdehnung um eine optimale an das Erkrankungsstadium angepasste Therapie zu ermöglichen.' Ein weiteres Beispiel:'Eine Metaanalyse von 16 randomisierten Studien mit BRAF- oder/und MEK-Inhibitoren bestätigt die Überlegenheit der Kombinationstherapie [REF].' Deine Antwort:'Eine Metaanalyse von 16 randomisierten Studien mit BRAF-Inhibtoren oder/und MEK-Inhibitoren bestätigt die Überlegenheit der Kombinationstherapie [REF].' Ein letztes Beispiel:'Das Erkrankungs- und Sterberisiko ist jedoch deutlich unterschiedlich.' Deine Antwort:'Das Erkrankungsrisiko und Sterberisiko ist jedoch deutlich unterschiedlich.' Wenn ich dir gleich mein Beispiel gebe, antworte nur mit dem korrigierten Satz und keiner Erklärung. Korrigiere bitte folgenden Satz:\",\n",
    "    \"Ich werde dir im Folgenden einen Satz zeigen, welcher sogennannte Koordinationsellipsen enthält. Du sollst sie finden und auflösen. Ein Beispiel: 'Dieser Unterschied zeigte sich sowohl im Stadium I/II als auch im Stadium III [REF].' Deine Antwort: 'Dieser Unterschied zeigte sich sowohl im Stadium I/Stadium II als auch im Stadium III [REF].' Ein weiteres Beispiel: 'Ziel ist eine möglichst genaue Beschreibung der Tumormerkmale und –ausdehnung um eine optimale an das Erkrankungsstadium angepasste Therapie zu ermöglichen.' Deine Antwort: 'Ziel ist eine möglichst genaue Beschreibung der Tumormerkmale und Tumorausdehnung um eine optimale an das Erkrankungsstadium angepasste Therapie zu ermöglichen.' Korrigiere bitte folgenden Satz:\",\n",
    "    \"Ich werde dir im Folgenden einen Satz zeigen. Möglicherweise enthält dieser Koordinationsellipsen. Ich möchte, dass du erstmal herausfindest, ob in dem Satz solche Koordinationsellipsen vorkommen. Danach sollst du sie auflösen. Ein Beispiel: 'Ziel ist eine möglichst genaue Beschreibung der Tumormerkmale und –ausdehnung um eine optimale an das Erkrankungsstadium angepasste Therapie zu ermöglichen.' Hier kannst du 'Tumormerkmale und -ausdehung' als Koordinationsellipse erkennen. Deine Antwort wäre nun: 'Ziel ist eine möglichst genaue Beschreibung der Tumormerkmale und Tumorausdehnung um eine optimale an das Erkrankungsstadium angepasste Therapie zu ermöglichen.' Du sollst also nichts an dem Satz ändern außer die Koordinationsellipsen zu korrigieren. Wenn ich dir gleich mein Beispiel gebe, antworte nur mit dem korrigierten Satz und keiner Erklärung. Mein Beispiel:\",\n",
    "    \"Ich werde dir im Folgenden einen Satz zeigen, welcher sogennannte Koordinationsellipsen enthält. Du sollst sie finden und auflösen. Ein Beispiel:'Ibrutinib, ein Inhibitor der Bruton-Tyrosinkinase (BTK), ist in Deutschland als Erstlinien- und Rezidivtherapiee in der CLL zugelassen.' Deine Antwort:'Ibrutinib, ein Inhibitor der Bruton-Tyrosinkinase (BTK), ist in Deutschland als Erstlinientherapie und Rezidivtherapiee in der CLL zugelassen.' Korrigiere bitte folgenden Satz:\",\n",
    "    \"In der deutschen Sprache gibt es sogenannte Koordinationsellipsen. Ein Beispiel für eine Koordinationsellipse ist:'Stadium I/II'. Die richtige Auflösung:'Stadium I/Stadium II'. Ein weiteres Beispiel:'Tumormerkmale und –ausdehnung'. Die richtige Auflösung:'Tumormerkmale und Tumorausdehnung'. Ein weiteres Beispiel:'BRAF- oder/und MEK-Inhibitoren'. Die richtige Auflösung:'BRAF-Inhibtoren oder/und MEK-Inhibitoren'. Ein letztes Beispiel:'Erkrankungs-, Verhinderungs- und Sterberisiko' Die richtige Auflösung:'Erkrankungsrisiko und Sterberisiko'. Ich werde dir im Folgenden einen Satz zeigen, welcher eine oder mehrere dieser Koordinationsellipsen enthält. Ich möchte, dass du sie findest und auflöst. Ein Beispiel:'Das Erkrankungs- und Sterberisiko ist jedoch deutlich unterschiedlich [REF].' Deine Antwort:'Das Erkrankungsrisiko und Sterberisiko ist jedoch deutlich unterschiedlich [REF].' Korrigiere bitte folgenden Satz:\"\n",
    "]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {
    "collapsed": false,
    "jupyter": {
     "outputs_hidden": false
    }
   },
   "outputs": [],
   "source": [
    "ellipses = pd.read_csv(Path('..') / config.data.cnf_tsv_path, sep='\\t')\n",
    "not_ellipses = pd.read_csv(Path('..') / config.data.controls_tsv_path, sep='\\t')\n",
    "\n",
    "not_ellipses['full_resolution'] = not_ellipses.raw_sentence\n",
    "ellipses = ellipses[ellipses.split == 'test']\n",
    "not_ellipses = not_ellipses[not_ellipses.split == 'test']\n",
    "\n",
    "data = pd.concat([ellipses[['file', 'sentence_id', 'raw_sentence', 'full_resolution']], not_ellipses[['file', 'sentence_id', 'raw_sentence', 'full_resolution']]]).sort_values(by='file').reset_index(drop=True)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {
    "collapsed": false,
    "jupyter": {
     "outputs_hidden": false
    }
   },
   "outputs": [],
   "source": [
    "test_data = data.sample(50, random_state=42)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {
    "collapsed": false,
    "jupyter": {
     "outputs_hidden": false
    }
   },
   "outputs": [],
   "source": [
    "def get_openai_response(prompt, example):\n",
    "    return openai.Completion.create(\n",
    "        model=\"text-davinci-003\",\n",
    "        prompt= prompt + example,\n",
    "        temperature=0,\n",
    "        max_tokens=100,\n",
    "        top_p=1.0,\n",
    "        frequency_penalty=0.0,\n",
    "        presence_penalty=0.0\n",
    "    )"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 42,
   "metadata": {
    "collapsed": false,
    "jupyter": {
     "outputs_hidden": false
    }
   },
   "outputs": [],
   "source": [
    "predictions = []\n",
    "for example, resolution in zip(test_data.raw_sentence, test_data.full_resolution):\n",
    "    predictions.append(get_openai_response(prompts[prompt_to_use], example)['choices'][0][\"text\"])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 46,
   "metadata": {
    "collapsed": false,
    "jupyter": {
     "outputs_hidden": false
    }
   },
   "outputs": [],
   "source": [
    "for i, prediction in enumerate(predictions):\n",
    "    predictions[i] = prediction.replace('\\n', '')\n",
    "    predictions[i] = re.sub(r'.*Antwort:\\s?', '', predictions[i])\n",
    "    if predictions[i][0] == \"'\":\n",
    "        predictions[i] = predictions[i][1:-1]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 48,
   "metadata": {
    "collapsed": false,
    "jupyter": {
     "outputs_hidden": false
    }
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "{'eval/tp': 0.26, 'eval/tp_abs': 13, 'eval/fn': 0.02, 'eval/fn_abs': 1, 'eval/fp': 0.3, 'eval/fp_abs': 15, 'eval/replace': 0.1, 'eval/replace_abs': 5, 'eval/insert': 0.02, 'eval/insert_abs': 1, 'eval/delete': 0.06, 'eval/delete_abs': 3, 'eval/complex': 0.24, 'eval/complex_abs': 12, 'eval/edit_distance_rel': 0.3470888663906745, 'eval/exact_match': 0.26, 'eval/gleu': 0.7530511060259344}\n"
     ]
    }
   ],
   "source": [
    "ea = error_analysis(predictions, test_data.full_resolution, test_data.raw_sentence)\n",
    "print(get_scores(ea, \"eval\"))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 47,
   "metadata": {
    "collapsed": false,
    "jupyter": {
     "outputs_hidden": false
    }
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>resolution</th>\n",
       "      <th>prediction</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>1089</th>\n",
       "      <td>Die berichteten Nebenwirkungen (alle Grad 1) u...</td>\n",
       "      <td>Die berichteten Nebenwirkungen (alle Grad 1) u...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1103</th>\n",
       "      <td>Demgegenüber konnte eine präoperative oder per...</td>\n",
       "      <td>Demgegenüber konnte eine präoperative oder per...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>739</th>\n",
       "      <td>Aus den wenigen Studien, die nach Anzahl befal...</td>\n",
       "      <td>Aus den wenigen Studien, die nach Anzahl befal...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>140</th>\n",
       "      <td>Das Vorhandensein einzelner ipsilateraler pulm...</td>\n",
       "      <td>Das Vorhandensein einzelner ipsilateraler pulm...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1018</th>\n",
       "      <td>In einer klinischen Interaktionsstudie waren z...</td>\n",
       "      <td>In einer klinischen Interaktionsstudie waren z...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>527</th>\n",
       "      <td>Patientinnen mit frühem Ovarialkarzinom und ko...</td>\n",
       "      <td>Patientinnen mit frühem Ovarialkarzinom und ko...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>812</th>\n",
       "      <td>Palliativmedizin/Palliativversorgung bejaht da...</td>\n",
       "      <td>a call to action, European Association for Pa...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1118</th>\n",
       "      <td>GIST des Magens mit einem Durchmesser kleiner ...</td>\n",
       "      <td>GIST des Magens mit einem Durchmesser kleiner ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>950</th>\n",
       "      <td>Dabei gab es bezüglich der Lebensqualität kein...</td>\n",
       "      <td>Dabei gab es bezüglich der Lebensqualität kein...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>420</th>\n",
       "      <td>Aufgrund der Zunahme der abdominellen Schnittb...</td>\n",
       "      <td>Aufgrund der Zunahme der abdominellen Schnittb...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>758</th>\n",
       "      <td>Die Evidenz für oder gegen eine adjuvante Radi...</td>\n",
       "      <td>Die Evidenz für oder gegen eine adjuvante Radi...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>966</th>\n",
       "      <td>Für den sekundären Endpunkt Ein-undschlafstöru...</td>\n",
       "      <td>Für den sekundären Endpunkt Ein- und Durchschl...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>519</th>\n",
       "      <td>Darüber hinaus zeigen sich in unterschiedliche...</td>\n",
       "      <td>Darüber hinaus zeigen sich in unterschiedliche...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>377</th>\n",
       "      <td>Ein hohes Rückfallrisiko besteht für Patientin...</td>\n",
       "      <td>Ein hohes Rückfallrisiko besteht für Patientin...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>192</th>\n",
       "      <td>- histologisch nachgewiesene CIN 2 Läsion/CIN ...</td>\n",
       "      <td>en.'Histologisch nachgewiesene CIN 2/CIN 3 Läs...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>299</th>\n",
       "      <td>Die Bestrahlung von kleineren Kollektiven von ...</td>\n",
       "      <td>Die Bestrahlung von kleineren Kollektiven von ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>643</th>\n",
       "      <td>Hier zeigte sich eine signifikant verringerte ...</td>\n",
       "      <td>Hier zeigte sich eine signifikant verringerte ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>333</th>\n",
       "      <td>Informationsbedürfnisse und Aufklärungsbedürfn...</td>\n",
       "      <td>Informations- und Aufklärungsbedürfnisse bei L...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>381</th>\n",
       "      <td>In der Cochrane-Analyse von Moja et al. (2012)...</td>\n",
       "      <td>In der Cochrane-Analyse von Moja et al. (2012)...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>768</th>\n",
       "      <td>- Chlorophylllösung, chlorophyllhaltige Fertig...</td>\n",
       "      <td>Chlorophylllösung-haltige Fertigverbände (cave...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>802</th>\n",
       "      <td>Supportive Therapie umfasst alle unterstützend...</td>\n",
       "      <td>Supportive Therapie umfasst alle unterstützend...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>514</th>\n",
       "      <td>Therapiebedingte Störungen, beispielsweise Bau...</td>\n",
       "      <td>Therapiebedingte Störungen, beispielsweise Bau...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>413</th>\n",
       "      <td>Nach den Daten des RKI aus den Jahren 2009/201...</td>\n",
       "      <td>Nach den Daten des RKI aus den Jahren 2009/201...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>319</th>\n",
       "      <td>Hierbei lagen Unterschiede je nach ursprünglic...</td>\n",
       "      <td>Hierbei lagen Unterschiede je nach ursprünglic...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>109</th>\n",
       "      <td>Hier zeigte sich eine Verbesserung des PFS (4,...</td>\n",
       "      <td>Hier zeigte sich eine Verbesserung des PFS (4,...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>352</th>\n",
       "      <td>Daher kann, wenn bei Frauen mit einem ER-posit...</td>\n",
       "      <td>Daher kann, wenn bei Frauen mit einem ER-posit...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>436</th>\n",
       "      <td>Die Hämatotoxizität war unter Sunitinibtherapi...</td>\n",
       "      <td>Die Hämatotoxizität war unter Sunitinib-Therap...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>864</th>\n",
       "      <td>Bei Patienten mit einer nicht-heilbaren Krebse...</td>\n",
       "      <td>Bei Patienten mit einer nicht-heilbaren Krebse...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>590</th>\n",
       "      <td>Schwangerschaften unter einer zytotoxischen Th...</td>\n",
       "      <td>Schwangerschaften unter einer zytotoxischen Th...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>714</th>\n",
       "      <td>Von diesen hatten bisher erst 39,1 % eine SRT ...</td>\n",
       "      <td>Von diesen hatten bisher erst 39,1 % eine SRT ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>445</th>\n",
       "      <td>Bei gering differenzierten oder undifferenzier...</td>\n",
       "      <td>Bei gering differenzierten oder undifferenzier...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>113</th>\n",
       "      <td>Therapiearme:</td>\n",
       "      <td>Therapiearme: Patienten, die keine Chemotherap...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>750</th>\n",
       "      <td>Zu Empfehlung 7.23</td>\n",
       "      <td>Zu Empfehlung 7.23 gehören sowohl die Verwendu...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>86</th>\n",
       "      <td>Der Ärztliche Sachverständigenbeirat Berufskra...</td>\n",
       "      <td>Der Ärztliche Sachverständigenbeirat für Beruf...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>773</th>\n",
       "      <td>Manchmal wird als Zufallsbefund ein Knoten bei...</td>\n",
       "      <td>Manchmal wird als Zufallsbefund ein Knoten bei...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>458</th>\n",
       "      <td>Die Strahlentherapie für Larynxkarzinome/Hypop...</td>\n",
       "      <td>Die Strahlentherapie für Larynx-Karzinome und ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>56</th>\n",
       "      <td>Sowohl FOBT als auch Sigmoidoskopie, Koloskopi...</td>\n",
       "      <td>Sowohl FOBT als auch Sigmoidoskopie, Koloskopi...</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                             resolution  \\\n",
       "1089  Die berichteten Nebenwirkungen (alle Grad 1) u...   \n",
       "1103  Demgegenüber konnte eine präoperative oder per...   \n",
       "739   Aus den wenigen Studien, die nach Anzahl befal...   \n",
       "140   Das Vorhandensein einzelner ipsilateraler pulm...   \n",
       "1018  In einer klinischen Interaktionsstudie waren z...   \n",
       "527   Patientinnen mit frühem Ovarialkarzinom und ko...   \n",
       "812   Palliativmedizin/Palliativversorgung bejaht da...   \n",
       "1118  GIST des Magens mit einem Durchmesser kleiner ...   \n",
       "950   Dabei gab es bezüglich der Lebensqualität kein...   \n",
       "420   Aufgrund der Zunahme der abdominellen Schnittb...   \n",
       "758   Die Evidenz für oder gegen eine adjuvante Radi...   \n",
       "966   Für den sekundären Endpunkt Ein-undschlafstöru...   \n",
       "519   Darüber hinaus zeigen sich in unterschiedliche...   \n",
       "377   Ein hohes Rückfallrisiko besteht für Patientin...   \n",
       "192   - histologisch nachgewiesene CIN 2 Läsion/CIN ...   \n",
       "299   Die Bestrahlung von kleineren Kollektiven von ...   \n",
       "643   Hier zeigte sich eine signifikant verringerte ...   \n",
       "333   Informationsbedürfnisse und Aufklärungsbedürfn...   \n",
       "381   In der Cochrane-Analyse von Moja et al. (2012)...   \n",
       "768   - Chlorophylllösung, chlorophyllhaltige Fertig...   \n",
       "802   Supportive Therapie umfasst alle unterstützend...   \n",
       "514   Therapiebedingte Störungen, beispielsweise Bau...   \n",
       "413   Nach den Daten des RKI aus den Jahren 2009/201...   \n",
       "319   Hierbei lagen Unterschiede je nach ursprünglic...   \n",
       "109   Hier zeigte sich eine Verbesserung des PFS (4,...   \n",
       "352   Daher kann, wenn bei Frauen mit einem ER-posit...   \n",
       "436   Die Hämatotoxizität war unter Sunitinibtherapi...   \n",
       "864   Bei Patienten mit einer nicht-heilbaren Krebse...   \n",
       "590   Schwangerschaften unter einer zytotoxischen Th...   \n",
       "714   Von diesen hatten bisher erst 39,1 % eine SRT ...   \n",
       "445   Bei gering differenzierten oder undifferenzier...   \n",
       "113                                       Therapiearme:   \n",
       "750                                  Zu Empfehlung 7.23   \n",
       "86    Der Ärztliche Sachverständigenbeirat Berufskra...   \n",
       "773   Manchmal wird als Zufallsbefund ein Knoten bei...   \n",
       "458   Die Strahlentherapie für Larynxkarzinome/Hypop...   \n",
       "56    Sowohl FOBT als auch Sigmoidoskopie, Koloskopi...   \n",
       "\n",
       "                                             prediction  \n",
       "1089  Die berichteten Nebenwirkungen (alle Grad 1) u...  \n",
       "1103  Demgegenüber konnte eine präoperative oder per...  \n",
       "739   Aus den wenigen Studien, die nach Anzahl befal...  \n",
       "140   Das Vorhandensein einzelner ipsilateraler pulm...  \n",
       "1018  In einer klinischen Interaktionsstudie waren z...  \n",
       "527   Patientinnen mit frühem Ovarialkarzinom und ko...  \n",
       "812    a call to action, European Association for Pa...  \n",
       "1118  GIST des Magens mit einem Durchmesser kleiner ...  \n",
       "950   Dabei gab es bezüglich der Lebensqualität kein...  \n",
       "420   Aufgrund der Zunahme der abdominellen Schnittb...  \n",
       "758   Die Evidenz für oder gegen eine adjuvante Radi...  \n",
       "966   Für den sekundären Endpunkt Ein- und Durchschl...  \n",
       "519   Darüber hinaus zeigen sich in unterschiedliche...  \n",
       "377   Ein hohes Rückfallrisiko besteht für Patientin...  \n",
       "192   en.'Histologisch nachgewiesene CIN 2/CIN 3 Läs...  \n",
       "299   Die Bestrahlung von kleineren Kollektiven von ...  \n",
       "643   Hier zeigte sich eine signifikant verringerte ...  \n",
       "333   Informations- und Aufklärungsbedürfnisse bei L...  \n",
       "381   In der Cochrane-Analyse von Moja et al. (2012)...  \n",
       "768   Chlorophylllösung-haltige Fertigverbände (cave...  \n",
       "802   Supportive Therapie umfasst alle unterstützend...  \n",
       "514   Therapiebedingte Störungen, beispielsweise Bau...  \n",
       "413   Nach den Daten des RKI aus den Jahren 2009/201...  \n",
       "319   Hierbei lagen Unterschiede je nach ursprünglic...  \n",
       "109   Hier zeigte sich eine Verbesserung des PFS (4,...  \n",
       "352   Daher kann, wenn bei Frauen mit einem ER-posit...  \n",
       "436   Die Hämatotoxizität war unter Sunitinib-Therap...  \n",
       "864   Bei Patienten mit einer nicht-heilbaren Krebse...  \n",
       "590   Schwangerschaften unter einer zytotoxischen Th...  \n",
       "714   Von diesen hatten bisher erst 39,1 % eine SRT ...  \n",
       "445   Bei gering differenzierten oder undifferenzier...  \n",
       "113   Therapiearme: Patienten, die keine Chemotherap...  \n",
       "750   Zu Empfehlung 7.23 gehören sowohl die Verwendu...  \n",
       "86    Der Ärztliche Sachverständigenbeirat für Beruf...  \n",
       "773   Manchmal wird als Zufallsbefund ein Knoten bei...  \n",
       "458   Die Strahlentherapie für Larynx-Karzinome und ...  \n",
       "56    Sowohl FOBT als auch Sigmoidoskopie, Koloskopi...  "
      ]
     },
     "execution_count": 47,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "final = pd.DataFrame(data={'resolution': test_data.full_resolution, 'prediction': predictions})\n",
    "final[final.prediction!=final.resolution]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": false,
    "jupyter": {
     "outputs_hidden": false
    }
   },
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.8.12"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}