hspvnrw.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "id": "dddbf5f0-a223-45c4-9364-f79409b0aff1",
   "metadata": {},
   "source": [
    "# Scrape Stories from HSPV NRW\n",
    "\n",
    "Scrape German Corona stories from HSPV NRW (University of Applied Sciences for the Police and Public Administration Nordrhrein Westfalen [German State]): https://www.hspv.nrw.de/services/corona-krise/corona-geschichten.\n",
    "\n",
    "The stories are written by staff and students of the university.\n",
    "\n",
    "The stories are stored in dictionaries with the following fields:\n",
    "\n",
    "- `link`: The link of the story page (string)\n",
    "- `title`: The title of the story page (string; is the same for all stories)\n",
    "- `author`: The author of the story (string)\n",
    "- `date`: The when the story was published (string)\n",
    "- `description`: The introductory text giving some background info on story (string)\n",
    "- `story_text`: The main text of the story (string)\n",
    "\n",
    "The web pages containing the stories are stored as `.html`. The notebook requires a folder at `DATA_DIR`."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "id": "963a3fad-054f-4a57-8276-eea6caf6c931",
   "metadata": {},
   "outputs": [],
   "source": [
    "\"\"\" Scrape stories from HSPV NRW \"\"\"\n",
    "\n",
    "import os\n",
    "from urllib.request import Request, urlopen\n",
    "from bs4 import BeautifulSoup"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "id": "45e93a3d-e70c-4f42-ad88-da599e02e9f4",
   "metadata": {},
   "outputs": [],
   "source": [
    "# Set URL of the main page containing the links to the story pages\n",
    "\n",
    "URL = \"https://www.hspv.nrw.de/nachrichten/artikel/corona-geschichten\"\n",
    "\n",
    "# Define story page ids\n",
    "\n",
    "ID_STORIES = [\"01\", \"02\", \"03\", \"04\", \"05\", \"06\",\n",
    "              \"07\", \"08\", \"09\", \"10\", \"11\", \"12\", \"13\"]\n",
    "\n",
    "# Set directory for storing web pages\n",
    "\n",
    "DATA_DIR = \"../hspvnrw.de/scraped/\""
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "id": "de6f8a3c-9d0d-4600-bf1f-848b110efc2e",
   "metadata": {},
   "outputs": [],
   "source": [
    "def check_dir(data_dir):\n",
    "    \"\"\" Check if directory for saving web page exists \"\"\"\n",
    "    if not os.path.isdir(data_dir):\n",
    "        os.makedirs(data_dir)\n",
    "        print(f\"Created saving directory at {data_dir}\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "id": "99d1e058-67d3-4b4e-bb0c-8d5740126b80",
   "metadata": {},
   "outputs": [],
   "source": [
    "def load_web_page(url, file_name, data_dir):\n",
    "    \"\"\" Check if web page can be loaded from disk;\n",
    "    otherwise fetch website and save as .html to disk \"\"\"\n",
    "    check_dir(data_dir)\n",
    "    if os.path.exists(file_name):\n",
    "        with open(file_name, \"r\", encoding=\"utf-8\") as file:\n",
    "            page = file.read()\n",
    "        print(f\"Loaded web page from {file_name}\")\n",
    "    else:\n",
    "        req = Request(url, headers={\"User-Agent\": \"Mozilla/5.0\"})\n",
    "        page = urlopen(req).read()\n",
    "        with open(file_name, \"w\", encoding=\"utf-8\") as file:\n",
    "            file.write(page.decode())\n",
    "        print(f\"Saved web page to {file_name}\")\n",
    "    return page"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "id": "c72e676d-9d6f-42ee-a08d-e9fa50bba11c",
   "metadata": {},
   "outputs": [],
   "source": [
    "def extract_text_from_url(url):\n",
    "    \"\"\" Extract text from story pages \"\"\"\n",
    "    new_file_name = DATA_DIR + url.split(\"-\")[-1] + \".html\"\n",
    "    new_page = BeautifulSoup(load_web_page(\n",
    "        url, new_file_name, DATA_DIR), \"html.parser\")\n",
    "    new_title = new_page.title.string\n",
    "    new_author = new_page.find(\"meta\", property=\"og:author\")[\"content\"]\n",
    "    new_date = new_page.find(\"time\", attrs={\"itemprop\": \"date\"}).string\n",
    "    new_description = new_page.find(\n",
    "        \"meta\", property=\"og:description\")[\"content\"]\n",
    "    new_story_text = new_page.find(\n",
    "        \"div\", attrs={\"class\": \"ce-textpic ce-h-left ce-v-above\"}).text\n",
    "\n",
    "    new_doc = {\n",
    "        \"link\": url,\n",
    "        \"title\": new_title.split(\"#WirmeisterndieKrise \")[-1].split(\" | HSPV NRW\")[0],\n",
    "        \"author\": new_author,\n",
    "        \"date\": new_date,\n",
    "        \"description\": new_description,\n",
    "        \"story_text\": new_story_text\n",
    "    }\n",
    "    print(f\"Extracted text from: {url}\")\n",
    "\n",
    "    return new_doc"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "id": "a34b050d-6053-4193-b729-9a9dae5edccb",
   "metadata": {},
   "outputs": [],
   "source": [
    "def extract_texts_from_url_ids(url, ids):\n",
    "    \"\"\" Wrapper to for list of story pages \"\"\"\n",
    "    docs = []\n",
    "    for id in ids:\n",
    "        docs.append(extract_text_from_url(f\"{url}-{id}\"))\n",
    "\n",
    "    print(\"Done\")\n",
    "\n",
    "    return docs"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "id": "e3f7c6ef-5428-4927-8dd0-8a4549222ffc",
   "metadata": {},
   "outputs": [],
   "source": [
    "def print_doc(doc):\n",
    "    \"\"\" Print doc \"\"\"\n",
    "    for field in doc.keys():\n",
    "        print(field + \": \" + doc[field] + \"\\n\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "id": "8d3e60f9-4a82-485f-b15c-f665178b8e55",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Loaded web page from ../hspvnrw.de/scraped/01.html\n",
      "Extracted text from: https://www.hspv.nrw.de/nachrichten/artikel/corona-geschichten-01\n",
      "Loaded web page from ../hspvnrw.de/scraped/02.html\n",
      "Extracted text from: https://www.hspv.nrw.de/nachrichten/artikel/corona-geschichten-02\n",
      "Loaded web page from ../hspvnrw.de/scraped/03.html\n",
      "Extracted text from: https://www.hspv.nrw.de/nachrichten/artikel/corona-geschichten-03\n",
      "Loaded web page from ../hspvnrw.de/scraped/04.html\n",
      "Extracted text from: https://www.hspv.nrw.de/nachrichten/artikel/corona-geschichten-04\n",
      "Loaded web page from ../hspvnrw.de/scraped/05.html\n",
      "Extracted text from: https://www.hspv.nrw.de/nachrichten/artikel/corona-geschichten-05\n",
      "Loaded web page from ../hspvnrw.de/scraped/06.html\n",
      "Extracted text from: https://www.hspv.nrw.de/nachrichten/artikel/corona-geschichten-06\n",
      "Loaded web page from ../hspvnrw.de/scraped/07.html\n",
      "Extracted text from: https://www.hspv.nrw.de/nachrichten/artikel/corona-geschichten-07\n",
      "Loaded web page from ../hspvnrw.de/scraped/08.html\n",
      "Extracted text from: https://www.hspv.nrw.de/nachrichten/artikel/corona-geschichten-08\n",
      "Loaded web page from ../hspvnrw.de/scraped/09.html\n",
      "Extracted text from: https://www.hspv.nrw.de/nachrichten/artikel/corona-geschichten-09\n",
      "Loaded web page from ../hspvnrw.de/scraped/10.html\n",
      "Extracted text from: https://www.hspv.nrw.de/nachrichten/artikel/corona-geschichten-10\n",
      "Loaded web page from ../hspvnrw.de/scraped/11.html\n",
      "Extracted text from: https://www.hspv.nrw.de/nachrichten/artikel/corona-geschichten-11\n",
      "Loaded web page from ../hspvnrw.de/scraped/12.html\n",
      "Extracted text from: https://www.hspv.nrw.de/nachrichten/artikel/corona-geschichten-12\n",
      "Loaded web page from ../hspvnrw.de/scraped/13.html\n",
      "Extracted text from: https://www.hspv.nrw.de/nachrichten/artikel/corona-geschichten-13\n",
      "Done\n"
     ]
    }
   ],
   "source": [
    "# Extract texts from links\n",
    "\n",
    "docs = extract_texts_from_url_ids(URL, ID_STORIES)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "id": "4bf3f211-b1b0-42cf-8c4d-e7a355338798",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "link: https://www.hspv.nrw.de/nachrichten/artikel/corona-geschichten-01\n",
      "\n",
      "title: Ich freue mich, wenn wir uns wiedersehen!\n",
      "\n",
      "author: Prof. Dr. Dorothee Dienstbühl\n",
      "\n",
      "date: 29. Januar 2021\n",
      "\n",
      "description: Prof. Dr. Dorothee Dienstbühl, hauptamtlich Lehrende am Studienort Mülheim an der Ruhr, berichtet, wie sie ihren Alltag während der Corona-Krise meistert und den Wechsel zur Online-Lehre erlebt hat.\n",
      "\n",
      "story_text: Diese Zeit ist wirklich verrückt. Noch vor einem Jahr war für mich nicht absehbar, was eine Pandemie bedeutet und wie sehr sie in unser aller Leben eingreift. Der erste Lockdown und die Umstellung auf Online-Lehre fielen mir persönlich sehr schwer, denn ich gehöre nicht zu den besonders technikversierten Menschen, absolut nicht. Entsprechend besorgt war ich, ob ich online eine vernünftige Lehre gestalten kann. Irgendwie haben wir, die Studierenden und ich, uns gemeinsam durch diese neue Erfahrung gearbeitet.Im Sommer wieder in Präsenz zu prüfen und im September mit Präsenzlehre zu starten, tat richtig gut: Den Kolleginnen und Kollegen leibhaftig und zufällig zu begegnen oder sich wieder spontan auszutauschen. Gerade weil das Selbstverständliche eben nicht (mehr) selbstverständlich ist, würdige ich es mehr. Ich glaube, das geht uns allen so.Nun sind wir wieder in der Online-Lehre – schon erfahrener und routinierter. Ob mit Zoom oder Adobe, es funktioniert doch insgesamt gut. Natürlich fehlt uns allen abseits des Studienbetriebs viel – und vieles bereitet Sorgen. Wir haben das Glück, in dieser Zeit nicht unsere Existenz bedroht zu sehen. Nichtsdestotrotz tut mir die Situation für unsere Studentinnen und Studenten leid. Gerade das Studium ist eine besondere Zeit des Kennenlernens. Online-Kurse können zudem schnell langweilig werden. So fordert mich der Unterricht nun anders heraus. Ich probiere ein wenig aus, um die Lehrveranstaltungen abwechslungsreicher zu gestalten und merke im Feedback, was funktioniert und was nicht. Die Kurse verhalten sich dabei toll und helfen mit. Dafür ein großes Dankeschön!Und wirklich schön ist, dass ich die Menschen nochmal anders kennenlerne: Hier winkt die Tochter eines Studenten in die Kamera, da sitzen die Kinder bei einer Studentin im selben Raum und lernen, einmal erlebe ich live die Freude einer Mutter darüber, dass die Corona-Tests der Familie allesamt negativ sind. Und auch die Haustiere bringen sich belebend ein, sei es, dass ein Collie seinem Herrchen spontan Küsschen gibt oder eine schwarze Katze beschließt, sie sei vorzeigbar genug, um einmal vor der Kamera auf und ab zu laufen – übrigens völlig zu Recht. Meinen Hund kennen einige Kurse ebenfalls schon. Oder es klingelt an der Tür und ich rufe: „Überlegen Sie weiter, ich bin gleich wieder da!“ – und renne zur Tür. All diese Kleinigkeiten lassen uns schmunzeln und machen uns trotz der Distanz nahbar.Auch kollegial sind wir in der Feierabendgestaltung experimentierfreudig: Ob ein Gespräch mit der lieben Kollegin bei einem Glas Wein via Zoom oder eine Runde „Stadt, Land, Tod“ (sehr unterhaltsam!) per Videochat – wir suchen und finden Gutes in der aktuellen Lage. Und wir haben den Luxus, das tatsächlich tun zu können. Für die Unterstützung, die ich von den Kolleginnen und Kollegen aus unserer Verwaltung in Mülheim erfahre, und die umsichtige Arbeit des Krisenstabs möchte ich hier einfach „Danke!“ sagen.Alles hat seine Zeit. Und ich freue mich sehr darauf, wenn wir uns wiedersehen und drücke solang die Daumen, dass wir alles gut überstehen.\n",
      "\n"
     ]
    }
   ],
   "source": [
    "# Show example doc\n",
    "\n",
    "print_doc(docs[0])"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "navigating-stories",
   "language": "python",
   "name": "navigating-stories"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.9.7"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}