04_AnaliseDoTexto.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# O que o twitter está pensando?\n",
    "\n",
    "# Extraindo informações em redes sociais utilizando Python\n",
    "\n",
    "`> por: `[@profadolfoguimaraes](http://www.twitter.com/profadolfoguimaraes)\n",
    "\n",
    "Estes tutoriais apresentam os principais scritps desenvolvidos no minicurso: **O que o twitter está pensando? Extraindo informações em redes sociais utilizando Python**. O conteúdo está dividio em dois repositórios: (1) [d2l-minicursotwitter-notebook](http://github.com/adolfoguimaraes/d2l-minicursotwitter-notebook) que possui estes notebooks e (2) [d2l-minicursotwitter-web](http://github.com/adolfoguimaraes/d2l-minicursotwitter-web) que possui a página web desenvolvida.\n",
    "\n",
    "O material completo do minicurso pode ser encontrado em: http://www.data2learning.com/cursos."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# 04 - Análise de Texto\n",
    "\n",
    "O exemplo a seguir ilustra o uso de ferramentas de análise e extração de informações de textos. No exemplo, iremos usar a ferramenta de *Natural Language Understanding* do IBM Watyson. Para usar a API é necessário se cadastrar no [IBM Cloud](https://www.ibm.com/cloud/). Detalhes em como usar a ferramenta estão disponíveis em: https://www.ibm.com/watson/developercloud/natural-language-understanding/api/v1/. Outros grandes players como Google, Microsoft e Amazon possui ferramentas semelhantes. Normalmente, o seu uso tem um custo, mas muitas delas fornecem uso limitado sem cobrança.  \n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "O primeiro passo é instalar o pacote `watson-developer-cloud`. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "!pip install --upgrade watson-developer-cloud"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Em seguida, devemos instanciar a classe `NaturalLanguageUnderstandingV1`. Os atributos `username` e `password` devem ser gerados a partir de sua conta da IBM Cloud no momento da criação do serviço de *Natural Language Understanding*. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "import json\n",
    "from watson_developer_cloud import NaturalLanguageUnderstandingV1\n",
    "from watson_developer_cloud.natural_language_understanding_v1 \\\n",
    "  import Features, EntitiesOptions, KeywordsOptions\n",
    "\n",
    "natural_language_understanding = NaturalLanguageUnderstandingV1(\n",
    "  username='username',\n",
    "  password='password',\n",
    "  version='2018-10-18')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Em seguida, definimos uma função que dado um texto usa a API do IBM Watson para fazer a análise do texto. O retorno é um json com o resultado da análise. O parâmetros da análise e o que é retornado pelo método estão descritos na documentação da API disponível [neste link](https://www.ibm.com/watson/developercloud/natural-language-understanding/api/v1/)."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "def analyse_text(text): \n",
    "    \n",
    "    print(\"Texto: %s\" % text )\n",
    "    \n",
    "    response = natural_language_understanding.analyze(\n",
    "    text=text,\n",
    "    features=Features(\n",
    "        entities=EntitiesOptions(\n",
    "            emotion=True,\n",
    "            sentiment=True\n",
    "        ),\n",
    "        keywords=KeywordsOptions(\n",
    "            emotion=True,\n",
    "            sentiment=True\n",
    "        )\n",
    "    )\n",
    "    ).get_result()\n",
    "    \n",
    "    return response;\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "O método `print_result` recebe como parâmetro o retorno do método anterior e imprime informações relevantes do resultado da análise."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "def print_result(response):\n",
    "    \n",
    "    print(\"Language: %s\" % response['language'])\n",
    "    print(\"\")\n",
    "    print(\"Keywords\")\n",
    "    for keyword in response['keywords']:\n",
    "        \n",
    "        print(\"\\t%s (%s, %f)\" % (keyword['text'], keyword['sentiment']['label'], keyword['relevance']))\n",
    "    \n",
    "    print(\"\")\n",
    "    print(\"Entities\")\n",
    "    for entitie in response['entities']:\n",
    "        \n",
    "        print(\"\\t%s (%s, %s)\" % (entitie['text'], entitie['type'], entitie['sentiment']['label'] ))\n",
    "    "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Exemplo"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "text = 'IBM is an American multinational technology company ' \\\n",
    "       'headquartered in Armonk, New York, United States, ' \\\n",
    "       'with operations in over 170 countries.'"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "response = analyse_text(text)\n",
    "print_result(response)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Podemos passar um texto em portugês. No entanto, o reconhecimento é mais preciso no texto em inglês, mas de forma geral funciona bem. Vejamos o exemplo a seguir:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "text_pt = \"O Brasil passa por um momento muito difícil. A polarizada disputa entre \" \\\n",
    "            \"os principais candidatos a presidência, Fernando Haddad e Jair Bolsonaro, \" \\\n",
    "            \"tem gerado muita discussão e disseminação de fake news na internet.\""
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "response = analyse_text(text_pt)\n",
    "print_result(response)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "É isso. Esse é um material inicial de análise de texto. Pretendo ao longo das execuções deste minicurso ir ampliando cada vez mais essa parte do material. Acompanhe as atualizações no repositório. Qualquer dúvida ou sugestão, só entrar em contado: [@profadolfoguimaraes](http://www.instagram.com/profadolfoguimaraes) ou [adolfo@data2learning.com](mailto:adolfo@data2learning.com)."
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.0"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}