01 - BIGDATA.ipynb

{"nbformat":4,"nbformat_minor":0,"metadata":{"colab":{"name":"01 - BIGDATA.ipynb","provenance":[],"collapsed_sections":[],"toc_visible":true,"authorship_tag":"ABX9TyO/91G2uTFFPXJxLzO15hgP"},"kernelspec":{"name":"python3","display_name":"Python 3"}},"cells":[{"cell_type":"code","metadata":{"id":"X9cTq4s9H0QO"},"source":["!wget --no-cache -O init.py -q https://raw.githubusercontent.com/UDEA-Esp-Analitica-y-Ciencia-de-Datos/EACD-03-BIGDATA/master/init.py\n","import init; init.init(force_download=False); \n","from IPython.display import Image"],"execution_count":null,"outputs":[]},{"cell_type":"code","metadata":{"id":"cHBPUbmDH6Sa"},"source":["Image(\"local/imgs/udea-datascience.png\")"],"execution_count":null,"outputs":[]},{"cell_type":"markdown","metadata":{"id":"TprnNg27H8_I"},"source":["#**BIGDATA**"]},{"cell_type":"markdown","metadata":{"id":"EV6yvUH5fHjy"},"source":["#**Introducción**"]},{"cell_type":"markdown","metadata":{"id":"zkDbyDtAfiIb"},"source":["**Qué es Big Data?**\n","\n","\"Conjunto de **técnicas** que permiten **analizar, procesar y gestionar** conjuntos de datos **extremadamente grandes** que pueden ser analizados informáticamente para **revelar patrones, tendencias y asociaciones**, especialmente en relación con la conducta humana y las interacciones con los usuarios\"\n","\n","Tomado de: https://dej.rae.es/lema/big-data"]},{"cell_type":"markdown","metadata":{"id":"RWaC35remFmc"},"source":["**Las Vs del Big Data**\n","\n","Las características que debe tener un proyecto para que sea considerado como Big Data se definen en función de palabras que empiezan por la letra V.\n","Las Vs principales del Big Data son:\n","* Volumen\n","* Velocidad\n","* Variedad"]},{"cell_type":"code","metadata":{"id":"hmSmiwzxnCxD"},"source":["Image(\"local/imgs/bigData3.png\")"],"execution_count":null,"outputs":[]},{"cell_type":"markdown","metadata":{"id":"GspHhuxpnHJ6"},"source":["Con el tiempo se han ido adicionando otras características, al punto que hoy se puede hablar de alrededor de 10 características"]},{"cell_type":"code","metadata":{"id":"tAPVtmYEnZZP"},"source":["Image(\"local/imgs/bigData10.png\")"],"execution_count":null,"outputs":[]},{"cell_type":"markdown","metadata":{"id":"lv9_DdAOn_FL"},"source":["**¿De dónde salen tantos datos?**\n","\n","Existen múltiples fuentes de generación de datos que han dado origen a proyectos de Big Data.\n","\n","Vamos a resaltar las siguientes fuentes de generación de datos:\n","* Redes sociales y aplicaciones\n","* IoT"]},{"cell_type":"markdown","metadata":{"id":"75V-nsRcosWs"},"source":["##**Redes sociales y aplicaciones**\n","\n","Con la masificación del Internet y la acogida de los dispositivos móviles, entre otros factores, aparecen una gran cantidad de aplicaciones y redes sociales que generan grandes volúmenes de datos con una velocidad de generación impresionante.\n","\n","¿Te has preguntado qué pasa en un minuto en Internet?\n"]},{"cell_type":"code","metadata":{"id":"6iAP--rtpa67"},"source":["Image(\"local/imgs/minutoInternet2019.png\")"],"execution_count":null,"outputs":[]},{"cell_type":"markdown","metadata":{"id":"o4DmWO61p0zL"},"source":["##**Internet de las cosas (IoT)**\n","\n","Tres letras que lo están cambiando todo\n","\n","**Antes:** Los seres humanos eran quienes capturaban la información y la subían a internet\n","\n","**Ahora:** Las cosas (dispositivos instalados sobre cualquier objeto físico, con capacidad de medición y comunicación) se encargan de capturar y subir la información a internet.\n","\n","La siguiente imagen presenta una arquitectura general para IoT\n","\n"]},{"cell_type":"code","metadata":{"id":"godjzwoGqPc2"},"source":["Image(\"local/imgs/iot.png\")"],"execution_count":null,"outputs":[]},{"cell_type":"markdown","metadata":{"id":"kRrXdiWmrmkU"},"source":["#**Arquitecturas de Big Data**\n","\n","Los nuevos desafíos que trae consigo Big Data han generado evolución en diversas áreas, entre ellas, los sismas de información.\n","\n","Veníamos acostumbrados a trabajar en sistemas centralizados en los cuales tanto almacenamiento como procesamiento dependían de una sola máquina.\n","\n","Big Data propone una arquitectura diferente en la que pasamos de sistemas centralizados a sistemas de almacenamiento y procesamiento distribuidos"]},{"cell_type":"code","metadata":{"id":"AuNo4ta1sZL_"},"source":["Image(\"local/imgs/arquitectura.png\")"],"execution_count":null,"outputs":[]},{"cell_type":"markdown","metadata":{"id":"7gLUF7njtL6S"},"source":["Ese cambio de arquitectura trae consigo la necesidad de que los sistemas sean escalables, y esa escalabilidad se realiza de manera horizontal de modo que si se requiere mayor procesamiento o almacenamiento basta con adicionar más máquinas."]},{"cell_type":"markdown","metadata":{"id":"9t7pxTQ1fRKU"},"source":["#**Datos**\n","\n","Los datos son la materia prima del Big Data y pueden entenderse como una representación simbólica de la información, en términos generales pueden clasificarse en:\n","\n","* Estructurados\n","* Semi estructurados\n","* No estructurados\n","\n","Existen diversas formas de almacenar los datos"]},{"cell_type":"code","metadata":{"id":"OzUUNpGIu9tT"},"source":["Image(\"local/imgs/nosql.png\")"],"execution_count":null,"outputs":[]},{"cell_type":"markdown","metadata":{"id":"l6RrIQmfu4YZ"},"source":["Las bases de datos NoSQL son ampliamente utilizadas en sistemas de Big Data entre otros factores debido al rendimiento que proporcionan y a la posibilidad de distribuir los datos \n"]},{"cell_type":"markdown","metadata":{"id":"Cutt0tV9fUt7"},"source":["#**Aplicaciones**\n","\n","Big Data se puede aplicar a cualquier área en la que se disponga de grandes volúmenes de datos generados a gran velocidad y con variedad de los mismos (representados en diferentes formatos)"]},{"cell_type":"markdown","metadata":{"id":"nXA3a1OOwfKE"},"source":["Los siguientes enlaces presentan aplicaciones reales de Big Data en distintas áreas como deporte, política y entretenimiento\n","\n","https://www.youtube.com/watch?v=-4R3m4ybDz4\n","\n","https://www.youtube.com/watch?v=DXq30dvE0Xg\n","\n","https://www.youtube.com/watch?v=EKmWMjvWFPg\n","\n","https://www.youtube.com/watch?v=ku78zo9fhoI\n","\n","https://www.dw.com/es/predecir-el-futuro-con-el-big-data/av-17816690\n","\n","https://www.estrategiasdeinversion.com/analisis/bolsa-y-mercados/el-experto-opina/el-big-data-nos-ayuda-a-predecir-el-comportamiento-n-323203\n","\n","https://www.youtube.com/watch?v=fO7G6gRFLLM\n","\n","https://www.youtube.com/watch?v=ImN4FTarqfo&t=53s\n","\n","https://www.youtube.com/watch?time_continue=162&v=s6-jmMNioes\n","\n"]}]}