Escuela de verano de aprendizaje profundo 2019

Este repositorio contiene el material de los cursos de la Escuela de verano en aprendizaje profundo, en la cual se abordarán los fundamentos y arquitecturas más importantes de redes neuronales con prácticas de programación. Puedes descargalo comprimido o clonarlo con Git.

Requisitos

La mayoría de las prácticas de los talleres se desarrollarán en Python 3.7+ usando la biblioteca Tensorflow 2.0, que adopta Keras como interfaz de alto nivel para construir y entrenar redes neuronales.

Cosas para preparar

• Una laptop
• Este repositorio de GitHub clonado y actualizado antes del taller
• Un sentido aventurero en los datos
• Un ambiente Python 3.7+ con Anaconda (ver opciones 1 y 2 abajo)

Los talleres serán impartidos usando notebooks de Jupyter, documentos con código ejecutable, texto, ecuaciones, visualizaciones, imágenes y demás material. Los notebooks se pueden crear y ejecutar en la nube via Google Colab (opción 1) o de manera local en tu computadora a través de Jupyter Notebooks (opción 2).

Opcion 1: Google Colab

Colab es un servicio de Google para ejecutar notebooks en la nube. Provee ambientes de Python 2 y 3 con CPUs, GPUs y TPUs. ¡Y es gratis! Solo necesitas tener una cuenta de Google o crear una.

Recomendamos que elijas un ambiente con Python 3 y GPU. Para activarlo:

• Abre el menú Entorno de ejecución
• Elige la opción Restablecer todos los entornos de ejecución... .
• Vuelve a abrir Entorno de ejecución
• Elige Cambiar tipo de entorno de ejecución
• Selecciona Python 3 como Tipo de ejecución y GPU de la lista de Acelerador por hardware

La siguiente captura de pantalla ilustra este proceso.

En Colab puedes crear un nuevo notebook, subir uno existente desde tu computadora o importarlo de Google Drive o GitHub.

Opcion 2: Ambiente local

Para tener la versión de Python 3.7+ y todas las bibliotecas instaladas en cualquier plataforma, recomendamos que uses Anaconda y generes un ambiente con el archivo environment.yml de este repositorio usando una terminal y el comando:

conda env create -n escueladl -f environment_cpu.yml

Cambia el nombre escueladl por tu nombre favorito para el ambiente. Si cuentas con un GPU Nvidia y deseas aprovecharlo cambia el archivo environment_cpu.yml a environment_gpu.yml.

Para activar el ambiente que creaste, en una terminal ingresa el comando

conda activate escueladl 

Una vez activado, puedes ejecutar la aplicación de Jupyter Notebook

jupyter notebook

Este comando abrirá una pestaña o ventana en tu navegador web, como se muestra en la siguiente captura de pantalla:

Al igual que en Google Colab, puedes crear un nuevo notebook seleccionando el botón New y posteriormente Python 3. De forma alternativa, puedes abrir uno existente seleccionando el archivo del notebook (con extensión .ipynb) dentro del directorio donde ejecutaste Jupyter Notebook. Con el botón Upload agregas archivos que se encuentran en otra parte de tu computadora a este directorio. Para cerrar Jupyter Notebook, presiona el botón Quit y posteriormente cierra la pestaña o ventada de tu navegador web.

Para desactivar el ambiente escueladl de Anaconda simplemente haz

conda deactivate 

Conjuntos de datos usados durante la escuela

• Fashion MNIST
• Calificaciones. Fuente: Online Stat Book
• Dogs vs Cats. Fuente: Kaggle
• Breast Cancer Histopatology
• ATLAS Higgs Boson
• Firmas moleculares
• CONLL 2018
• ZINC15

Para seguir explorando el aprendizaje profundo

Si deseas profundizar y continuar practicando, estos son algunos recursos disponibles en Internet.

¿Qué puedo usar para programar redes neuronales profundas?

• Tensorflow
• Pytorch
• Caffee 2
• CNTK
• Apache MXNet
• LightGBM
• Useful extra functionality for TensorFlow 2.0

¿Dónde puedo obtener otros conjuntos de datos?

• Datos del gobierno
• Repositorio de UCI
• Kaggle
• ImageNet
• ImageNet Object Localization Challenge

¿Dónde puedo aprender más sobre teoría y práctica?

• Libros
  • Deep Learning de Ian Goodfellow, Aaron Courille y Yoshua Bengio
  • Neural Networks and Deep Learning de Michael Nielsen
  • Deep Learning with Python de Francois Chollet
• Cursos de en línea
  • Practical Deep Learning for Coders, v3 de fast.ai
  • Deep Learning Specialization de Andrew Ng
  • CS231n: Convolutional Neural Networks for Visual Recognition
• Congresos
  • International Conference on Representation Learning
  • Neural Information Processing Systems (NIPS)
  • International Conference on Machine Learning (ICML)
• Blogs
  • Blog de Chris Olah
    • Understanding LSTM Networks
    • Neural Networks, Manifolds, and Topology
    • Visual Information Theory
    • Visualizing MNIST
  • Blog de Andrej Karpathy
    • A Recipe for Training Neural Networks
    • What a Deep Neural Network thinks about your #selfie
    • Lessons learned from manually classifying CIFAR-10
    • What I learned from competing against a ConvNet on ImageNet
    • The Unreasonable Effectiveness of Recurrent Neural Networks
    • Breaking Linear Classifiers on ImageNet
  • Blog de Sebastian Ruder
    • Optimization for Deep Learning Highlights in 2017
    • An overview of gradient descent optimization algorithms
  • blog de fast.ai
    • AdamW and Super-convergence is now the fastest way to train neural nets
  • New Theory Cracks Open the Black Box of Deep Learning
  • Epoch vs Batch Size vs Iterations
• Artículos
  • distill.pub
    • The Building Blocks of Interpretability
    • GAN Open Problems
    • Attention and Augmented Recurrent Neural Networks
  • ImageNet Classification with Deep ConvolutionalNeural Networks
  • Regularization of Neural Networks using DropConnect
  • You Only Look Once: Unified, Real-Time Object Detection
  • Regularization of Neural Networks using DropConnect
• Videos
  • ¿Pero qué es una red neuronal?
  • Inside a Neural Network
  • Neural Netowrks that Changes Everything
  • What is backpropagation really doing?
  • Machine Learning from Zero to Hero
• Notebooks
  • Machine Learning Notebooks
  • Deep Learning with Python