Skip to content

Material del curso de Deep Learning de la Universidad de Chile

Notifications You must be signed in to change notification settings

dccuchile/CC6204

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

CC6204 Deep Learning

Curso introductorio (en español) al área de aprendizaje basado en redes neuronales profundas, comúnmente conocida como Deep Learning. Durante el curso aprenderán la teoría detrás de los modelos de Deep Learning, su funcionamiento y usos posibles. Serán capaces de construir y entrenar modelos para resolver problemas reales.

Primavera 2020

Requerimientos

Organización del Curso

1. Fundamentos

Introducción, IA vs ML vs DL, ¿Por qué DL ahora? (video)

1.1. Redes neuronales modernas

  • Perceptrón, funciones de activación, y representación matricial (video)
  • UAT, Redes Feed-Forward, y función de salida (softmax) (video)
  • Descenso de Gradiente para encontrar los parámetros de una red (video)
  • Grafos de computación y el algoritmo de BackPropagation (video1, video2)
  • Tensores, Notación de Einstein, y Regla de la Cadena Tensorial (video)
  • Entropía Cruzada y Backpropagation a mano con Tensores (video)
  • Aspectos prácticos de entrenamiento y Red FF a mano en pytorch (video)

Readings: Chapter 2. Lineal Algebra, Chapter 3. Probability and Information Theory, Chapter 6. Deep Feedforward Networks

1.2. Inicialización, Regularización y Optimización

  • Generalización, Test-Dev-Train set y Regularización (video)
  • Ensemble, Dropout, y Desvanecimiento de Gradiente (video)
  • Inicialización de parámetros y Normalización (video)
  • Algoritmos de Optimización, SGD con Momentum, RMSProp, Adam (video)

Readings: Chapter 7. Regularization for Deep Learning, Chapter 8. Optimization for Training DeepModels, Chapter 11. Practical Methodology

2. Redes Neuronales Convolucionales (CNN)

  • Introducción a Redes Convolucionales (video)
  • Arquitecturas más conocidas: AlexNet, VGG, GoogLeNet, ResNet, DenseNet (video1, video2, video3)

Readings: Chapter 9. Convolutional Networks, Chapter 12. Applications

3. Redes Neuronales Recurrentes (RNN)

  • Introducción a Redes Recurrentes (video)
  • Arquitectura de Redes Recurrentes (video)
  • Auto-regresión, Language Modelling, y Arquitecturas Seq-to-Seq (video)
  • RNNs con Compuertas y Celdas de Memoria: GRU y LSTM (video)

Readings: Chapter 10. Sequence Modeling: Recurrentand Recursive Nets, Chapter 12. Applications

4. Tópicos avanzados

  • Atención Neuronal (video)
  • Transformers (video)
  • Variational Autoencoders
  • Generative Adversarial Networks
  • Neural Turing Machine (NeuralTM)
  • Differentiable Neural Computers (DNC)

Readings: Chapter 14. Autoencoders, Chapter 20. Deep Generative Models

Libros

No hay ningún libro de texto obligatorio para el curso. Algunas conferencias incluirán lecturas sugeridas de "Deep Learning" de Ian Goodfellow, Yoshua Bengio, and Aaron Courville; sin embargo, no es necesario comprar una copia, ya que está disponible de forma gratuita en línea.

  1. Deep Learning by Ian Goodfellow, Yoshua Bengio, and Aaron Courville (bibliografía fundamental del curso)
  2. Dive into Deep Learning by Aston Zhang, Zachary C. Lipton, Mu Li, and Alexander J. Smola
  3. Deep Learning for Vision Systems by Mohamed Elgendy
  4. Probabilistic and Statistical Models for Outlier Detection by Charu Aggarwal
  5. Speech and Language Processing by Daniel Jurafsky and James Martin
  6. Notes on Deep Learning for NLP by Antoine J.-P. Tixier
  7. AutoML: Methods, Systems, Challenges edited by Frank Hutter, Lars Kotthoff, and Joaquin Vanschoren

Tutoriales

  1. Quickstart tutorial numpy
  2. DeepLearning con PyTorch en 60 minutos

Otros Cursos de DL

  1. Introduction to Deep Learning
  2. Deep learning course on Coursera by Andrew Ng
  3. CS231n course by Stanford University
  4. Courses by fast.ai

Videos

  1. Visualizing and Understanding Recurrent Networks
  2. More on Transformers: BERT and Friends by Jorge Pérez
  3. Atención neuronal y el transformer by Jorge Pérez

Otras Fuentes

  1. How To Improve Deep Learning Performance
  2. An Overview of ResNet and its Variants
  3. CNN Architectures: LeNet, AlexNet, VGG, GoogLeNet, ResNet and more
  4. Understanding LSTM Networks
  5. Attention Is All You Need
  6. Attention is all you need explained
  7. BERT exaplained

About

Material del curso de Deep Learning de la Universidad de Chile

Topics

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published