proyecto-product-dev

Dataset: https://www.kaggle.com/pavanraj159/predicting-a-pulsar-star

Machine Learning as a service

Objetivos

• Utilizar plumber para crear un API que sirva para consumir un modelo de machine learning.
• Usar shiny apps para controlar la experimentación y reportería del endpoint.

Entregables

• Trabajo escrito
  • Explicación de la data
  • Explicación de los modelos
  • Documentacion de los endpoints
  • Video 2:30 min
• End points
  • El primero servirá para hacer la predicción de una sola línea.
  • El segundo debe de poder procesar la data en batches.
  • El tercero se usará para cargar data de test y tiene que devolver las métricas de performance o parte de un shinny app.
  • Para clasificación
  • Matriz de confusión
  • AUC
  • ROC
  • Accuracy
  • Precision
  • Recall
  • Specificity
  • Para regresion
  • Mean Absolute Error
  • Root Mean Square Error
  • Mean Square Error
  • Logs
  • Usuario (No es necesario password)
  • Endpoint que se llamo
  • User agent
  • Timestamp
  • El modelo utilizado.
  • El payload
  • El output
  • Test files
    • Cada endpoint tiene que tener documentado cómo probarlo.
  • Los primeros dos endpoint tienen que tener habilitada la opción de hacer A/B testing entre dos algoritmos.
  • Un shiny app en el que se podrán observar y filtrar los logs así como estadísticas de performance de los modelos.
  • Crear un script que simule el uso de los endpoints para diferentes entradas.

Entrega: 16 diciembre 23:59

En parejas.