-DeepLearning

介绍：

我的深度学习之旅

从经典的深度学习算法出发，一步一步深入。

从原理入门，到小demo实践，是你打开深度学习大门的不二人选。

从自己理解出发，加上整合网上优秀资料，打造贴心的学习路线。

内容：

目前的框架的学习路线：MP -> BP -> RNN -> LSTM -> Transformer 代码都是手搓实现，仅使用numpy等基础工具件，不涉及pytorch/cuda/tensflow等，对新手友好。

新增加Optimizer优化器内容。

叮嘱：

不同的深度学习算法，差别只在于不同的参数框架。本质都是利用反向传播进行梯度下降。

不同的深度学习算法，差别只在于不同的参数框架。本质都是利用反向传播进行梯度下降。

不同的深度学习算法，差别只在于不同的参数框架。本质都是利用反向传播进行梯度下降。

要理解深度学习的精髓。

参考：(⭐为推荐阅读指数)

入门知识：

• ⭐⭐⭐深度学习概论
• ⭐分类模型评估指标
• ⭐⭐模型评估指标

基础知识：

• ⭐⭐⭐反向传播的数学推导
• ⭐⭐⭐反向传播的代码实现
• ⭐⭐Optimizer优化器

MP：

• ⭐⭐一切的起源——MP
• ⭐⭐MP代码实现

RNN:

• ⭐⭐介绍与定义
• ⭐⭐数学推导+代码

LSTM:

• ⭐⭐LSTM原理 浅显版本
• ⭐⭐LSTM原理+数学+代码（PS：链接代码有些许bug）

Transformer 框架学习：

• ⭐⭐理论学习
• ⭐Llama源码解析

大模型：

• ⭐⭐了解分布式训练模型

其他

.ipynb 文件形式的 demo 可以在 colab 上实践使用。

$\surd$

Feature：

Description	State
优化代码结构，解耦	✓ 已完成
LSTM: 可自定义隐藏层深度	✓ 已完成
LSTM: 解耦隐藏层的 state_width 与 输出层 output_width	✗ 未完成(存在技术上的困难)
添加 Transformer or GPT 模型的手搓代码内容	✗ 未完成
Optimizer优化器介绍与代码	✓ 已完成