Skip to content

Commit

Permalink
修改readme
Browse files Browse the repository at this point in the history
  • Loading branch information
zjhellofss committed Jul 14, 2024
1 parent 2c63f3b commit 361b956
Showing 1 changed file with 61 additions and 3 deletions.
64 changes: 61 additions & 3 deletions README.md
Original file line number Diff line number Diff line change
@@ -1,11 +1,69 @@

# KuiperInfer (自制深度学习推理框架)
**🙋🙋🙋 全新课程,本项目的进阶版-自制大模型推理框架,火热进行中,请加下方微信了解**

> 带你从零写一个支持LLama推理,支持Cuda加速的大模型框架
我们在本项目的基础上开设了一个全新的课程,《从零自制大模型推理框架》,以下是目录,感兴趣的同学可以扫描二维码了解。

<img src="imgs/me.jpg" width="30%" height="30%">

**一、项目整体架构和设计**

> 学习架构思维,防止自己只会优化局部实现
1. 环境的安装和课程简介
2. 资源管理和内存管理类的设计与实现
3. 张量类的设计与实现
4. 算子类的设计与实现
5. 算子的注册和管理

**二、支持LLama2模型结构**
> 本节将为大家补齐算法工程师思维,在算法层面讲解大模型和Transformer的原理之后,开始对LLama2进行支持

6. LLama模型的分析
7. MMap内存映射技术打开大模型的权重文件
8. LLama模型文件的参数和权重载入
9. LLama中各个层的初始化以及输入张量、权重张量的分配和申请
10. 实现大模型中的KV Cache机制

**三、模型的量化**

> 为了减少显存的占用,我们开发了int8模型量化模块
11. 量化模型权重的导出
12. 量化系数和权重的加载
13. 量化乘法算子的实现

**四、Cuda基础和算子实现**

> 带你学Cuda并在实战大模型算子的实现,为大模型推理赋能
14. Cuda基础入门1 - 内容待定
15. Cuda基础入门2 - 内容待定
16. Cuda基础入门3 - 内容待定
17. Cuda基础入门4 - 内容待定
18. RMSNorm算子的Cuda实现
19. Softmax算子的Cuda实现
20. Add算子的Cuda实现
21. Swiglu算子的Cuda实现
22. GEMV算子的Cuda实现
23. 多头注意力机制的Cuda实现
24. 让框架增加Cuda设备的支持和管理
25. 完成Cuda推理流程

**五、用推理框架做点有趣的事情**

26. 文本生成
27. 讲一段小故事
28. 让大模型和你进行多轮对话


**六、学习其他商用推理框架的实现,查漏补缺**

29. LLama.cpp的设计和实现讲解
30. Miopen(AMD出品,对标CUDNN)的设计和实现讲解
31. 总结



![](https://github.com/zjhellofss/kuiperinfer/actions/workflows/cmake.yml/badge.svg)

![](./imgs/logo.jpg)
Expand Down

0 comments on commit 361b956

Please sign in to comment.