先进编译实验室编著的《程序性能优化理论与方法》（实操课程）以及《深度学习编译器设计》两本书籍所配套的文字课程、PPT课件以及配套code将陆续进行更新……同时也欢迎大家关注先进编译实验室的B站账号、知乎，添加微信小助手，加入交流群进行讨论学习，共同进步！！！

bilibili个人主页 知乎个人主页 微信名片

先进编译实验室团队长期致力于高性能计算、编译技术、程序优化等方向的科研工作。先后承研国家重大专项、核高基专项、973、863、自然科学基金等相关课题，在高性能计算、并行程序设计与优化、国产自主可控等相关领域已经形成了若干领先成果，曾获国家科技进步一等奖、省部级科技进步一等奖等奖项。在国内外超算及程序优化的竞赛中，多次获PAC全国并行应用挑战赛优化金奖、银奖、铜奖，ASC世界大学生超级计算机竞赛一等奖、二等奖、卓越奖，CPC国产并行应用挑战赛银奖、铜奖，IPCC-ACM中国国际并行计算挑战赛二等奖等。

本书及课程从计算机体系结构、编译系统、操作系统、作业管理等多角度，对程序实现中的算法、数据结构、程序设计语言特性、资源占用及程序运行过程等多维度，全面探讨程序性能优化的理论和方法。 本书适用于具备一定程序设计基础并致力于程序性能优化的程序设计人员，也可以作为高等教育计算机程序设计的学习使用，还可作为从事性能优化专业技术人员的参考书。

章节名称	视频课程	实操课程	课件源码
1 程序性能优化的意义	程序性能优化的意义(一) bilibili 程序性能优化的意义(二) bilibili		slide PDF
2 程序性能的度量指标及优化流程	程序性能的度量指标及优化流程 bilibili		slide PDF code
3 程序性能的分析和测量	程序性能的分析和测量(一) bilibili 程序性能的分析和测量(二) bilibili 程序性能的分析和测量(三) bilibili		slide PDF code
4 系统配置优化	系统配置优化(一) bilibili 系统配置优化(二) bilibili		slide PDF code
5 编译与运行优化	编译与运行优化(一) bilibili 编译与运行优化(二) bilibili 编译与运行优化(三) bilibili	编译器前端 bilibili 编译器中端 bilibili 编译器后端 bilibili 编译选项 bilibili 循环展开 bilibili 循环分布 bilibili知乎 循环剥离 bilibili知乎 过程间优化 bilibili 循环级向量化 bilibili知乎 基本块级向量化 bilibili知乎 数据预取优化 bilibili知乎 浮点优化 bilibili 反馈优化 bilibili知乎 链接时优化 bilibili知乎 编译指示 bilibili知乎 数学库优化 bilibili知乎 运行时优化 bilibili知乎	slide PDF code
6 程序编写优化	程序编写优化(一) bilibili 程序编写优化(二) bilibili 程序编写优化(三) bilibili 程序编写优化(四) bilibili 程序编写优化(五) bilibili	算法优化 bilibili知乎 典型数据结构的性能分析 bilibili知乎 选择合适的数据类型 bilibili知乎 选择合适的数据结构 bilibili知乎 别名消除 bilibili知乎 常数传播 bilibili知乎 传参优化 bilibili知乎 内联优化 bilibili 过程克隆 bilibili知乎 全局变量优化 bilibili 循环展开和压紧 bilibili 循环不变量外提 bilibili 循环合并 bilibili 循环分段 bilibili 循环分块 bilibili 循环交换 bilibili 循环分裂 bilibili 循环倾斜 bilibili 循环分布 bilibili 删除冗余语句 bilibili 代数变换 bilibili 公共子表达式优化 bilibili 合并判断条件 bilibili 生成选择指令 bilibili 分支语句优化之运用条件编译 bilibili 分支语句优化之移除分支语句 bilibili	slide PDF code
7 单核优化	指令级并行(一) bilibili 指令级并行(二) bilibili 数据级并行(一) bilibili 数据级并行(二) bilibili 数据级并行(三) bilibili	指令流水 bilibili 超长指令字 bilibili 函数的向量化 bilibili 基本块的向量化 bilibili 循环的向量化 bilibili 分支向量化 bilibili 归约向量化 bilibili 不对齐访存 bilibili 不连续访存 bilibili 向量重用 bilibili 向量运算融合 bilibili 循环完全展开 bilibili	slide PDF code
8 访存优化	访存优化(一) bilibili 访存优化(二) bilibili 访存优化(三) bilibili 访存优化(四) bilibili 访存优化(五) bilibili 访存优化(六) bilibili	寄存器分配 bilibili 寄存器重用 bilibili 缓存分块 bilibili 减少伪共享 bilibili 数据预取 bilibili 减少内存读写 bilibili 数据对齐 bilibili 多线程操作 bilibili 数组重组 bilibili 数组转置 bilibili 结构属性域调整 bilibili 结构体拆分 bilibili 结构体数组转换 bilibili	slide PDF code
9 OpenMP程序优化	OpenMP编程简介 bilibili 并行区重构 bilibili 向量化指导命令 bilibili 避免伪共享 bilibili 负载均衡优化 bilibili 避免隐式同步 bilibili 流水并行优化 bilibili	OpenMP程序编写 bilibili OpenMP版矩阵乘 bilibili 并行区扩张 bilibili 并行区合并 bilibili 数据填充避免伪共享 bilibili 循环向量化 bilibili 循环嵌套合并调度 bilibili 线程调度配置策略 bilibili 串并行切换 bilibili 线程数设置优化 bilibili 分析隐式同步 bilibili 消除隐式同步 bilibili 流水并行示例 bilibili 流水并行粒度 bilibili	slide PDF code
10 CUDA程序优化	CUDA程序优化(一) bilibili CUDA程序优化(二) bilibili CUDA程序优化(三) bilibili CUDA程序优化(四) bilibili	CUDA程序编写 bilibili 线程结构优化 bilibili 分支优化 bilibili 访存优化(1) bilibili 访存优化(2) bilibili 数据预取 bilibili 循环展开 bilibili	slide PDF code
11 MPI程序优化	MPI程序简介(一) bilibili MPI程序简介(二) bilibili 数据划分优化 bilibili		slide PDF code
12 多层次并行程序优化			code

章节名称	视频课程	PPT
1 LLVM整体设计	bilibili	知乎
2 Clang前端	bilibili	知乎
3 IR优化	bilibili
4 代码生成（上）	bilibili
5 代码生成（下）	bilibili

章节名称	视频课程	课件文章
1 循环展开和压紧	bilibili	slide PDF知乎
2 循环合并	bilibili	slide PDF知乎
3 循环分布	bilibili	slide PDF知乎
4 循环交换	bilibili	slide PDF知乎
5 循环不变量外提	bilibili	slide PDF知乎
6 循环分段	bilibili	slide PDF知乎
7 循环分块	bilibili	slide PDF知乎
8 循环分裂	bilibili	slide PDF知乎
9 循环倾斜	bilibili	slide PDF知乎

章节名称	视频课程	课件文章
HIP代码自动生成工具C2HIPC	bilibili

随着大模型的发展与应用，深度学习编译器的内涵和外延逐步扩展，本书分析对比了多种深度学习编译器的特性，并整理概括出深度学习编译器的整体设计作为核心内容，分章节对深度学习编译器的功能模块进行介绍，同时也对深度学习模型、深度学习硬件平台等前置理论知识进行概括总结。 本书旨在通过循序渐进、由上而下的方式，让读者了解深度学习编译器的来龙去脉，从深度学习编译器产生背景到设计理念，从深度学习编译器的模型输入到代码生成，为深度学习编译器的研发和优化提供理论支持。同时，本书在对深度学习编译器各功能模块进行介绍时，也综合了计算图优化、内存分配与优化、算子选择与生成、代码生成与优化、自动并行及模型推理等领域的最新研究成果，这部分内容可以为读者的论文写作及科研分析提供思路。

深度学习编译是一个博大精深且正在快速发展的领域，下面内容旨在分享先进编译实验室团队在学习深度学习编译领域过程中的对顶会论文、主流编译器等的学习心得。

内容板块	分享视频	课件文章
1 深度学习概述	深度学习的产生与发展 深度神经网络的结构 神经网络的运行机制 CNN-卷积神经网络（一） CNN-卷积神经网络（二）	深度学习概述PDF深度学习的产生与发展 知乎深度神经网络的结构 知乎神经网络的运行机制 知乎CNN-卷积神经网络 知乎
2 深度学习编译基础	深度学习框架发展（一） 深度学习框架发展（二） 深度学习框架发展（三） 深度学习硬件平台 深度学习编译发展概述 深度学习编译系统概述 深度学习自动微分	深度学习框架发展PDFslides知乎 深度学习硬件平台PDFslides知乎 深度学习编译发展概述 知乎 深度学习编译系统概述PDFslides知乎 深度学习自动微分PDFslides知乎
3 深度学习编译基础架构MLIR	深度学习编译基础架构MLIR 论文分享：基于MLIR的GPU代码生成	深度学习编译基础架构MLIR PDFslides知乎
4 深度学习编译器TVM	TVM概述 TVM编译流程与中间表示分析（一） TVM编译流程与中间表示分析（二） TVM自动调度算法AutoTVM TVM自动调优工具Ansor Ansor优化算子代码解读（一） Ansor优化算子代码解读（二） Ansor优化算子代码解读（三） Ansor优化算子代码解读（四） TVM量化框架（一） TVM量化框架（二） TVM量化框架（三） TVM量化框架（四）	TVM编译流程与中间表示分析PDFslides知乎
5 OpenAI Triton编译器	Triton概述 Triton安装 Triton程序编写 Triton源码结构 Triton调试方法及工具（上） Triton调试方法及工具（下） Triton编译流程	Triton概述slides知乎 Triton安装PDFslides知乎 Triton程序编写PDFslides知乎 Triton源码结构PDFslides知乎 Triton调试方法及工具PDFslides知乎 Triton编译流程PDFslides知乎
6 深度学习编译优化	论文分享：图算融合Apollo 论文分享：计算密集型算子融合Chimera 论文分享：机器学习访存密集计算编译优化框架Astitch 论文分享：算子调度优化Rammer 论文分享：计算图访存调度优化Welder 论文分享：动态控制流编译优化Cocktailer 论文分享：动态神经网络编译优化BrainStorm 论文分享：动态shape深度学习算子自动调优DietCode 论文分享：动态shape深度学习编译器DISC 论文分享：深度学习编译接口FreeTensor	论文分享：图算融合Apollo PDFslides知乎 论文分享：机器学习访存密集计算编译优化框架Astitch PDFslides知乎 论文分享：算子调度优化Rammer PDFslides知乎 论文分享：动态控制流编译优化Cocktailer PDFslides 论文分享：动态shape深度学习算子自动调优DietCode PDFslides知乎 论文分享：动态shape深度学习编译器DISC PDFslides知乎
7 自动并行	并行划分概述 论文分享：自动并行Alpa 论文分享：自动并行AlpaServe 论文分享：自动并行AvgPipe 论文分享：并行程序自动转换 论文分享：高性能计算领域大语言模型HPC-Coder 论文分享：自动并行FlexFlow 论文分享：自动并行CoCoNet 论文分享：新型注意力算法FlashAttention 论文分享：数据并行通信优化MG-WFBP 论文分享：自动并行Merak	并行划分概述PDFslides知乎 论文分享：高性能计算领域大语言模型HPC-Coder PDFslides 论文分享：自动并行CoCoNet PDFslides知乎 论文分享：新型注意力算法FlashAttention PDFslides知乎
8 深度学习模型压缩	深度学习模型压缩概述 论文分享：无数据模型量化ZeroQ 模型压缩方法：模型蒸馏 模型压缩方法：剪枝 模型压缩方法：量化	论文分享：无数据模型量化ZeroQ 知乎 模型压缩方法PDFslides知识蒸馏 知乎剪枝 知乎量化 知乎