Speech-Summercamp-2024

学习方向（择一即可）

• 语音识别
• 语音合成
• 语音转换
• 歌声合成/转换
• 其他

学习内容

• 第一周
  • 了解语音信号的基本概念
  • 了解语音信号的预处理方法
  • librosa库的使用
• 第二周
  • 了解傅里叶变换等信号处理知识
  • 熟悉常用语音特征
  • 使用librosa库的使用
• 第四周-第八周
  • 根据已有课题或者自己提出课题寻找应用方向
  • 有能力的同学可以尝试复现论文甚至提出改进方案（加分项）
  • 阅读文献
  • 寻找数据集
  • 完成项目

学习资料

基础

• 什么是语音处理
• 语音信号的基本概念
• 语音信号读取和librosa
• 语音特征提取

以下为自选方向

语音合成（理论部分）

• 什么是语音合成 p1 p2
• 语音合成算法综述
• WaveNet 网络结构 代码讲解 代码仓库
• Tacotron2 网络结构 代码讲解 代码仓库

语音合成（实践部分）

• BERT-VITS2
• FishSpeech
• OpenVoice
• ChatTTS

歌声合成（实践部分）

• DiffSinger 仓库
• DiffSinger 文字版教程
• DiffSinger 视频教程

语音识别（理论部分）

• 李宏毅语音识别p2 p3 p4 p5 p6 p7
• 语音识别综述 p1 p2
• Whisper
• FasterWhisper

语音识别（实践部分）

• WhisperX

前置基础

• 掌握python基础
• 了解深度学习基础知识
• 会使用Pytorch或Tensorflow等深度学习框架
• 有傅里叶变换等信号处理知识优先