人工智能三驾马车：
- 算法：机器学习（本文探讨点）
- 算力：芯片
- 大数据
机器学习是实现人工智能的重要算法，深度学习是以深度神经网络解决问题的机器学习方法
- 设定范围
- 传统机器学习：线性回归、逻辑回归、决策树...
- 深度神经网络：CNN（resnet、mobilenet）、RNN、transformer...
notes：也就是常说的模型。这里的分类依据是设定范围，也是最常被人们提到的机器学习方法分类。注意更规范的写法应该是深度神经网络与线性回归等同级，由于其内容过于庞大，所以将其他的方法统一归类到传统机器学习中了。其次，传统机器学习基本只能处理分类和回归问题，而深度学习能处理更复杂的问题。
- 设定标准
- 监督学习
- 半监督学习
- 无监督学习（自监督学习）
- 强化学习：只给好或差的评价
notes：也就是常说的损失loss。考虑的问题是怎么衡量模型输出与预期的差异。
- 达成目标
- 传统优化算法：遗传算法等
- 深度学习优化：梯度下降+反向传播
notes：也就是常说的优化器。
- 输出内容
- 判别式模型：随机森林、SVM、经典DNN（CNN、RNN、transformer）...
- 生成式模型：朴素贝叶斯、隐马尔可夫、GAN、VAE...
notes：生成式模型旨在学习数据的联合概率分布，即同时模拟观测数据和标签的分布。判别式模型专注于学习从输入数据到输出标签的条件概率分布。个人感觉生成式模型例如GAN与VAE不一定就和DNN完全没有关系，GAN和VAE的backbone其实也是DNN，特殊点在于训练的思想。而判别式模型主要的任务就是回归和分类，也就是用作回归和分类的DNN。
- 应用领域
- 计算机视觉（CV）
- 自然语言处理（NLP）
- 生成式人工智能（AIGC）
- 多模态
这里用一个表格来梳理一下
| CV | NLP | AIGC | ||||
|---|---|---|---|---|---|---|
| 高级视觉任务 | 分类 | 分类 | 文生文llm | gpt | llama | |
| 检测 | 翻译 | 文生图 | sd | midjourney | delle | |
| 分割 | 对话 | 文生音 | tts | |||
| 低级视觉任务 | 超分 | 文生视频 | sora | imagen video | runway | |
| 去噪 | ||||||
| 增强 | ||||||
notes：这里的AIGC也不能完全与CV以及NLP解耦。实际上，AIGC是利用大模型的能力，将一部分以前实现的效果不好的，或者以前不能实现的CV以及NLP任务进行了提升，但是由于其很火热，所以单独作为一个类别。其次，AIGC往往需要多模态的能力。
- 其他
这里不太容易将某种思想归类至某一个下面，例如残差学习、BN、cross entropy loss等，但是却是跨很多领域都能用到的东西。