feat: llm

AI & Data-Science/deep learning/Nvidia CUDA.md

@@ -50,6 +50,11 @@
 3. pytorch: https://catalog.ngc.nvidia.com/orgs/nvidia/containers/pytorch
     1. such as `nvcr.io/nvidia/pytorch:23.10-py3`
 
+## 其他通用的加速库
+
+- xFormers
+- 
+
 
 ## 常见问题
 
@@ -58,3 +63,5 @@
 解决方法：通过 `lsof /dev/nvidia*` 查看哪些进程占用了 `/dev/nvidia*`，然后通过 `ps -ef | grep $pid` 查看对应的进程，然后 kill 掉这些进程。
 将进程全部 kill 掉后，再重新安装驱动即可。
 
+
+

AI & Data-Science/deep learning/README.md

@@ -13,6 +13,8 @@
 
 ## 快速下载 huggingface 模型
 
+>国内的 https://www.modelscope.cn/ 也提供了许多模型的下载，可以先从这里下载模型，然后再跟 huggingface 对比下，更新下其他文件。
+
 使用 [huggingface-cli](https://huggingface.co/docs/huggingface_hub/guides/cli) 要比直接使用 `git clone` 方便很多，可以直接下载模型，而不用下载整个仓库，而且重点是能断点续传！
 
 ```

AI & Data-Science/deep learning/large-language-model/README.md

@@ -7,12 +7,34 @@ ChatGPT 开启了大型语言模型的新时代，各种开源/闭源 LLM 模型
 - [Awesome-Chinese-LLM](https://github.com/HqWu-HITCS/Awesome-Chinese-LLM): 整理开源的中文大语言模型，以规模较小、可私有化部署、训练成本较低的模型为主，包括底座模型，垂直领域微调及应用，数据集与教程等。 
 - 垂直领域模型：[Awesome-Domain-LLM](https://github.com/luban-agi/Awesome-Domain-LLM)
 
-## 2023-11 目前最好的中文 LLM 模型
+## 2024-01 目前最好的商业 LLM 模型
+
+- OpenAI ChatGPT-4: <https://chat.openai.com/> 这个应该不用介绍了。
+- Google Gemini Ultra: <https://deepmind.google/technologies/gemini/> 官方宣称其在大多数任务上的测试性能都领先 GPT-4，而且支持多模态（文字、音频、图片、视频、甚至 xlsx/pdf 等格式的文档）
+  - Ultra 在跨多个数据中心的一个大型 TPUv4 集群上进行训练，完全使用了 Google 自家的硬件。此外它的多模态能力也都来自 Google Deepmind 团队的技术积累。Deepmind 这波又有点展现出当年 AlphaGo 击败柯洁的风采了。
+  - 使用：<https://bard.google.com/chat>
+- GLM-4: <https://open.bigmodel.cn/trialcenter>，官方宣称性能比 GPT-4 差得不多了，开放 API 调用，价格看着还不错。说是也支持多模态，但相关 API 当前状态好像还是「敬请期待」
+
+
+我的初步测试结果：
+
+1. 翻译我的 NixOS 小书：我对 ChatGPT3.5 跟智谱的 GLM-4 比较满意，Bard with Gemini Pro 有个别细节的翻译与原有语义不一致，但 Gemini 也是出结果速度最快的一个，甚至是一次性输出所有内容。
+  1. 所以目前看 Bard 是最快，ChatGPT3.5 跟 GLM-4 的结果跟性能则都相差不大。
+1. 尝试让 Bard/GLM-4/ChatGPT3.5 编写 nushell 脚本，可能因为太新、数据量太少，只能说全都傻得可以...十多轮对话下来，没一个输出的代码是能跑的。
+   1. Bard 总是以为它在写 Python，GLM-4 老是搞混 Nushell 跟其他 Linux 工具的参数语法，ChatGPT 老是混入些奇怪的 rust 语法，三个都教不会。
+1. 让它们写些 Python 脚本，倒是都能完成，虽说各有瑕疵，但都很好解决。
+1. 写 Guile，也各有错误，不好修。知识量可能不够吧。
+1. 待补充
+
+
+## 2024-01 目前最好的中文 LLM 模型
 
 ### 1. ChatGLM3-6B
 
 > 2023/11/27 目前 ChatGLM 已经更新到了 ChatGLM3，还未测试效果。
 
+> 2024-01-19 目前已经推出了 GLM-4 并可通过 API 试用，ChatGLM 还未更新。
+
 开源中文 LLM 模型中，效果最好的是清华大学开源的 ChatGLM，它的 6B 版本可以在 16G 显卡上跑，量化后能跑在 8G 显存的卡上（不过跑不了几句话就会 OOM）。而它原版的 130B 模型，至少需要四张 3090，估计效果会好很多。
 
 6B 版本的 ChatGLM 有一些明显的缺点：