README.md

MiniCPM-Cookbook

本仓库是MiniCPM端侧系列模型的使用指南，包括推理、量化、边端部署、微调、应用、技术报告六个主题。

MiniCPM 仓库 | MiniCPM-V 仓库 | MiniCPM系列 知识库 | English Readme | 加入我们的 discord 和 微信群

目录和内容

关于MiniCPM(✅)

面壁「小钢炮」MiniCPM 端侧大模型系列，是由面壁智能（ModelBest）联合OpenBMB开源社区和清华NLP实验室开源的轻量高性能端侧大模型。包含基座模型MiniCPM和多模态模型MiniCPM-V双旗舰，凭借以小博大、高效低成本的特性享誉全球。目前已经在性能上开启「端侧ChatGPT时刻」；多模态方向达到全面对标GPT-4V级水平，实现实时视频、多图联合理解首次上端。目前，正在落地于手机、电脑、汽车、可穿戴设备、VR等智能终端场景中。更多关于面壁小钢炮MiniCPM系列的详细信息，请访OpenBMB页面。

应用精选(✅)

语言模型

• 4G显存玩转rag_langchain
• RLHF可控文本生成
• function_call
• Build Your Agent Data
• AIPC-windows搭建Agent

多模态模型

• 跨模态高清检索
• 文字识别与定位
• 获取多模态嵌入向量
• Agent入门
• 长链条Agent如何构造
• 多模态文档RAG

技术报告(✅)

• MiniCPM 语言模型技术报告_正式
• MiniCPM-V 多模态模型技术报告_正式
• MiniCPM 注意力机制进化历程_解读
• MiniCPM-V 多模态模型架构原理介绍_解读
• MiniCPM-V 多模态高清解码原理_解读

支持硬件（云端、边端）(✅)

• GPU
• CPU
• NPU
• Android
• Mac
• Windows
• ios

模型地址与下载（部分）(✅)

• MiniCPM 2.4B
• MiniCPM-V
• MiniCPM-V 2.0
• MiniCPM-Llama3-V 2.5
• MiniCPM-V 2.6
• MiniCPM 3.0 4B

推理部署(✅)

MiniCPM 2.4B

• MiniCPM 2.4B_transformers_cuda
• MiniCPM 2.4B_vllm_cuda
• MiniCPM 2.4B__mlx_mac
• MiniCPM 2.4B_ollama_cuda_cpu_mac
• MiniCPM 2.4B_llamacpp_cuda_cpu
• MiniCPM 2.4B_llamacpp_android

MiniCPM-S 1.2B

• MiniCPM-S 1.2B_powerinfer_cuda
• MiniCPM-S 1.2B_powerinfer_android

MiniCPM 3.0

• MiniCPM 3.0_vllm_cuda
• MiniCPM 3.0_transformers_cuda_cpu
• MiniCPM 3.0_llamacpp_cuda_cpu
• MiniCPM 3.0_sglang_cuda

MiniCPM-Llama3-V 2.5

• MiniCPM-Llama3-V 2.5_vllm_cuda
• MiniCPM-Llama3-V 2.5_LMdeploy_cuda
• MiniCPM-Llama3-V 2.5_llamacpp_cuda_cpu
• MiniCPM-Llama3-V 2.5_ollama_cuda_cpu
• MiniCPM-Llama3-V 2.5_transformers_cuda
• MiniCPM-Llama3-V 2.5_xinference_cuda
• MiniCPM-Llama3-V 2.5_swift_cuda

MiniCPM-V 2.6

• MiniCPM-V 2.6_vllm_cuda
• MiniCPM-V 2.6_vllm_api_server_cuda
• MiniCPM-V 2.6_llamacpp_cuda_cpu
• MiniCPM-V 2.6_transformers_cuda
• MiniCPM-V 2.6_swift_cuda

微调(✅)

MiniCPM 3.0

• MiniCPM3_官方代码_sft_cuda
• MiniCPM3_llamafactory_sft_RLHF_cuda

MiniCPM 2.4B

• MiniCPM2.0_官方代码_sft_cuda
• MiniCPM2.0_mlx_sft_lora_mac
• MiniCPM2.0_llamafactory_RLHF_cuda

MiniCPM-Llama3-V 2.5

• MiniCPM-Llama3-V 2.5_官方代码_cuda
• MiniCPM-Llama3-V-2_5_swift_cuda
• 混合模态训练

MiniCPM-V 2.6

• MiniCPM-V 2.6_官方代码_sft_cuda
• MiniCPM-V 2.6_swift_sft_cuda
• 混合模态训练

模型量化(✅)

MiniCPM 2.4B

• MiniCPM 2.4B_awq量化
• MiniCPM 2.4B_gguf量化
• MiniCPM 2.4B_gptq量化
• MiniCPM 2.4B bnb量化

MiniCPM3.0

• MiniCPM 3.0_awq量化
• MiniCPM 3.0_gguf量化
• MiniCPM 3.0_gptq量化
• MiniCPM 3.0_bnb量化

MiniCPM-Llama3-V 2.5

• MiniCPM-Llama3-V 2.5 bnb量化
• MiniCPM-Llama3-V 2.5 gguf量化

MiniCPM-V 2.6

• MiniCPM-V 2.6_bnb量化
• MiniCPM-V 2.6_awq量化
• MiniCPM-V 2.6_gguf量化

集成(✅)

• langchain
• openai_api

开源社区合作(✅)

• xtuner: MiniCPM高效率微调的不二选择
• LLaMA-Factory：MiniCPM微调一键式解决方案
• ChatLLM框架：在CPU上跑MiniCPM
• datawhale_基于Linux环境快速部署开源大模型，更适合中国宝宝的部署教程

社区共建

秉承开源精神，我们鼓励大家共建本仓库，包括但不限于添加新的MiniCPM教程、分享使用体验、提供生态适配、模型应用等。我们期待开发者们为我们的开源仓库作出贡献。