MindSpore Transformers套件的目标是构建一个大模型训练、微调、评估、推理、部署的全流程开发套件： 提供业内主流的Transformer类预训练模型和SOTA下游任务应用，涵盖丰富的并行特性。期望帮助用户轻松的实现大模型训练和创新研发。
MindSpore Transformers套件基于MindSpore内置的并行技术和组件化设计，具备如下特点：
- 一行代码实现从单卡到大规模集群训练的无缝切换；
- 提供灵活易用的个性化并行配置；
- 能够自动进行拓扑感知，高效地融合数据并行和模型并行策略；
- 一键启动任意任务的单卡/多卡训练、微调、评估、推理流程；
- 支持用户进行组件化配置任意模块，如优化器、学习策略、网络组装等；
- 提供Trainer、pipeline、AutoClass等高阶易用性接口；
- 提供预置SOTA权重自动下载及加载功能；
- 支持人工智能计算中心无缝迁移部署；
如果您对MindSpore Transformers有任何建议，请通过issue与我们联系，我们将及时处理。
目前支持的模型列表如下：
| 模型 | 任务（task name） | 模型（model name） |
|---|---|---|
| LLama2 | text_generation | llama2_7b llama2_13b llama2_7b_lora llama2_13b_lora llama2_70b |
| GLM2 | text_generation | glm2_6b glm2_6b_lora |
| CodeGeex2 | text_generation | codegeex2_6b |
| LLama | text_generation | llama_7b llama_13b llama_7b_lora |
| GLM | text_generation | glm_6b glm_6b_lora |
| Bloom | text_generation | bloom_560m bloom_7.1b |
| GPT2 | text_generation | gpt2_small gpt2_13b |
| PanGuAlpha | text_generation | pangualpha_2_6_b pangualpha_13b |
| BLIP2 | contrastive_language_image_pretrain zero_shot_image_classification |
blip2_stage1_vit_g |
| CLIP | contrastive_language_image_pretrain zero_shot_image_classification |
clip_vit_b_32 clip_vit_b_16 clip_vit_l_14 clip_vit_l_14@336 |
| BERT | masked_language_modeling text_classification token_classification question_answering |
bert_base_uncased txtcls_bert_base_uncased txtcls_bert_base_uncased_mnli tokcls_bert_base_chinese tokcls_bert_base_chinese_cluener qa_bert_base_uncased qa_bert_base_chinese_uncased |
| T5 | translation | t5_small |
| sam | segment_anything | sam_vit_b sam_vit_l sam_vit_h |
| MAE | masked_image_modeling | mae_vit_base_p16 |
| VIT | image_classification | vit_base_p16 |
| Swin | image_classification | swin_base_p4w7 |
目前在research中支持的模型列表如下：
| 模型 | 任务（task name） | 模型（model name） |
|---|---|---|
| skywork | text_generation | skywork_13b |
| Baichuan2 | text_generation | baichuan2_7b baichuan2_13b baichuan2_7b_lora baichuan2_13b_lora |
| Baichuan | text_generation | baichuan_7b baichuan_13b |
| Qwen | text_generation | qwen_7b |
| Wizardcoder | text_generation | wizardcoder_15b |
| Internlm | text_generation | Internlm_7b |
| ziya | text_generation | ziya_13b |
- 方式1：Linux源码编译安装
支持源码编译安装，用户可以执行下述的命令进行包的安装
git clone -b dev https://gitee.com/mindspore/mindformers.git
cd mindformers
bash build.sh- 方式2：镜像
docker下载命令
docker pull swr.cn-central-221.ovaijisuan.com/mindformers/mindformers0.8.0_mindspore2.2.0:aarch_20231025创建容器
# --device用于控制指定容器的运行NPU卡号和范围
# -v 用于映射容器外的目录
# --name 用于自定义容器名称
docker run -it -u root \
--ipc=host \
--network host \
--device=/dev/davinci0 \
--device=/dev/davinci1 \
--device=/dev/davinci2 \
--device=/dev/davinci3 \
--device=/dev/davinci4 \
--device=/dev/davinci5 \
--device=/dev/davinci6 \
--device=/dev/davinci7 \
--device=/dev/davinci_manager \
--device=/dev/devmm_svm \
--device=/dev/hisi_hdc \
-v /etc/localtime:/etc/localtime \
-v /usr/local/Ascend/driver:/usr/local/Ascend/driver \
-v /var/log/npu/:/usr/slog \
-v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
--name {请手动输入容器名称} \
swr.cn-central-221.ovaijisuan.com/mindformers/mindformers0.8.0_mindspore2.2.0:aarch_20231025 \
/bin/bash| 版本对应关系 | MindFormers | MindPet | MindSpore | Python | 芯片 | 备注 |
|---|---|---|---|---|---|---|
| 版本号 | dev | 1.0.2 | 2.2 | 3.9 | Ascend 910A/B | 开发分支(非稳定版本) |
| 版本号 | 0.8 | 1.0.2 | 2.2 | 3.9 | Ascend 910A/B | 发布版本分支 |
MindFormers套件对外提供两种使用和开发形式，为开发者提供灵活且简洁的使用方式和高阶开发接口。
用户可以直接clone整个仓库，按照以下步骤即可运行套件中已支持的任意configs模型任务配置文件，方便用户快速进行使用和开发：
-
准备工作
- step1：git clone mindformers
git clone -b dev https://gitee.com/mindspore/mindformers.git cd mindformers-
step2: 准备相应任务的数据集，请参考
docs目录下各模型的README.md文档准备相应数据集 -
step3：修改配置文件
configs/{model_name}/run_{model_name}_***.yaml中数据集路径 -
step4：如果要使用分布式训练，则需提前生成RANK_TABLE_FILE
# 不包含8本身，生成0~7卡的hccl json文件 python mindformers/tools/hccl_tools.py --device_num [0,8) -
单卡启动：统一接口启动，根据模型 CONFIG 完成任意模型的单卡训练、微调、评估、推理流程
# 训练启动，run_status支持train、finetuen、eval、predict四个关键字，以分别完成模型训练、评估、推理功能，默认使用配置文件中的run_mode
python run_mindformer.py --config {CONFIG_PATH} --run_mode {train/finetune/eval/predict}- 多卡启动： scripts 脚本启动，根据模型 CONFIG 完成任意模型的单卡/多卡训练、微调、评估、推理流程
# 8卡分布式运行， DEVICE_RANGE = [0,8), 不包含8本身
cd scripts
bash run_distribute.sh RANK_TABLE_FILE CONFIG_PATH DEVICE_RANGE RUN_MODE- 常用参数说明
RANK_TABLE_FILE: 由mindformers/tools/hccl_tools.py生成的分布式json文件
CONFIG_PATH: 为configs文件夹下面的{model_name}/run_*.yaml配置文件
DEVICE_ID: 为设备卡，范围为0~7
DEVICE_RANGE: 为单机分布式卡的范围, 如[0,8]为8卡分布式，不包含8本身
RUN_MODE: 为任务运行状态，支持关键字 train\finetune\eval\predict\export
详细高阶API使用教程请参考：MindFormers大模型使用教程
-
准备工作
- step 1：安装mindformers
具体安装请参考第二章。
- step2: 准备数据
准备相应任务的数据集，请参考
docs目录下各模型的README.md文档准备相应数据集。 -
Trainer 快速入门
用户可以通过以上方式安装mindformers库，然后利用Trainer高阶接口执行模型任务的训练、微调、评估、推理功能。
- Trainer 训练/微调启动
用户可使用
Trainer.train或者Trainer.finetune接口完成模型的训练/微调/断点续训。import mindspore; mindspore.set_context(mode=0, device_id=0) from mindformers import Trainer cls_trainer = Trainer(task='image_classification', # 已支持的任务名 model='vit_base_p16', # 已支持的模型名 train_dataset="/data/imageNet-1k/train", # 传入标准的训练数据集路径，默认支持ImageNet数据集格式 eval_dataset="/data/imageNet-1k/val") # 传入标准的评估数据集路径，默认支持ImageNet数据集格式 # Example 1： 开启训练复现流程 cls_trainer.train() # Example 2： 加载集成的mae权重，开启微调流程 cls_trainer.finetune(finetune_checkpoint='mae_vit_base_p16') # Example 3： 开启断点续训功能 cls_trainer.train(train_checkpoint=True, resume_training=True)
- Trainer 评估启动
用户可使用
Trainer.evaluate接口完成模型的评估流程。import mindspore; mindspore.set_context(mode=0, device_id=0) from mindformers import Trainer cls_trainer = Trainer(task='image_classification', # 已支持的任务名 model='vit_base_p16', # 已支持的模型名 eval_dataset="/data/imageNet-1k/val") # 传入标准的评估数据集路径，默认支持ImageNet数据集格式 # Example 1： 开启评估已集成模型权重的复现流程 cls_trainer.evaluate() # Example 2： 开启评估训练得到的最后一个权重 cls_trainer.evaluate(eval_checkpoint=True) # Example 3： 开启评估指定的模型权重 cls_trainer.evaluate(eval_checkpoint='./output/checkpoint/rank_0/mindformers.ckpt')
结果打印示例(已集成的vit_base_p16模型权重评估分数)： Top1 Accuracy=0.8317- Trainer 推理启动
用户可使用
Trainer.predict接口完成模型的推理流程。import mindspore; mindspore.set_context(mode=0, device_id=0) from mindformers import Trainer cls_trainer = Trainer(task='image_classification', # 已支持的任务名 model='vit_base_p16') # 已支持的模型名 input_data = './cat.png' # 一张猫的图片 # Example 1： 指定输入的数据完成模型推理 predict_result_d = cls_trainer.predict(input_data=input_data) # Example 2： 开启推理（自动加载训练得到的最后一个权重） predict_result_b = cls_trainer.predict(input_data=input_data, predict_checkpoint=True) # Example 3： 加载指定的权重以完成推理 predict_result_c = cls_trainer.predict(input_data=input_data, predict_checkpoint='./output/checkpoint/rank_0/mindformers.ckpt') print(predict_result_d)
结果打印示例(已集成的vit_base_p16模型权重推理结果)： {‘label’: 'cat', score: 0.99} -
pipeline 快速入门
MindFormers套件为用户提供了已集成模型的pipeline推理接口，方便用户体验大模型推理服务。
- pipeline 使用
# 以gpt2 small为例 import mindspore; mindspore.set_context(mode=0, device_id=0) from mindformers.pipeline import pipeline pipeline_task = pipeline(task="text_generation", model="gpt2") pipeline_result = pipeline_task("An increasing sequence: one,", do_sample=False, max_length=20) print(pipeline_result)
结果打印示例(已集成的gpt2模型权重推理结果)： [{'text_generation_text': ['An increasing sequence: one, two, three, four, five, six, seven, eight,']}] -
AutoClass 快速入门
MindFormers套件为用户提供了高阶AutoClass类，包含AutoConfig、AutoModel、AutoProcessor、AutoTokenizer四类，方便开发者进行调用。
- AutoConfig 获取已支持的任意模型配置
from mindformers import AutoConfig # 获取gpt2的模型配置 gpt2_config = AutoConfig.from_pretrained('gpt2') # 获取vit_base_p16的模型配置 vit_base_p16_config = AutoConfig.from_pretrained('vit_base_p16')
- AutoModel 获取已支持的网络模型
from mindformers import AutoModel # 利用from_pretrained功能实现模型的实例化（默认加载对应权重） gpt2 = AutoModel.from_pretrained('gpt2') # 利用from_config功能实现模型的实例化（默认加载对应权重） gpt2_config = AutoConfig.from_pretrained('gpt2') gpt2 = AutoModel.from_config(gpt2_config) # 利用save_pretrained功能保存模型对应配置 gpt2.save_pretrained('./gpt2', save_name='gpt2')
- AutoProcessor 获取已支持的预处理方法
from mindformers import AutoProcessor # 通过模型名关键字获取对应模型预处理过程（实例化gpt2的预处理过程，通常用于Trainer/pipeline推理入参） gpt2_processor_a = AutoProcessor.from_pretrained('gpt2') # 通过yaml文件获取相应的预处理过程 gpt2_processor_b = AutoProcessor.from_pretrained('configs/gpt2/run_gpt2.yaml')
- AutoTokenizer 获取已支持的tokenizer方法
from mindformers import AutoTokenizer # 通过模型名关键字获取对应模型预处理过程（实例化gpt2的tokenizer，通常用于Trainer/pipeline推理入参） gpt2_tokenizer = AutoTokenizer.from_pretrained('gpt2')
欢迎参与社区贡献，可参考MindSpore贡献要求Contributor Wiki。