Skip to content

中文nlp应用(大模型、数据、模型、训练、推理)

License

Notifications You must be signed in to change notification settings

pylogic/zero_nlp

This branch is 129 commits behind yuanzhoulvpi2017/zero_nlp:main.

Folders and files

NameName
Last commit message
Last commit date

Latest commit

205e78a · May 24, 2023
Apr 1, 2023
May 21, 2023
May 24, 2023
Feb 6, 2023
Feb 27, 2023
Apr 28, 2023
May 13, 2023
May 5, 2023
May 13, 2023
Apr 17, 2023
Mar 22, 2023
Mar 2, 2023
Mar 6, 2023
Apr 25, 2023
Feb 5, 2023
May 16, 2023
Feb 14, 2023

Repository files navigation

zero to nlp

特点

  1. 🎯目标:基于pytorchtransformers做中文领域的nlp开箱即用的训练框架,提供全套的训练、微调模型(包括大模型、文本转向量、文本生成、多模态等模型)的解决方案;
  2. 💽数据
    • 从开源社区,整理了海量的训练数据,帮助用户可以快速上手;
    • 同时也开放训练数据模版,可以快速处理垂直领域数据;
    • 结合多线程、内存映射等更高效的数据处理方式,即使需要处理百GB规模的数据,也是轻而易举;
  3. 💻流程:每一个项目有完整的模型训练步骤,如:数据清洗、数据处理、模型构建、模型训练、模型部署、模型图解;
  4. 🔥模型:当前已经支持gpt2clipgpt-neoxdollyllamachatglm-6bVisionEncoderDecoderModel等多模态大模型;
  5. 🚀多卡串联:当前,多数的大模型的尺寸已经远远大于单个消费级显卡的显存,需要将多个显卡串联,才能训练大模型、才能部署大模型。因此对部分模型结构进行修改,实现了训练时推理时的多卡串联功能。

目录

模型训练

中文名称 文件夹名称 数据 数据清洗 大模型 模型部署 图解
中文文本分类 chinese_classifier ☑️
中文gpt2 chinese_gpt2 ☑️
中文clip chinese_clip ☑️
图像生成中文文本 VisionEncoderDecoderModel ☑️
vit核心源码介绍 vit model ☑️ ☑️ ☑️ ☑️
Thu-ChatGlm-6b simple_thu_chatglm6b ☑️
中文dolly_v2_3b dolly_v2_3b ☑️ ☑️
中文llama chinese_llama ☑️ ☑️
中文bloom chinese_bloom ☑️ ☑️
数据流程图解

我一直觉得,数据流程通过图解的形式表达出来,其实是最清楚的,因此我都会尽可能的把每一个任务的都图解出来。

文本分类数据图解

中文gpt2

中文clip

model

图像生成中文文本

model

vit 源码

分享数据

一直在整理开源数据,如果有需要,可以关注公众号统计学人,回复nlp数据即可。目前还在整理数据中

统计学人

About

中文nlp应用(大模型、数据、模型、训练、推理)

Resources

License

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages

  • Python 50.6%
  • Jupyter Notebook 49.3%
  • Shell 0.1%