- 检查 Tokenizer 词表大小与 LLM 的 Embedding 和 LM_head 输入大小是否匹配
- 对 SBert 进行训练、预测、评估使其进行相似度计算
- 对 BERT 进行训练、预测、评估使其进行文本分类
- 使用 CLIP 模型进行文本图像匹配
- 对 JoinBERT 进行训练、预测使其进行对话意图和槽位联合识别
- 对比LoRA微调、模型Last Layers微调以及模型全参数微调对比，并且使用网格搜索 LoRA 最佳参数设置
- 对 Qwen2-0.5B 模型进行 LoRA 微调
- 对 RoBERTa 进行训练、预测使其进行中文/英文文本分类
- 利用 SBert 进行Embedding、文本相似度计算、语义检索、检索ReRank、图像检索等
- 简单的文本分类实现
- LLM 不同精度（FP16，FP32，BF16）下显存占用、精度转换
- 使用 Sentencepiece 进行LLM词表的扩展与中文化
- 扩展LLM词表后对 Embedding 以及 LM_head 进行随机初始化
- Qwen2 的 LoRA、QLoRA、全参数微调以及 FastAPI 部署
- Proxy Tuning 微调
- Gemma2、Jamba 的 LoRA 微调
- 向 Tokenizer 中添加新的 Tokens / Special Tokens 并且初始化Embedding矩阵
- 对多个 LoRA 权重进行卸载和切换使用
- 对新添加 Tokens 进行 Embedding 训练 (
区别于13和17) - 在 VGG19 图像分类任务中应用 LoRA 方法进行微调测试
- 实现 Position Embedding、测试 Word Embedding、测试 GPT-2 的NTP过程、实现 Transformer 的模型训练与测试
- 实现 vLLM 在 GPU 和 CPU 情况下进行推理
- 对 LLM 实现类似于 o1 逻辑推理的 Prompt
- 使用代码数据对CodeLlama进行微调
- 微调 Llama 进行文本分类任务
- 利用预训练的 BERT 系模型实现 LLM Router，同时进行 CPT 50%和80% 评测计算
- 结合Autotrain-advanced 对 LLM 进行白盒知识蒸馏
- 使用 Transformers 和 Faiss 实现图片相似检索
- 解析如何利用 CLIP 为 VLMs 的 Visual Encoder 提供视觉信息
- 对比多模态模型中不同的 Input Projector 的特点以及简单实现
- 基于 SetFit 实现 NLP 模型的知识蒸馏
- Ollama的基本使用与并发多模型使用
- 使用 AWQ 对 LLM 进行量化训练
- 使用 llama.cpp 对模型进行 GGUF 量化
- LLM 采样方法详解 - Top-K、温度、贪心搜索等
- BLIP2 推理
- 对 LLM 进行 o1-like reasoning 微调训练并且进行 add special token 和 embedding 重训练
- 使用 Ollama 进行 Function Calling/Tool Use 调用
- 使用 BertViz 对 LLM 的 Attention 计算进行可视化展示
- 通过修改指定层参数对 LLM 的拒绝回答进行越狱
本repo大部分内容非首发，如有疑问，请联系：
[email protected]