微调的各种问题

[zRzRzRzRzRzRzR]

各种微调的问题，请在此提问

[dannypei]

lora微调后的模型，怎样通过vllm部署调用？

[McRays]

https://docs.vllm.ai/en/latest/models/lora.html
可以参考这个文档

[pingheng001]

128k微调大概需要多少A100

[Yang-125]

lora微调的时候，{'loss': 0.0, 'grad_norm': 0.0, 'learning_rate': 0.0004983333333333334, 'epoch': 0.06} loss和grad_norm一直都是0

[zhangZZZ-v]

把264行的[2:]改成[0][2:]

[Hyxxxxxx1]

你好，如何使用微调后的模型进行对话

[YunPan]

这个错是什么原因呢?

python finetune.py data/AdvertiseGen/ /mnt/workspace/panyun/models/THUDM/glm-4-9b-chat configs/lora.yaml
Traceback (most recent call last):
File "/mnt/workspace/panyun/GLM-4/finetune_demo/finetune.py", line 15, in
from peft import PeftConfig, get_peft_config, get_peft_model
File "/opt/conda/lib/python3.10/site-packages/peft/init.py", line 22, in
from .auto import (
File "/opt/conda/lib/python3.10/site-packages/peft/auto.py", line 32, in
from .mapping import MODEL_TYPE_TO_PEFT_MODEL_MAPPING
File "/opt/conda/lib/python3.10/site-packages/peft/mapping.py", line 22, in
from .mixed_model import PeftMixedModel
File "/opt/conda/lib/python3.10/site-packages/peft/mixed_model.py", line 26, in
from peft.tuners.mixed import COMPATIBLE_TUNER_TYPES
File "/opt/conda/lib/python3.10/site-packages/peft/tuners/init.py", line 21, in
from .lora import LoraConfig, LoraModel, LoftQConfig
File "/opt/conda/lib/python3.10/site-packages/peft/tuners/lora/init.py", line 20, in
from .model import LoraModel
File "/opt/conda/lib/python3.10/site-packages/peft/tuners/lora/model.py", line 50, in
from .awq import dispatch_awq
File "/opt/conda/lib/python3.10/site-packages/peft/tuners/lora/awq.py", line 26, in
from awq.modules.linear import WQLinear_GEMM
File "/opt/conda/lib/python3.10/site-packages/awq/init.py", line 2, in
from awq.models.auto import AutoAWQForCausalLM
File "/opt/conda/lib/python3.10/site-packages/awq/models/init.py", line 1, in
from .mpt import MptAWQForCausalLM
File "/opt/conda/lib/python3.10/site-packages/awq/models/mpt.py", line 1, in
from .base import BaseAWQForCausalLM
File "/opt/conda/lib/python3.10/site-packages/awq/models/base.py", line 46, in
from awq.quantize.quantizer import AwqQuantizer
File "/opt/conda/lib/python3.10/site-packages/awq/quantize/quantizer.py", line 10, in
from awq.quantize.scale import apply_scale, apply_clip
File "/opt/conda/lib/python3.10/site-packages/awq/quantize/scale.py", line 8, in
from transformers.models.llama.modeling_llama import LlamaRMSNorm
File "/opt/conda/lib/python3.10/site-packages/transformers/models/llama/modeling_llama.py", line 55, in
from flash_attn import flash_attn_func, flash_attn_varlen_func
File "/opt/conda/lib/python3.10/site-packages/flash_attn/init.py", line 3, in
from flash_attn.flash_attn_interface import (
File "/opt/conda/lib/python3.10/site-packages/flash_attn/flash_attn_interface.py", line 10, in
import flash_attn_2_cuda as flash_attn_cuda
ImportError: /opt/conda/lib/python3.10/site-packages/flash_attn_2_cuda.cpython-310-x86_64-linux-gnu.so: undefined symbol: _ZN2at4_ops5zeros4callEN3c108ArrayRefINS2_6SymIntEEENS2_8optionalINS2_10ScalarTypeEEENS6_INS2_6LayoutEEENS6_INS2_6DeviceEEENS6_IbEE

[pangaass]

8*80GA00,8k文本长度lora能调动吗？ds zero2或者zero3

[ChIIChI1230]

微调后，评估时报错

[tzm529]

哥们，我也遇到这个问题了，把transformers降到4.40.0，这个问题没有了，但是有了个新问题：

TypeError: Seq2SeqTrainingArguments.init() got an unexpected keyword argument 'eval_strategy'

[zxy1119]

我也遇到这个问题了，将 lora.yaml 里 eval_strategy 修改为 evaluation_strategy 就可以了

[SongHY-13]

想问一下GLM-4-9B模型是否支持在4张T4卡共64G显存配置的服务器上实现微调，感谢，因为包括我使用多模态模型还有微调时都会出现运行错误
RuntimeError: Expected all tensors to be on the same device, but found at least two devices, cuda:2 and cuda:3!

[SongHY-13]

多模态已经根据issues：https://github.com/THUDM/GLM-4/issues/350改好了，哈哈，主要还是想要用来微调

[McRays]

我在微调glm4-9b-chat的时候遇见这个报错，还没有找到什么有效的解决方法

[McRays]

我查到tokenizer_config.json中151337映射到的是assistant，我可以理解这个报错，是在训练文本中没有这个assistant角色吗

[Hoonly]

finetune_vision.py中的process_batch_eval这一段目的是什么？

[kxy-cheng]

我使用仓库中默认的lora设置，在10w条数据上使用lora微调，loss在下降到1.1附近后，模型不再收敛了，要如何解决呢？

[KarRoy715]

训练集都是正常的，但是跑到验证集的时候就报错了（换过好几个版本的transformers）都会出错，这个怎么解决呀

[cssaudrey]

1 transformer 4.44.0
2. Python 3.12 需要更新ntlk git的版本，修复方法：https://github.com/THUDM/GLM-4/issues/38，命令如下
pip uninstall nltk
pip install git+https://github.com/nltk/nltk.git@86fa083

[Yang-125]

请问微调之后模型输出停不下来，在后半段会一直重复某段话反复输出，有什么问题影响到吗？

[61zzzzz]

请问单卡单机运行GLM4v的lora时，如何让gpu为指定的cuda而不是cuda:0呢

[linwhitehat]

想询问下GLM4和GLM2、3版本的性能差异来源。
我在A800-80G单卡下对GLM4进行lora微调，微调的速度比同等资源下GLM2要快15倍左右，这是什么原因？没在官方文档看到提升的内容说明？能否帮忙答疑一下，谢谢

[delcok]

进行微调时使用lora.yaml可以进行从从保存点进行微调，但是使用ptuning_v2.yaml会出现如下图问题。代码使用的demo代码

[delcok]

解决了！更新一下模型配置文件就好了！

[cssaudrey]

请问具体怎么解决的？

[huohuolimo]

TypeError: FinetuningConfig.init() got an unexpected keyword argument
'freezeV'

[WangZhuoxian]

各种微调的问题，请在此提问
请问微调脚本里的combine参数，作用是什么？看代码是token的处理有所不同，但不理解目的是什么

[cssaudrey]

微调过后，训练样本的问题回答的很好，但是通用能力回答的问题都很简短。这个如何提高？