valueError: DeepSpeed Zero-3 is not compatible with low_cpu_mem_usage=True or with passing a device_map.

[SeaBreezing]

【lora_deepspeed模型】
在配置好accelerate config并运行后，在这里报错：
model = LlamaForCausalLM.from_pretrained(
Config.base_model,
# load_in_8bit=Config.load_in_8bit,
torch_dtype=torch.float16,
device_map="auto" # 设置为auto时会默认使用所有可以使用的gpu，并且将模型分片加载。
) # 权重类型是float16

删除device_map后，会在cpu上加载模型

p.s.大佬可以把配置的torch transformer cuda等版本也发出来吗？