为什么用你们的框架训练出的stable diffusion ckpt 推理结果异常为噪声图

[yufengyao-lingoace]

为什么用你们的框架训练出的stable diffusion ckpt 推理结果为噪声图，训练过程看着正常，loss也在逐渐收敛，但是txt2img.py推理出的图异常如下(完全按照你们官方文档复现)：

会不是是框架存在问题，导致保存的权重有问题。
你们那边有没有好的建议？

[feifeibear]

因为，因为diffusion模型本身训练需要很长时间，如果train from scratch的话，训练时间比较短就是没有什么效果。
另外，我们没有弄从预训练权重读入的逻辑，这个模块我们在规划中，如果可以从预训练权重读取之后做finetune，就能看到效果了。

[yufengyao-lingoace]

好的，非常感谢，目前我正在重新用你们的v1版本训练，但是又遇到了另一个问题，64g内存，16g显存，每次训练第一轮能正常保存权重文件，第二轮保存权重时，cpu内存飙升，64g内存加上18g虚拟内存都不够用，然后被killed. 你知道这个是怎么回事吗？我该怎么解决这个问题。

[feifeibear]

v1是什么版本 @ver217 给你的PP+TP+ZeRO的版本么？看起来保存权重有bug。

[winktool]

请问预训练权重读取逻辑完善了吗？