训练模型时候出现未加载预训练模型权重警告

[amazoncer]

我使用检测模型是ch_PP-OCRv4_det_server_train同样使用官方推荐的配置文件ch_PP-OCRv4_det_teacher.yml。训练的时候提示如下错误
[2024/12/22 16:09:35] ppocr WARNING: The pretrained params backbone.last_conv.weight not in model
[2024/12/22 16:09:35] ppocr WARNING: The pretrained params backbone.fc.weight not in model
[2024/12/22 16:09:35] ppocr WARNING: The pretrained params backbone.fc.bias not in model
paddlepalddle使用的是2.6版本cuda12。paddleocr模块是2.8。未加载预训练模型，目前不知道原有出在哪里。也发现很多有同样问题的人，都没有解决。有没有大佬懂得求指教感激不尽。
以下是我得配置文件
Global:
debug: false
use_gpu: true
epoch_num: &epoch_num 500 #
log_smooth_window: 20 #
print_batch_step: 100
save_model_dir: ./output/ch_PP-OCRv4 #
save_epoch_step: 50 #
eval_batch_step: 25 #

cal_metric_during_train: false
checkpoints:
pretrained_model: ./pretrain_models/ch_PP-OCRv4_det_server_train/best_accuracy.pdparams
save_inference_dir: null
use_visualdl: false
infer_img: doc/imgs_en/img_10.jpg
save_res_path: ./checkpoints/det_db/predicts_db.txt
d2s_train_image_shape: [3, 640, 640]
distributed: true

Architecture:
model_type: det
algorithm: DB
Transform: null
Backbone:
name: PPHGNet_small
det: True
Neck:
name: LKPAN
out_channels: 256
intracl: true
Head:
name: PFHeadLocal
k: 50
mode: "large"
fix_nan: True

Loss:
name: DBLoss
balance_loss: true
main_loss_type: DiceLoss
alpha: 5
beta: 10
ohem_ratio: 3

Optimizer:
name: Adam
beta1: 0.9
beta2: 0.999
lr:
name: Cosine
learning_rate: 0.001 #(8*8c)
warmup_epoch: 2
regularizer:
name: L2
factor: 1e-6

PostProcess:
name: DBPostProcess
thresh: 0.3
box_thresh: 0.6
max_candidates: 1000
unclip_ratio: 1.5

Metric:
name: DetMetric
main_indicator: hmean

Train:
dataset:
name: SimpleDataSet
data_dir: ./train_data/ #
label_file_list:
- ./train_data/det/train.txt #
ratio_list: [1.0]
transforms:
- DecodeImage:
img_mode: BGR
channel_first: false
- DetLabelEncode: null
- CopyPaste: null
- IaaAugment:
augmenter_args:
- type: Fliplr
args:
p: 0.5
- type: Affine
args:
rotate:
- -10
- 10
- type: Resize
args:
size:
- 0.5
- 3
- EastRandomCropData:
size:
- 640
- 640
max_tries: 50
keep_ratio: true
- MakeBorderMap:
shrink_ratio: 0.4
thresh_min: 0.3
thresh_max: 0.7
total_epoch: *epoch_num
- MakeShrinkMap:
shrink_ratio: 0.4
min_text_size: 8
total_epoch: *epoch_num
- NormalizeImage:
scale: 1./255.
mean:
- 0.485
- 0.456
- 0.406
std:
- 0.229
- 0.224
- 0.225
order: hwc
- ToCHWImage: null
- KeepKeys:
keep_keys:
- image
- threshold_map
- threshold_mask
- shrink_map
- shrink_mask
loader:
shuffle: true
drop_last: false
batch_size_per_card: 8
num_workers: 8

Eval:
dataset:
name: SimpleDataSet
data_dir: ./train_data/ #
label_file_list:
- ./train_data/det/val.txt #
transforms:
- DecodeImage:
img_mode: BGR
channel_first: false
- DetLabelEncode: null
- DetResizeForTest:
- NormalizeImage:
scale: 1./255.
mean:
- 0.485
- 0.456
- 0.406
std:
- 0.229
- 0.224
- 0.225
order: hwc
- ToCHWImage: null
- KeepKeys:
keep_keys:
- image
- shape
- polys
- ignore_tags
loader:
shuffle: false
drop_last: false
batch_size_per_card: 1
num_workers: 2
profiler_options: null

[GreatV]

根据你的描述以及日志信息，问题可能出在以下几个方面：

1. 预训练模型权重未完全加载

• 日志中多次出现以下警告：

  ppocr WARNING: The pretrained params backbone.xxx not in model
  

  这些警告表明预训练模型的某些参数未能匹配到模型中的对应结构。这可能是由于以下原因之一：
  • 预训练模型与当前模型的结构不完全一致：例如，你的配置文件中 Backbone 使用的是 PPHGNet_small，而预训练模型可能是针对其他骨干网络（如 MobileNetV3）训练的。
  • 预训练模型路径错误或模型文件损坏：检查路径 ./pretrain_models/ch_PP-OCRv4_det_server_train/best_accuracy.pdparams 是否正确。
  • 版本不匹配问题：你的 PaddleOCR 是 2.8 版本，而预训练权重可能是针对其他版本的 PaddleOCR 训练的（如 2.6 或 2.7）。

解决方法：

• 确认你的预训练模型与配置文件中的网络结构是否匹配。例如，PPHGNet_small 是否支持使用 ch_PP-OCRv4_det_server_train 提供的预训练权重？如果不确定，可以在 PaddleOCR 官方模型库 中查看对应的模型与预训练权重的适配性。
• 如果需要使用其他骨干网络（如 MobileNetV3），请调整配置文件中的 Backbone 为对应的网络类型，并确保预训练模型路径指向正确的文件。

---

2. 数据处理问题

• 日志中有以下提示：

  list index out of range
  

  这表明在初始化数据集时，可能存在数据文件路径错误或数据格式问题。
  • 配置文件中 label_file_list 指向了 ./train_data/det/train.txt 和 ./train_data/det/val.txt，请确保这些文件存在，并且格式正确（每行包含图片路径和对应标签）。
  • 检查 data_dir 和 label_file_list 是否能正确指向你的训练数据及标签文件。

解决方法：

• 确保数据集路径和格式正确，例如：

  ./train_data/det/train.txt:
  /path/to/image1.jpg\t[{"transcription": "文字内容", "points": [[x1, y1], [x2, y2], ...]}]
  

• 如果数据格式复杂，可以参考 PaddleOCR 数据集准备文档。

---

3. 版本兼容性问题

• 你的环境中使用的是：
  • PaddlePaddle 版本：2.6，CUDA 12
  • PaddleOCR 版本：2.8
• 日志中有提示：

  WARNING: The installed Paddle is compiled with CUDNN 8.6, but CUDNN version in your machine is 8.5
  

  这可能导致性能下降或不兼容问题。

解决方法：

• 将 CUDNN 更新到 8.6 或重新安装 PaddlePaddle 以匹配当前的 CUDNN 版本：

  pip install paddlepaddle-gpu==2.6.0.post112 -f https://www.paddlepaddle.org.cn/whl/linux/mkl.html
  

• 确保 PaddleOCR 和 PaddlePaddle 的版本匹配，例如：PaddleOCR 2.8 通常推荐使用 PaddlePaddle 2.6 或更高版本。

---

4. 训练过程收敛缓慢

• 你提到使用预训练模型后，acc 和收敛速度与未使用预训练模型时相似，这可能是由于以下原因：
  • 学习率设置不当：配置文件中使用了余弦退火学习率调度（Cosine），并设置了 learning_rate: 0.001 和 warmup_epoch: 2，初始学习率可能过低，导致模型收敛缓慢。
  • 数据质量问题：如果训练数据质量较低或标签错误较多，也会影响收敛速度。

解决方法：

• 调整学习率：
  增大初始学习率，例如将 learning_rate: 0.001 调整为 0.01，并观察训练效果。
• 开启 cal_metric_during_train：
  将配置文件中的 cal_metric_during_train 设置为 true，在训练过程中实时评估模型性能。
• 检查数据集质量：
  确保数据集的标签与图像匹配，避免标签错误或标注不规范的问题。

---

5. 其他建议

• 参考官方文档和讨论：
  你提到的 官方文档 和 相关讨论 中也有类似问题的探讨，可以参考其中的解决思路。
• 使用最新的预训练权重：
  确保下载的是最新版本的预训练模型，并且与当前 PaddleOCR 版本匹配。

---

总结

按照以下步骤逐步排查问题：

1. 确认预训练模型与 Backbone 的兼容性，必要时更换预训练模型或调整网络结构。
2. 检查数据集路径和格式，修复可能的文件缺失或格式错误。
3. 确保 PaddlePaddle 和 CUDNN 版本兼容。
4. 调整学习率和数据增强策略，以加快模型收敛速度。
5. 若问题仍未解决，可在 PaddleOCR 官方讨论区 提问，提供详细日志和配置文件以获取进一步帮助。

希望这些建议能帮你解决问题！

---

Response generated by feifei-bot | chatgpt-4o-latest