模型高性能推理

[wangwenqi567]

使用环境

ubuntu 22.04
Python 3.9.20
cuda 11.8
cuDNN 8.6
gpu 4090
驱动版本 550.107.02

paddlepaddle-gpu 3.0.0b2
paddlex 3.0.0b2

目前高性能推理是否支持单个模型
使用高性能 use_hpip=True 报错
不使用高性能模型能够正常运行

[Bobholamovic]

你好，在paddlex 3.0.0b2中，单模型模块不支持高性能推理，但在我们即将发布的paddlex 3.0.0rc0中，无论是单模型模块还是模型产线都可以使用高性能推理功能～

[wangwenqi567]

好的，谢谢