使用embbeding模型时，选择的是gpu，但实际没有用到gpu，仍然使用的cpu

[leon528]

System Info / 系統信息

ubuntu 22，CUDA Version: 12.5

Running Xinference with Docker? / 是否使用 Docker 运行 Xinfernece？

• docker / docker
• pip install / 通过 pip install 安装
• installation from source / 从源码安装

Version info / 版本信息

v0.16.3

The command used to start Xinference / 用以启动 xinference 的命令

docker run -d --restart=always --name=xinference
-v /opt/xinference_gpu:/opt/xinference -e XINFERENCE_HOME=/opt/xinference -e XINFERENCE_MODEL_SRC=modelscope
-p 9998:9997 --gpus all xprobe/xinference:latest xinference-local -H 0.0.0.0 --log-level debug

Reproduction / 复现过程

1、在 lauch model 界面选择 embbeding 模型，device 选择 gpu，启动成功。
2、在 running model 界面能看到该 embbeding 模型运行成功。
3、在服务器上 运行 nvidia-smi ，显示 gpu 没有使用。
4、推理时，在服务器运行 top 命令，显示 cpu 使用率很高。

Expected behavior / 期待表现

使用gpu运行embbeding模型

[leon528]

换成 v1.0.0 之后，问题解决。