@@ -155,7 +155,7 @@ source .venv/bin/activate # 激活 uv 环境
155
155
156
156
``` bash
157
157
# 1. 创建conda 环境
158
- conda create -n gpt_server python=3.10
158
+ conda create -n gpt_server python=3.11
159
159
160
160
# 2. 激活conda 环境
161
161
conda activate gpt_server
@@ -193,20 +193,31 @@ python gpt_server/serving/main.py
193
193
194
194
#### 3.2 Docker启动
195
195
196
- ##### 3.2.0 使用Docker Hub镜像
196
+ ##### 3.2.0 拉取Docker Hub镜像
197
197
``` bash
198
198
docker pull 506610466/gpt_server:latest # 如果拉取失败可尝试下面的方式
199
199
# 如果国内无法拉取docker镜像,可以尝试下面的国内镜像拉取的方式(不保证国内镜像源一直可用)
200
200
docker pull docker.1ms.run/506610466/gpt_server:latest
201
201
```
202
-
203
- ##### 3.2.1 手动构建镜像(可选)
204
- - 构建镜像
205
-
202
+ ##### 3.2.1 直接使用Docker命令直接启动
206
203
``` bash
207
- docker build --rm -f " Dockerfile" -t gpt_server:latest " ."
204
+ docker run -d \
205
+ --name gpt_server \
206
+ --restart always \
207
+ --shm-size 32g \
208
+ --network host
209
+ -v your_model_path/:your_model_path/ \
210
+ -v your_config_path/config.yaml:/gpt_server/gpt_server/script/config.yaml \
211
+ --gpus all \
212
+ docker.1ms.run/506610466/gpt_server:latest \
213
+ python gpt_server/serving/main.py
208
214
```
209
- ##### 3.2.2 Docker Compose 启动 (建议在项目里使用docker-compose启动)
215
+
216
+ 将` your_model_path ` 替换为你的模型路径,且要和` config.yaml ` 中配置的路径一致
217
+ 将` your_config_path ` 替换为你` config.yaml ` 文件的路径
218
+
219
+
220
+ ##### 3.2.2 手动构建镜像并使用Docker Compose 启动(可选)
210
221
211
222
``` bash
212
223
docker-compose -f " docker-compose.yml" up -d --build gpt_server
@@ -252,13 +263,16 @@ Chat UI界面:
252
263
253
264
### 推理后端官方支持模型情况
254
265
266
+
255
267
[ LMDeploy] ( https://lmdeploy.readthedocs.io/en/latest/supported_models/supported_models.html )
256
268
257
269
[ vLLM] ( https://docs.vllm.ai/en/latest/models/supported_models.html )
258
270
259
271
[ SGLang] ( https://docs.sglang.ai/supported_models/generative_models.html )
260
272
261
- 官方支持的模型本项目可以五分钟之内进行兼容,但由于本人时间关系,暂时本项目只支持了常用的一些模型,如果想要支持其它模型,请提Issue.
273
+ #### 注意:
274
+ - ** 现可以通过在 ` config.yaml ` 中 设置 ` model_type: auto ` ** 支持所有vllm/sglang/lmdeploy 当前版本已经支持的大语言模型和多模态语言模型,embedding、reranker等非语言模型除外。
275
+ - 下面的项目兼容表未来将移除或者重构
262
276
263
277
### ** LLM**
264
278
0 commit comments