Skip to content

Commit 36cdde1

Browse files
committed
update readme
1 parent c42347d commit 36cdde1

File tree

1 file changed

+23
-9
lines changed

1 file changed

+23
-9
lines changed

README.md

Lines changed: 23 additions & 9 deletions
Original file line numberDiff line numberDiff line change
@@ -155,7 +155,7 @@ source .venv/bin/activate # 激活 uv 环境
155155

156156
```bash
157157
# 1. 创建conda 环境
158-
conda create -n gpt_server python=3.10
158+
conda create -n gpt_server python=3.11
159159

160160
# 2. 激活conda 环境
161161
conda activate gpt_server
@@ -193,20 +193,31 @@ python gpt_server/serving/main.py
193193

194194
#### 3.2 Docker启动
195195

196-
##### 3.2.0 使用Docker Hub镜像
196+
##### 3.2.0 拉取Docker Hub镜像
197197
```bash
198198
docker pull 506610466/gpt_server:latest # 如果拉取失败可尝试下面的方式
199199
# 如果国内无法拉取docker镜像,可以尝试下面的国内镜像拉取的方式(不保证国内镜像源一直可用)
200200
docker pull docker.1ms.run/506610466/gpt_server:latest
201201
```
202-
203-
##### 3.2.1 手动构建镜像(可选)
204-
- 构建镜像
205-
202+
##### 3.2.1 直接使用Docker命令直接启动
206203
```bash
207-
docker build --rm -f "Dockerfile" -t gpt_server:latest "."
204+
docker run -d \
205+
--name gpt_server \
206+
--restart always \
207+
--shm-size 32g \
208+
--network host
209+
-v your_model_path/:your_model_path/ \
210+
-v your_config_path/config.yaml:/gpt_server/gpt_server/script/config.yaml \
211+
--gpus all \
212+
docker.1ms.run/506610466/gpt_server:latest \
213+
python gpt_server/serving/main.py
208214
```
209-
##### 3.2.2 Docker Compose 启动 (建议在项目里使用docker-compose启动)
215+
216+
`your_model_path`替换为你的模型路径,且要和`config.yaml`中配置的路径一致
217+
`your_config_path`替换为你`config.yaml`文件的路径
218+
219+
220+
##### 3.2.2 手动构建镜像并使用Docker Compose 启动(可选)
210221

211222
```bash
212223
docker-compose -f "docker-compose.yml" up -d --build gpt_server
@@ -252,13 +263,16 @@ Chat UI界面:
252263

253264
### 推理后端官方支持模型情况
254265

266+
255267
[LMDeploy](https://lmdeploy.readthedocs.io/en/latest/supported_models/supported_models.html)
256268

257269
[vLLM](https://docs.vllm.ai/en/latest/models/supported_models.html)
258270

259271
[SGLang](https://docs.sglang.ai/supported_models/generative_models.html)
260272

261-
官方支持的模型本项目可以五分钟之内进行兼容,但由于本人时间关系,暂时本项目只支持了常用的一些模型,如果想要支持其它模型,请提Issue.
273+
#### 注意:
274+
- **现可以通过在 `config.yaml`中 设置 `model_type: auto`** 支持所有vllm/sglang/lmdeploy 当前版本已经支持的大语言模型和多模态语言模型,embedding、reranker等非语言模型除外。
275+
- 下面的项目兼容表未来将移除或者重构
262276

263277
### **LLM**
264278

0 commit comments

Comments
 (0)