README.md

注：当前项目为 Serverless Devs 应用，由于应用中会存在需要初始化才可运行的变量（例如应用部署地区、服务名、函数名等等），所以不推荐直接 Clone 本仓库到本地进行部署或直接复制 s.yaml 使用，强烈推荐通过 s init 的方法或应用中心进行初始化，详情可参考部署 & 体验 。

fc-llm-api 帮助文档

部署大语言模型和向量数据库的相关应用到函数计算，向量计算与存储由RDS PostgreSQL提供支持

• 😺 代码

前期准备

使用该项目，您需要有开通以下服务：

服务	备注
函数计算 FC	对 AIGC 进行 CPU/GPU 推理计算
文件存储 NAS	存储大语言模型以及Embedding服务所需要的模型, 新用户请先领取免费试用资源包https://free.aliyun.com/?product=9657388&crowd=personal

推荐您拥有以下的产品权限 / 策略：

您还需要注意：
您还需要注意：
本项目部署 qwen 模型 以及 chatglm2-6b 模型均需要进行模型文件的下载，大约花费5-10分钟的时间, llama2则因为模型直接集成到镜像里面，不需要进行模型下载部署会比较快一些

免责声明：
免责声明：

1. 该项目的软件部分由开源社区贡献，阿里云仅提供了算力及存储支持；

部署 & 体验

• 🔥 通过 Serverless 应用中心 ， 该应用。

• 通过 Serverless Devs Cli 进行部署：
  • 安装 Serverless Devs Cli 开发者工具 ，并进行授权信息配置 ；
  • 初始化项目：s init fc-llm-api -d fc-llm-api
  • 进入项目，并进行项目部署：cd fc-llm-api && s deploy - y

应用详情

前期准备

使用该项目，您需要有开通以下服务：

服务	备注
函数计算 FC	对 AIGC 进行 CPU/GPU 推理计算
文件存储 NAS	存储大语言模型以及Embedding服务所需要的模型, 新用户请先领取免费试用资源包https://free.aliyun.com/?product=9657388&crowd=personal

推荐您拥有以下的产品权限 / 策略：

应用介绍文档

应用详情

使用阿里云函数计算部署开源大模型应用，提供兼容openai规范的接口和ChatGPT-Next-Web客户端.

使用文档

函数计算应用中心部署方案

选择应用模版

登录到阿里云函数计算控制台->应用->创建应用-> 人工智能 选择fc-llm-api应用模板点击"立即创建"

应用模版设置

设置好知道点击"创建并部署默认环境"

等待部署

该过程您会自动完成

服务访问

服务部署成功之后会返回两个链接 llm-server 为大语言模型的api服务界面，基于swagger， llm-client则是访问客户端,访问客户端需要您输入前面填写的客户端私有密码，填写好之后就可以测试使用了

本地部署方案

• 安装 Serverless Devs Cli 开发者工具npm install @serverless-devs/s -g ，并进行授权信息配置 ；
• 初始化项目：s init fc-llm-api -d fc-llm-api 根据引导选择region，模型，填入客户端密码等
• 进入项目，并进行项目部署：cd fc-llm && s deploy - y 本地部署成功后使用部分参考应用中心部署方案配置管理后台系列操作

使用文档

常见问题

开发者社区

您如果有关于错误的反馈或者未来的期待，您可以在 Serverless Devs repo Issues 中进行反馈和交流。如果您想要加入我们的讨论组或者了解 FC 组件的最新动态，您可以通过以下渠道进行：

微信公众号：serverless	微信小助手：xiaojiangwh	钉钉交流群：33947367