GPT的知识库涉及领域丰富、涵盖范围广泛,但是一直有一定的实效滞后,例如最新的GPT-4知识更新截止于2023年4月。为了解决这个限制,我们将实时的网络浏览集成到了 GPT-4 中,将具有时效性的信息结合大语言模型先进的语言处理能力,并且速度要快于网页端 GPT-4 自带的网络浏览。🔗
您可以将这个项目看作 ChatGPT search
和 new Bing
的一个小型实现,结合了Q&A和搜索引擎的能力。🌟
-
通过 Serper (Google API) 进行快速实时网络搜索
-
根据输入自动调整 搜索地区 和 响应语言
-
多线程 提取网页主体内容,减少 token 数量的花费
-
使用 OpenAI Embedding 和 ChromaDB 进行语义搜索
-
LLM 生成的响应中附带参考列表和网络信息的来源
-
支持自定义模型,AI的角色,和输出格式
-
将 LLM 响应中的每个引用句子与源网站的标题、摘要和链接匹配
Screen.Recording.2023-11-24.mp4
运行 main.py
或者 llm_answer.py
, 首先需要:
- 稳定的网络连接可以访问到 OpenAI
- Python 3.11.5 (不一定完全相同)
- Serper API Key
- Serper: 提供 2,500 次免费查询(额度充足且响应快速)
- OpenAI API Key
- OpenAI: 新帐户包含 $5 的免费额度 (推荐使用 GPT-3.5-turbo-16k)
- 安装所需的依赖包 (中国大陆可以附加
-i https://pypi.tuna.tsinghua.edu.cn/simple
):
pip install -r requirements.txt
-
保存你的 API Keys 到
config.yaml
-
运行
main.py
或者llm_answer.py
, 查询关键词可以在这两个文件中修改