如何添加本地知识库？

[ai2c]

具体需求：主要用于查询文档和书籍名称。ai需要通过一段文字查找出本地知识库中内容归属（比方说A、B、C、D大类等），如果遇到特定分类（每个大类都有一个特定分类，这个特定分类总共包含a、b、c三个选项）就再选出特定分类，最后输出。即属于特定分类的只输出特定分类名称（ a | b |c ），不属特定分类的输出大类名称。

现在想利用ai00达到目的，但不知道如何添加本地知识库。

[cgisky1980]

这样的本地知识库属于非常个性化定制的需求，可以用ai00 的embeddings 接口，结合向量数据库实现。

但是需要提醒的是，目前的embeddings 接口使用rwkv模型，会存在以下问题：

1. 速度偏慢
2. 切换RWKV模型的话，影响embeddings 结果
3. 维度大，所以体积会很大。

计划将支持 sentence-transformers 或者仅仅支持 m3e

[ai2c]

感谢回复！我主要是想了解如何添加知识库，有详细点的步骤或者文档么？
特定分类部分我寻思可以不需要ai参与，直接输出“特定”就好，这样会不会提高ai00的效率呢？
我感觉这个需求应该用到语言处理和向量知识库，我不太懂这个，请指点我！谢谢！

[anrerbo]

个人认为，你可以启动server以后，把http api当做LLM的api。然后RAG之类的，把openai的api修改为本地api即可。向量化之类的，可以和LLM无关的。

[navr32]

perhaps try with openwebui ? and set the setting to point to rwkv ai00 oai api ?