TuGraph集成

[Yue-Rain]

特别感谢社区开源了这么一个功能丰富的项目，尤其最近和TuGraph集成的特性很惊艳。
关于TuGraph集成有一些疑问，想和大家交流交流：
1、目前开源的代码 大模型采用的是openai的gpt3.5、gpt4 测试的也是英文文档，中文大模型和中文文档有没有一些测试案例？
2、看了源代码，是利用大模型提取输入文档中的三元组，然后利用三元组来构建知识图谱，这个对大模型和文档都有要求吧。如果大模型的知识抽取能力较差，输入文档的主谓宾关系不是那么显而易见，是不是最终的效果会受到影响？所以大模型和输入文档都有哪些建议，以生成质量较高的知识图谱？
3、对于已经构造好的三元组，是否支持导入TuGraph进行知识问答？

[fanzhidongyzby]

首先感谢您对TuGraph在DB-GPT中集成特性的认可，关于以上三个问题，解答如下：
1、关于Graph RAG测试文档，我们优先选用了英文文档，以便于非中文的开发者更好的了解和使用该特性。但是我们内部对中英文文档都做了测试，您可以选用自己的中文测试文档进行体验确认。
2、三元组抽取（知识抽取）是一个很有深度的技术领域，也是知识图谱工程中我认为最关键的流程之一。当前采用的“提示词+大模型”模式是比较经典和直接的做法，但是我们预留了Extractor接口扩展，以方便未来可以集成更好地知识抽取工具，如传统的NLP知识抽取算法、知识抽取微调大模型等等。另外，大模型的能力确实非常影响三元组抽取的效果，经过内部验证GPT4是表现最好的通用大模型，但是价格高昂。所以我们改进了提示词模板，并结合GPT-3.5实现基本符合预期的三元组抽取。我们也很期待您能对提示词模板进行改进，并在其他大模型服务上做更充分的验证和测试。
3、预先准备好的三元组，可以通过TuGraph数据导入工具事先写入图数据库。DB-GPT创建的知识库名称就是图数据库的图名称，在文档切片时，会自动合并到已有的图中。TuGraph数据导入文档：https://tugraph-db.readthedocs.io/zh-cn/latest/6.utility-tools/1.data-import.html

[Yue-Rain]

还有一个问题，目前基于知识图谱的问答的效果受文档、大模型等多重因素的影响，以下面这个图为例，

首先需要从文档中找出三元组，然后构建知识图谱；应用的时候，调用大模型将关键词取出，有的甚至还要转成英文，再去图谱里搜索，整个的效果非常不可控。
相反直接将文档以知识库的方式载入，问答的效果更好，整个流程也更简单。
所以在大模型能力越来越强的环境下，辛辛苦苦知识图谱还有必要吗？

[fanzhidongyzby]

好问题！首先，我认为Graph RAG并非对传统的RAG方案的直接替代，而是能力的补充。
基于ANN相似度匹配的结果一般具有不确定性和可解释性低的问题，而知识图谱从天然角度可以对此问题进行弥补。后续甚至可以进一步扩展为向量和三元组的混合上下文，Neo4jVector其实就是类似的设计理念，当然工程实践中也可以结合多个向量存储和图存储系统实现相似的逻辑，从而保证上下文质量的前提下，补充更确定的上下文信息。但Graph RAG并非一定是必须的，这取决于您的实际业务诉求，对确定性知识需求不强的业务使用传统RAG一般是足够的。

当下发布的Graph RAG框架能力最重要的是提供了DB-GPT上的通用RAG实现规范，兼容了向量索引和图索引存储，对文本转换（嵌入、抽取、翻译）做了统一的设计，并且保留了知识图谱系统和图存储系统的扩展性。 我们基于通用RAG的设计，结合LLM和TuGraph做了一个全流程的可用的实现方案，但绝不是目前最完美的实现。通过引入更强的知识抽取工具和检索组件，可以进一步增强Graph RAG的生产表现，这部分工作我们仍在不断地改进和探索，也期望更多开源爱好者的加入，参与贡献。