LinearRAG: Linear Graph Retrieval Augmented Generation on Large-scale Corpora

摘要

检索增强生成（ RAG ）被广泛用于通过利用外部知识来减轻大型语言模型（ LLM ）的幻觉。传统的RAG系统虽然对简单的查询有效，但却与信息分散的大规模非结构化语料库作斗争。最近的进步结合了知识图来捕获关系结构，从而为复杂的多跳推理任务实现更全面的检索。 然而，现有的基于图的RAG （ GraphRAG ）方法依赖于不稳定且昂贵的关系提取来构建图，通常会产生具有不正确或不一致关系的噪声图，从而降低检索质量。 在本文中，我们重新审视了现有GraphRAG系统的管道，并提出了基于线性图的检索增强生成（ LinearRAG ） ，这是一个实现可靠图构建和精确通道检索的高效框架。具体来说， LinearRAG构建了一个无关系的层次图，称为Tri-Graph ，仅使用轻量级实体提取和语义链接，避免了不稳定的关系建模。 这种新的图形构建范式与语料库大小线性扩展，无需额外的代币消耗，为原始通道提供了经济可靠的索引。对于检索， LinearRAG采用两阶段策略： （ i ）通过局部语义桥接激活相关实体，然后（ ii ）通过全局重要性聚合进行通道检索。 在四个基准数据集上的广泛实验表明， LinearRAG显著优于基线模型。我们的代码和数据集可在https://github.com/DEEP-PolyU/LinearRAG上获得。