HiPRAG: Hierarchical Process Rewards for Efficient Agentic Retrieval Augmented Generation

摘要

Agentic Retrieval-Augmented Generation （ RAG ）是一种强大的技术，可以整合大型语言模型（ LLM ）缺乏的外部信息，从而更好地解决问题和回答问题。然而，次优搜索行为广泛存在，例如过度搜索（检索已知信息）和搜索不足（必要时无法搜索） ，从而导致不必要的开销和不可靠的输出。 目前的训练方法通常依赖于强化学习（ RL ）框架中基于结果的奖励，缺乏解决这些低效问题所需的细粒度控制。为了克服这个问题，我们引入了$\ textbf {Hi} $ erarchical $\ textbf {P} $ rocess Rewards for Efficient agentic $\ textbf {RAG} $ (HiPRAG) ，这是一种新颖的培训方法，将细粒度、基于知识的过程奖励融入到RL培训中。 我们的方法通过将客服代表的推理轨迹分解为离散的、可解析的步骤，即时评估每个搜索决策的必要性。然后，我们应用分层奖励函数，该函数根据最优搜索和非搜索步骤的比例，在常用的结果和格式奖励之上提供额外的奖励。 在七个不同QA基准的Qwen2.5和Llama-3.2模型上进行的实验表明，我们的方法达到了65.4\ % （ 3B ）和67.2\ % （ 7B ）的平均准确度，优于强大的代理RAG基线。这在显著提高搜索效率的同时实现，将过度搜索率从先前工作的27\ %以上降至仅2.3\ % ，同时降低了搜索不足率。 这些结果证明了优化推理过程本身的有效性，而不仅仅是最终结果。进一步的实验和分析表明， HiPRAG在广泛的RL算法、模型族、大小和类型中显示出良好的泛化性。这项工作展示了通过RL进行细粒度控制的重要性和潜力，以提高搜索代理推理的效率和最优性。