ICLR 2026 论文列表

方向：Graph RAG 分析 全面分析 Graph RAG 的适用场景，探讨何时应该使用图结构来增强检索增强生成。

随着视觉语言模型（ VLM ）越来越多地融入日常生活，对准确的视觉文化理解的需求变得至关重要。然而，这些模型往往不足以有效地解释文化细微差别。 以前的工作已经证明了检索增强生成（ RAG ）在增强纯文本环境中的文化理解方面的有效性，而它的应用 在多式联运场景中仍未得到充分探索。 为了弥合这一差距，我们引入了RAVENEA （ Retrieval-Augmented Visual culturE uNdErstAnding ） ，这是一个旨在通过检索促进视觉文化理解的新基准，重点关注两项任务：以文化为中心的视觉问答（ cVQA ）和以文化为基础的图像字幕（ cIC ）。RAVENEA通过整合超过11,396个由人类注释者策划和排名的独特维基百科文档来扩展现有数据集。 通过对七种多式联运检索器和十五种VLM的广泛评估， RAVENEA揭示了一些未发现的发现： （ i ）一般来说，文化接地注释可以增强多式联运检索和相应的下游任务。（ ii ） VLM在通过文化感知检索进行增强时，通常优于其非增强同行（平均cVQA为+6 ％ ， cIC为+11 ％ ）。 （ iii ）文化感知检索增强的表现因国家而异。这些发现突出了当前多式联运检索器和VLM的局限性，强调了在RAG系统中增强视觉文化理解的必要性。我们相信RAVENEA为推进检索增强视觉文化理解的研究提供了宝贵的资源。

交互式定理证明器（ ITP ）需要手动形式化，这是劳动密集型的，需要专业知识。虽然自动化形式化提供了一种潜在的解决方案，但它面临两大挑战：模型幻觉（例如，未定义的谓词、符号滥用和版本不兼容）以及自然语言描述中模糊或缺少前提导致的语义差距。 为了解决这些问题，我们提出了CRAMF ，这是一个概念驱动的检索增强数学形式化框架。CRAMF通过检索核心数学概念的正式定义来增强基于LLM的自形式化，在代码生成期间提供上下文基础。 然而，由于缺乏结构化知识库，数学概念的多态性以及形式检索所需的高精度，在此环境中应用检索增强生成（ RAG ）并非易事。 我们引入了一个用于从Mathlib4自动构建概念定义知识库的框架， Mathlib4是精益4定理证明器的标准数学库，索引了26,000多个形式定义和1,000多个核心数学概念。为了解决概念多态性，我们提出了使用域级和应用级信号的上下文查询增强。 此外，我们设计了一种具有重新排序的双通道混合检索策略，以确保准确和相关的定义检索。在miniF2F、ProofNet和我们新提出的AdvancedMath基准上的实验表明， CRAMF可以无缝集成到基于LLM的自动形式化器中，从而在翻译准确性方面实现了一致的提高，最高可达62.1% ，平均相对提高29.9%。

尽管检索增强生成（ RAG ）通过检索外部知识库和集成生成的内容显着提高了生成质量，但它面临计算效率瓶颈，特别是在涉及Tree-RAG分层结构的知识检索任务中。 本文提出一种基于改进布谷鸟滤波器的Tree-RAG加速方法，在检索过程中优化实体定位，实现显著的性能提升。Tree-RAG通过引入层次树结构有效地组织实体，而Cuckoo Filter则作为支持快速成员资格查询和动态更新的高效数据结构。 实验结果表明，我们的方法比基线方法快得多，同时保持了高水平的生成质量。例如，我们的方法比DART数据集上的朴素Tree-RAG快800%以上。我们的工作可在https://github.com/TUPYP7180/CFT-RAG-2025上找到。

多模态数据集对于广泛的应用至关重要，但在实践中，它们往往缺少模态。这激发了缺失模态完成（ MMC ）的任务，该任务旨在从可用模态中重建缺失模态，以充分利用多模态数据。 虽然预训练的生成模型提供了一个自然的解决方案，但将它们直接应用于特定领域的MMC通常是无效的，并且微调受到限制，例如有限的完整样本、受限的API访问和高成本。为了解决这些问题，我们提出了RAG4DMC ，这是一个用于数据级MMC的检索增强生成框架。 RAG4DMC从完整的数据集内样本和外部公共数据集构建双知识库，并通过特征对齐和基于聚类的过滤进行增强，以缓解模式和域转移。然后，将模式内检索与跨模式融合相结合的多模式融合检索机制为指导生成提供相关上下文，然后是连贯完成的候选选择机制。 在一般和特定领域数据集上的大量实验表明，我们的方法产生了更准确和语义一致的缺失模态完成，从而大大改善了下游图像文本检索和图像字幕任务。

检索增强生成（ RAG ）通过动态整合外部知识来增强大型语言模型（ LLM ）的推理能力，从而减轻幻觉并加强结构化数据（如图形）的上下文基础。 尽管如此，大多数现有的文本图的RAG变体都集中在低维结构上--将节点视为实体（ 0维） ，将边或路径视为成对或顺序关系（ 1维） ，但忽略周期，这对于关系循环的推理至关重要。这种循环经常出现在需要对相似物体或相对位置进行闭环推断的问题中。 这种局限性通常会导致不完整的上下文基础和有限的推理能力。在这项工作中，我们提出了拓扑增强检索增强生成（ TopoRAG ） ，这是一种用于文本图问答的新框架，可以有效地捕获更高维的拓扑和关系依赖关系。 具体来说， TopoRAG首先将文本图提升到细胞复合体中，以对多维拓扑结构进行建模。利用这些提升的表示，提出了一种拓扑感知子复杂检索机制来提取与输入查询相关的蜂窝复合体，从而提供紧凑且信息丰富的拓扑上下文。 最后，多维拓扑推理机制在这些复合体上运行，以传播关系信息并指导LLM执行结构化的逻辑感知推理。实证评估表明，我们的方法在不同的文本图形任务中一直超过现有的基线。

Agentic Retrieval-Augmented Generation （ RAG ）是一种强大的技术，可以整合大型语言模型（ LLM ）缺乏的外部信息，从而更好地解决问题和回答问题。然而，次优搜索行为广泛存在，例如过度搜索（检索已知信息）和搜索不足（必要时无法搜索） ，从而导致不必要的开销和不可靠的输出。 目前的训练方法通常依赖于强化学习（ RL ）框架中基于结果的奖励，缺乏解决这些低效问题所需的细粒度控制。为了克服这个问题，我们引入了$\ textbf {Hi} $ erarchical $\ textbf {P} $ rocess Rewards for Efficient agentic $\ textbf {RAG} $ (HiPRAG) ，这是一种新颖的培训方法，将细粒度、基于知识的过程奖励融入到RL培训中。 我们的方法通过将客服代表的推理轨迹分解为离散的、可解析的步骤，即时评估每个搜索决策的必要性。然后，我们应用分层奖励函数，该函数根据最优搜索和非搜索步骤的比例，在常用的结果和格式奖励之上提供额外的奖励。 在七个不同QA基准的Qwen2.5和Llama-3.2模型上进行的实验表明，我们的方法达到了65.4\ % （ 3B ）和67.2\ % （ 7B ）的平均准确度，优于强大的代理RAG基线。这在显著提高搜索效率的同时实现，将过度搜索率从先前工作的27\ %以上降至仅2.3\ % ，同时降低了搜索不足率。 这些结果证明了优化推理过程本身的有效性，而不仅仅是最终结果。进一步的实验和分析表明， HiPRAG在广泛的RL算法、模型族、大小和类型中显示出良好的泛化性。这项工作展示了通过RL进行细粒度控制的重要性和潜力，以提高搜索代理推理的效率和最优性。

在处理特定领域的任务时，检索增强生成（ RAG ）可提高大型语言模型（ LLM ）的响应质量，但会引发严重的隐私问题。这是因为用户查询和知识库中的文档通常都包含敏感或机密信息。 为了解决这些问题，我们提出了$\ texttt {Pisces} $ ，这是第一个实用的基于加密的RAG框架，支持双路径检索，同时保护查询和文档。沿着语义检索路径，我们通过利用从粗到细的策略来减少计算和通信开销。 具体地说，一种新颖的遗忘过滤器用于私下选择候选文档集，以减少后续余弦相似性计算的规模。对于词法检索路径，为了减少重复调用标记PSI的开销，我们实现了一种多实例标记PSI协议，以在单次执行中计算BM25评分的术语频率。 $\ texttt {Pisces} $还可以与现有的保护隐私的LLM推理框架集成，以实现端到端的隐私。实验表明， $\ texttt {Pisces} $在1.87%的范围内实现了与明文基线相当的检索准确率。

虽然检索增强生成（ RAG ）具有高级知识密集型任务，但我们发现了一个基本漏洞：关联陷阱。现有系统无法区分因果决定性证据和绝大多数相关但具有误导性的信息，从而导致系统性故障。我们引入了反事实RAG （ CF-RAG ） ，这是一个新的框架，用于操作因果推理以克服这一局限性。 CF-RAG系统地生成和评估反事实查询，以确定因果相关的区别，并采用并行仲裁机制，在不受干扰的情况下协调相互矛盾的证据。在具有挑战性的基准上， CF-RAG大大提高了针对相关性陷阱的鲁棒性，实现了最先进的性能，同时保持了与标准RAG模型相当的效率。

检索增强生成（ RAG ）被广泛用于通过利用外部知识来减轻大型语言模型（ LLM ）的幻觉。传统的RAG系统虽然对简单的查询有效，但却与信息分散的大规模非结构化语料库作斗争。最近的进步结合了知识图来捕获关系结构，从而为复杂的多跳推理任务实现更全面的检索。 然而，现有的基于图的RAG （ GraphRAG ）方法依赖于不稳定且昂贵的关系提取来构建图，通常会产生具有不正确或不一致关系的噪声图，从而降低检索质量。 在本文中，我们重新审视了现有GraphRAG系统的管道，并提出了基于线性图的检索增强生成（ LinearRAG ） ，这是一个实现可靠图构建和精确通道检索的高效框架。具体来说， LinearRAG构建了一个无关系的层次图，称为Tri-Graph ，仅使用轻量级实体提取和语义链接，避免了不稳定的关系建模。 这种新的图形构建范式与语料库大小线性扩展，无需额外的代币消耗，为原始通道提供了经济可靠的索引。对于检索， LinearRAG采用两阶段策略： （ i ）通过局部语义桥接激活相关实体，然后（ ii ）通过全局重要性聚合进行通道检索。 在四个基准数据集上的广泛实验表明， LinearRAG显著优于基线模型。我们的代码和数据集可在https://github.com/DEEP-PolyU/LinearRAG上获得。

尽管最近取得了进展，但大型语言模型（ LLM ）仍然会生成易受攻击的代码。检索增强生成（ RAG ）具有通过整合外部安全知识来增强LLM以实现安全代码生成的潜力。然而，传统的RAG设计难以应对原始安全相关文档的噪音，现有的检索方法忽略了任务描述中隐含的重要安全语义。 为了解决这些问题，我们提出了\ textsc {Rescue} ，这是一个新的RAG框架，用于安全代码生成，具有两项关键创新。首先，我们提出了一种混合知识库构建方法，该方法将LLM辅助的集群-然后-总结蒸馏与程序切片相结合，生成高级安全指南和简洁的、以安全为中心的代码示例。 其次，我们设计了一个层次化的多方面检索，从上到下遍历构建的知识库，并在每个层次上集成多个安全关键事实，确保全面准确的检索。我们在四个基准上评估了\ textsc {Rescue} ，并将其与六个LLM的五种最先进的安全代码生成方法进行了比较。 结果表明，\ textsc {Rescue}将SecurePass @ 1指标平均提高了4.8分，从而建立了全新的最先进的安全性能。此外，我们进行了深入的分析和消融研究，以严格验证\ textsc {Rescue}中单个组件的有效性。我们的代码位于\ url {https://github.com/steven1518/RESCUE}。

Neural networks transform high-dimensional data into compact, structured representations, often modeled as elements of a lower dimensional latent space. In this paper, we present an alternative interpretation of neural models as dynamical systems acting on the latent manifold. Specifically, we show that autoencoder models implicitly define a _latent vector field_ on the manifold, derived by iteratively applying the encoding-decoding map, without any additional training. We observe that standard training procedures introduce inductive biases that lead to the emergence of attractor points within this vector field. Drawing on this insight, we propose to leverage the vector field as a _representation_ for the network, providing a novel tool to analyze the properties of the model and the data. This representation enables to: $(i)$ analyze the generalization and memorization regimes of neural models, even throughout training; $(ii)$ extract prior knowledge encoded in the network's parameters from the attractors, without requiring any input data; $(iii)$ identify out-of-distribution samples from their trajectories in the vector field. We further validate our approach on vision foundation models, showcasing the applicability and effectiveness of our method in real-world scenarios.

Intervention-based model steering offers a lightweight and interpretable alternative to prompting and fine-tuning. However, by adapting strong optimization objectives from fine-tuning, current methods are susceptible to overfitting and often underperform, sometimes generating unnatural outputs. We hypothesize that this is because effective steering requires the faithful identification of internal model mechanisms, not the enforcement of external preferences. To this end, we build on the principles of *distributed alignment search (DAS)*, the standard for causal variable localization, to propose a new steering method: **Concept DAS (CDAS)**. While we adopt the core mechanism of DAS, *distributed interchange intervention (DII)*, we introduce a novel distribution matching objective tailored for the steering task by aligning intervened output distributions with counterfactual distributions. CDAS differs from prior work in two main ways: first, it learns interventions via weak-supervised distribution matching rather than probability maximization; second, it uses DIIs that naturally enable bi-directional steering and allow steering factors to be derived from data, reducing the effort required for hyperparameter tuning and resulting in more faithful and stable control. On AxBench, a large-scale model steering benchmark, we show that CDAS does not always outperform preference-optimization methods but may benefit more from increased model scale. In two safety-related case studies, overriding refusal behaviors of safety-aligned models and neutralizing a chain-of-thought backdoor, CDAS achieves systematic steering while maintaining general model utility. These results indicate that CDAS is complementary to preference-optimization approaches and conditionally constitutes a robust approach to intervention-based model steering.

Change captioning generates descriptions that explicitly describe the differences between two visually similar images. Existing methods operate on static image pairs, thus ignoring the rich temporal dynamics of the change procedure, which is the key to understand not only what has changed but also how it occurs. We introduce ProCap, a novel framework that reformulates change modeling from static image comparison to dynamic procedure modeling. ProCap features a two-stage design: The first stage trains a procedure encoder to learn the change procedure from a sparse set of keyframes. These keyframes are obtained by automatically generating intermediate frames to make the implicit procedural dynamics explicit and then sampling them to mitigate redundancy. Then the encoder learns to capture the latent dynamics of these keyframes via a caption-conditioned, masked reconstruction task. The second stage integrates this trained encoder within an encoder-decoder model for captioning. Instead of relying on explicit frames from the previous stage---a process incurring computational overhead and sensitivity to visual noise---we introduce learnable procedure queries to prompt the encoder for inferring the latent procedure representation, which the decoder then translates into text. The entire model is then trained end-to-end with a captioning loss, ensuring the encoder's output is both temporally coherent and captioning-aligned. Experiments on three datasets demonstrate the effectiveness of ProCap. Code and pre-trained models are available at https://github.com/BlueberryOreo/ProCap.

Fine-tuning vision-language models (VLMs) such as CLIP often leads to catastrophic forgetting of pretrained knowledge. Prior work primarily aims to mitigate forgetting during adaptation; however, forgetting often remains inevitable during this process. We introduce a novel paradigm, continued fine-tuning (CFT), which seeks to recover pretrained knowledge after a zero-shot model has already been adapted. We propose a simple, model-agnostic CFT strategy (named MergeTune) guided by linear mode connectivity (LMC), which can be applied post hoc to existing fine-tuned models without requiring architectural changes. Given a fine-tuned model, we continue fine-tuning its trainable parameters (e.g., soft prompts or linear heads) to search for a continued model which has two low-loss paths to the zero-shot (e.g., CLIP) and the fine-tuned (e.g., CoOp) solutions. By exploiting the geometry of the loss landscape, the continued model implicitly merges the two solutions, restoring pretrained knowledge lost in the fine-tuned counterpart. A challenge is that the vanilla LMC constraint requires data replay from the pretraining task. We approximate this constraint for the zero-shot model via a second-order surrogate, eliminating the need for large-scale data replay. Experiments show that MergeTune improves the harmonic mean of CoOp by +5.6\% on base-novel generalisation without adding parameters. On robust fine-tuning evaluations, the LMC-merged model from MergeTune surpasses ensemble baselines with lower inference cost, achieving further gains and state-of-the-art results when ensembled with the zero-shot model.

Hallucination detection is critical for deploying large language models (LLMs) in real-world applications. Existing hallucination detection methods achieve strong performance when the training and test data come from the same domain, but they suffer from poor cross-domain generalization. In this paper, we study an important yet overlooked problem, termed generalizable hallucination detection (GHD), which aims to train hallucination detectors on data from a single domain while ensuring robust performance across diverse related domains. In studying GHD, we simulate multi-turn dialogues following LLMs' initial response and observe an interesting phenomenon: hallucination-initiated multi-turn dialogues universally exhibit larger uncertainty fluctuations than factual ones across different domains. Based on the phenomenon, we propose a new score SpikeScore, which quantifies abrupt fluctuations in multi-turn dialogues. Through both theoretical analysis and empirical validation, we demonstrate that SpikeScore achieves strong cross-domain separability between hallucinated and non-hallucinated responses. Experiments across multiple LLMs and benchmarks demonstrate that the SpikeScore-based detection method outperforms representative baselines in cross-domain generalization and surpasses advanced generalization-oriented methods, verifying the effectiveness of our method in cross-domain hallucination detection.

We introduce Value Sign Flip (VSF), a simple and efficient method for incorporating negative prompt guidance in few-step (1-8 steps) diffusion and flow-matching image generation models. Unlike existing approaches such as classifier-free guidance (CFG), NASA, and NAG, VSF dynamically suppresses undesired content by flipping the sign of attention values from negative prompts. Our method requires only a small computational overhead and integrates effectively with MMDiT-style architectures such as Stable Diffusion 3.5 Turbo and Flux Schnell, as well as cross-attention-based models like Wan. We validate VSF on challenging datasets with complex prompt pairs and demonstrate superior performance in both static image and video generation tasks. Experimental results on our proposed dataset NegGenBench show that VSF significantly improves negative prompt adherence (reaching 0.420 negative score for quality settings and 0.545 for strong settings) compared to prior methods in few-step models, which scored 0.320-0.380 negative score, and even CFG in non-few-step models (scored 0.300 negative score), while maintaining competitive image quality and positive prompt adherence. Our method is also a suppressed generate-then-edit pipeline, while also having a much faster runtime. Code, ComfyUI node, and dataset will be released. Videos generated are in the Supplementary Material.