ICLR 2026 论文列表

Transformers excel through content-addressable retrieval and the ability to exploit contexts of, in principle, unbounded length. We recast associative memory at the level of probability measures, treating a context as a distribution over tokens and viewing attention as an integral operator on measures. Concretely, for mixture contexts $\nu = I^{-1} \sum_{i=1}^I \mu^{(i)}$ and a query $x_{\mathrm{q}}(i^\*)$, the task decomposes into (i) recall of the relevant component $\mu^{(i^\*)}$ and (ii) prediction from $(\mu_{i^\*},x_{\mathrm{q}})$. We study learned softmax attention (not a frozen kernel) trained by empirical risk minimization and show that a shallow measure-theoretic Transformer composed with an MLP learns the recall-and-predict map under a spectral assumption on the input densities. We further establish a matching minimax lower bound with the same rate exponent (up to multiplicative constants), proving sharpness of the convergence order. The framework offers a principled recipe for designing and analyzing Transformers that recall from arbitrarily long, distributional contexts with provable generalization guarantees.

Humans rely on memory to perform tasks; our goal is to endow robot policies with the same ability. Naively conditioning on long observation histories is computationally expensive and brittle under covariate shift, while indiscriminate subsampling of history leads to irrelevant or redundant information. We propose a hierarchical policy framework, where the high-level policy is trained to select and track previous task-relevant keyframes from its experience. The high-level policy uses selected keyframes and the most recent frames when generating text instructions for a low-level policy to execute. This design is compatible with existing vision-language-action (VLA) models and enables the system to efficiently reason over long-horizon dependencies. In our experiments, we fine-tune Qwen2.5-VL-7B-Instruct and $\pi_{0.5}$ as the high-level and low-level policies respectively, using demonstrations supplemented with minimal language annotations. Our approach, MemER, outperforms prior methods on three real-world long-horizon robotic manipulation tasks that require minutes of memory. Videos and code can be found at https://memer-policy.github.io.

Modern approaches to enhancing Large Language Models' factual accuracy and knowledge utilization face a fundamental trade-off: non-parametric retrieval-augmented generation (RAG) provides flexible access to external knowledge but suffers from high inference latency and shallow integration, while parametric fine-tuning methods like LoRA risk catastrophic forgetting and degraded general capabilities. In this work, we propose MLP Memory, a lightweight parametric module that learns to internalize retrieval patterns without explicit document access. By pretraining an MLP to imitate a $k$NN retriever's behavior on the entire pretraining dataset, we create a differentiable memory component that captures the benefits of retrieval-based knowledge access in a fully parametric form. Our architecture integrates this pretrained MLP Memory with Transformer decoders through simple probability interpolation, achieving 12.3\% relative improvement on five question-answering benchmarks and 5.2 points absolute gain across nine general NLP tasks, while reducing hallucinations by up to 10 points on HaluEval. Moreover, MLP Memory delivers 2.5$\times$ faster inference than RAG with superior accuracy. Our findings show that learning retrieval patterns parametrically bridges the gap between efficient inference and effective knowledge access, offering a practical alternative to both RAG and fine-tuning approaches.

方向：关联记忆 + 图检索 基于图的关联记忆系统，解决大规模文档集合中语义相关信息的高效检索问题。

方向：RAG 忠实性 + 可解释性 用稀疏自编码器检测和缓解 RAG 系统中的忠实性失败（生成内容与检索证据矛盾或超出范围）。

方向：多源 RAG + 重排序优化 解决多源 RAG 中统一聚合或静态选择单一来源的局限，提出梯度感知的重排序优化方法。

交互式定理证明器（ ITP ）需要手动形式化，这是劳动密集型的，需要专业知识。虽然自动化形式化提供了一种潜在的解决方案，但它面临两大挑战：模型幻觉（例如，未定义的谓词、符号滥用和版本不兼容）以及自然语言描述中模糊或缺少前提导致的语义差距。 为了解决这些问题，我们提出了CRAMF ，这是一个概念驱动的检索增强数学形式化框架。CRAMF通过检索核心数学概念的正式定义来增强基于LLM的自形式化，在代码生成期间提供上下文基础。 然而，由于缺乏结构化知识库，数学概念的多态性以及形式检索所需的高精度，在此环境中应用检索增强生成（ RAG ）并非易事。 我们引入了一个用于从Mathlib4自动构建概念定义知识库的框架， Mathlib4是精益4定理证明器的标准数学库，索引了26,000多个形式定义和1,000多个核心数学概念。为了解决概念多态性，我们提出了使用域级和应用级信号的上下文查询增强。 此外，我们设计了一种具有重新排序的双通道混合检索策略，以确保准确和相关的定义检索。在miniF2F、ProofNet和我们新提出的AdvancedMath基准上的实验表明， CRAMF可以无缝集成到基于LLM的自动形式化器中，从而在翻译准确性方面实现了一致的提高，最高可达62.1% ，平均相对提高29.9%。

在处理特定领域的任务时，检索增强生成（ RAG ）可提高大型语言模型（ LLM ）的响应质量，但会引发严重的隐私问题。这是因为用户查询和知识库中的文档通常都包含敏感或机密信息。 为了解决这些问题，我们提出了$\ texttt {Pisces} $ ，这是第一个实用的基于加密的RAG框架，支持双路径检索，同时保护查询和文档。沿着语义检索路径，我们通过利用从粗到细的策略来减少计算和通信开销。 具体地说，一种新颖的遗忘过滤器用于私下选择候选文档集，以减少后续余弦相似性计算的规模。对于词法检索路径，为了减少重复调用标记PSI的开销，我们实现了一种多实例标记PSI协议，以在单次执行中计算BM25评分的术语频率。 $\ texttt {Pisces} $还可以与现有的保护隐私的LLM推理框架集成，以实现端到端的隐私。实验表明， $\ texttt {Pisces} $在1.87%的范围内实现了与明文基线相当的检索准确率。

虽然检索增强生成（ RAG ）具有高级知识密集型任务，但我们发现了一个基本漏洞：关联陷阱。现有系统无法区分因果决定性证据和绝大多数相关但具有误导性的信息，从而导致系统性故障。我们引入了反事实RAG （ CF-RAG ） ，这是一个新的框架，用于操作因果推理以克服这一局限性。 CF-RAG系统地生成和评估反事实查询，以确定因果相关的区别，并采用并行仲裁机制，在不受干扰的情况下协调相互矛盾的证据。在具有挑战性的基准上， CF-RAG大大提高了针对相关性陷阱的鲁棒性，实现了最先进的性能，同时保持了与标准RAG模型相当的效率。

尽管最近取得了进展，但大型语言模型（ LLM ）仍然会生成易受攻击的代码。检索增强生成（ RAG ）具有通过整合外部安全知识来增强LLM以实现安全代码生成的潜力。然而，传统的RAG设计难以应对原始安全相关文档的噪音，现有的检索方法忽略了任务描述中隐含的重要安全语义。 为了解决这些问题，我们提出了\ textsc {Rescue} ，这是一个新的RAG框架，用于安全代码生成，具有两项关键创新。首先，我们提出了一种混合知识库构建方法，该方法将LLM辅助的集群-然后-总结蒸馏与程序切片相结合，生成高级安全指南和简洁的、以安全为中心的代码示例。 其次，我们设计了一个层次化的多方面检索，从上到下遍历构建的知识库，并在每个层次上集成多个安全关键事实，确保全面准确的检索。我们在四个基准上评估了\ textsc {Rescue} ，并将其与六个LLM的五种最先进的安全代码生成方法进行了比较。 结果表明，\ textsc {Rescue}将SecurePass @ 1指标平均提高了4.8分，从而建立了全新的最先进的安全性能。此外，我们进行了深入的分析和消融研究，以严格验证\ textsc {Rescue}中单个组件的有效性。我们的代码位于\ url {https://github.com/steven1518/RESCUE}。