RAG4DMC: Retrieval-Augmented Generation for Data-Level Modality Completion

摘要

多模态数据集对于广泛的应用至关重要，但在实践中，它们往往缺少模态。这激发了缺失模态完成（ MMC ）的任务，该任务旨在从可用模态中重建缺失模态，以充分利用多模态数据。 虽然预训练的生成模型提供了一个自然的解决方案，但将它们直接应用于特定领域的MMC通常是无效的，并且微调受到限制，例如有限的完整样本、受限的API访问和高成本。为了解决这些问题，我们提出了RAG4DMC ，这是一个用于数据级MMC的检索增强生成框架。 RAG4DMC从完整的数据集内样本和外部公共数据集构建双知识库，并通过特征对齐和基于聚类的过滤进行增强，以缓解模式和域转移。然后，将模式内检索与跨模式融合相结合的多模式融合检索机制为指导生成提供相关上下文，然后是连贯完成的候选选择机制。 在一般和特定领域数据集上的大量实验表明，我们的方法产生了更准确和语义一致的缺失模态完成，从而大大改善了下游图像文本检索和图像字幕任务。