RAVENEA: A Benchmark for Multimodal Retrieval-Augmented Visual Culture Understanding

摘要

随着视觉语言模型（ VLM ）越来越多地融入日常生活，对准确的视觉文化理解的需求变得至关重要。然而，这些模型往往不足以有效地解释文化细微差别。 以前的工作已经证明了检索增强生成（ RAG ）在增强纯文本环境中的文化理解方面的有效性，而它的应用 在多式联运场景中仍未得到充分探索。 为了弥合这一差距，我们引入了RAVENEA （ Retrieval-Augmented Visual culturE uNdErstAnding ） ，这是一个旨在通过检索促进视觉文化理解的新基准，重点关注两项任务：以文化为中心的视觉问答（ cVQA ）和以文化为基础的图像字幕（ cIC ）。RAVENEA通过整合超过11,396个由人类注释者策划和排名的独特维基百科文档来扩展现有数据集。 通过对七种多式联运检索器和十五种VLM的广泛评估， RAVENEA揭示了一些未发现的发现： （ i ）一般来说，文化接地注释可以增强多式联运检索和相应的下游任务。（ ii ） VLM在通过文化感知检索进行增强时，通常优于其非增强同行（平均cVQA为+6 ％ ， cIC为+11 ％ ）。 （ iii ）文化感知检索增强的表现因国家而异。这些发现突出了当前多式联运检索器和VLM的局限性，强调了在RAG系统中增强视觉文化理解的必要性。我们相信RAVENEA为推进检索增强视觉文化理解的研究提供了宝贵的资源。