CVPRApr, 2022

Winoground: 探究视觉和语言模型的视觉语言组成性

PDF
TL;DR介绍了一项新的任务和数据集 Winoground，用于评估视觉和语言模型进行视觉 - 语言组成推理的能力，展示了目前最先进的视觉和语言模型在该任务上表现不尽如人意的情况，并探讨如何改进模型的方法。
visio-linguistic compositional reasoningwinoground datasetmodel performancestate-of-the-art vision and language modelsevaluation set
发现论文，激发创造
  • Winoground 的困难在哪里？调查视觉语言组合的失败

    通过一系列实验和数据分析，发现视觉和语言模型中融合文字和视觉表示的挑战可能不在于组合性语言理解，而在于其他能力，如常识推理、低分辨率图像中小物体的定位等，并提出数据扩充等解决方案。

    Nov, 2022

  • 大型视觉 - 语言模型中的复合推理引导

    使用一种新颖的生成方法，我们对大型视觉语言模型（如 GPT-4）进行控制，以描述图像并进行组合推理，在 Winoground 数据集上优于其他嵌入式方法，并在最佳描述的增强下获得最高 10% 的准确率改进。

    Jan, 2024

  • 探索视觉语言组合性和识别的光谱

    研究了视觉和语言模型领域的复杂关系，特别是在语言理解和细粒度图像与文本对齐方面，探索并评估了现有的 VLMs，在组合性和识别准确性之间的模式和权衡，提出了改进两者能力和基准的策略性努力的必要性。

    Jun, 2024

  • 增强 CLIP 的改进视觉语言推理

    通过使用不同的图像参数化方法，利用生成模型和巧妙设计的蒸馏目标，我们提出了一种轻量级而高效的方法 SDS-CLIP，来改善 CLIP 模型的组合视觉 - 语言推理能力并在多个数据集上显示了显著的性能提升。

    Jul, 2023

  • 描绘模糊性：对 Winograd 模式挑战的视觉转折

    利用 GPT-4 生成提示并使用 Diffusion Attentive Attribution Maps (DAAM) 进行热图分析，我们引入了一个新的数据集 WinoVis，用于在多模态环境中对文本到图像模型进行代词消岐。通过对连续模型版本的评估，我们发现尽管有逐步的进展，Stable Diffusion 2.0 在 WinoVis 上的准确率仅为 56.7％，只略微超过随机猜测。进一步的错误分析确定了未来研究的重要方向，旨在提升文本到图像模型在解释和与复杂视觉世界交互的能力。

    May, 2024

  • 视觉语境下的语义组合模型

    本文探讨了视觉图像和语言语义的组合结构问题，并提出了一些方法，如 WinogroundVQA, Syntactic Neural Module Distillation, Causal Tracing for Image Captioning Models,Syntactic MeanPool 和 Cross-modal Attention Congruence Regularization，以提高这种组合结构的能力。

    May, 2023

  • 探究大型视觉语言模型的概念理解

    本文介绍了一种新的框架，用于探究和提升视觉语言模型的关系、组合和上下文理解。我们提出了一个基准数据集来检测内容理解的三个方面。我们实验了 5 种流行的模型，并发现它们大多数难以展示出概念理解。然而，我们发现交叉注意力可以帮助学习概念理解，并提出了一种新的微调技术，以奖励我们提出的三个概念理解措施。我们希望这些基准测试可以帮助社区评估和改进大型视觉语言模型的概念理解能力。

    Apr, 2023

  • 从博弈论视角诊断视觉语言模型的组合知识

    通过评估不同方面的结构性理解，例如关系和属性，系统地揭示了视觉语言模型在结构性推理方面的弱点，并提供了有用且可靠的指导，以便未来的研究。

    May, 2024

  • 视觉引导语言学习：语言游戏，数据集，任务和模型综述

    对于基于语言模型目标在大规模纯文本数据上进行训练的几种机器学习模型，在许多自然语言理解和生成任务上取得了令人印象深刻的结果。然而，对于语义的许多方面，仅仅通过 “倾听收音机” 是无法学习到的。本文系统地回顾了视觉 + 语言领域中提出的多个任务和模型。利用维特根斯坦的 “语言游戏” 思想，将这些任务分为 3 个不同的类别：1）区分性游戏，2）生成性游戏，和 3）交互式游戏。我们的文献分析提供了证据，表明未来的工作应该专注于重要的交互式游戏，在其中自然语言的交流对于解决关于物体指称和行动计划的不确定性是必要的，而物理体现则是理解场景和事件语义的重要条件。作为总体，这些是发展基于神经模型的扎根意义的关键要求。

    Dec, 2023

  • 视觉场景的基于语义 grounded 语义构成

    本篇研究介绍了一种基于视觉语言理解模型的单词语义组合来生成复杂指代表达式的理论，介绍了其在空间指代表达式中的应用及在语义理解中对视觉语境的影响研究。

    Jun, 2011