本文介绍了一个新的推理任务 Visual Entailment（VE），并构建了一个数据集 SNLI-VE，用于评估已有的 VQA 基线和构建了一个名为 EVE 的模型来解决 VE 任务，这个模型达到了 71% 的准确率并展示了 EVE 通过跨模态注意力可解释性的效果。

Jan, 2019

本文介绍了一项新的推理任务 - 视觉蕴含（Visual Entailment，VE），VE 与传统的文本蕴含（Textual Entailment，TE）任务不同，它的前提是由图像定义的，而不是像 TE 任务中那样由自然语言句子定义的。在 Stanford 自然语言推理语料库和 Flickr30k 的基础上，提出了一个新的数据集 SNLI-VE，并介绍了一种可解释的视觉蕴含模型（EVE）来解决 VE 问题。此外，本文还将 EVE 和其他几种最先进的基于视觉问答（VQA）的模型在 SNLI-VE 数据集上进行了评估，促进了基于语境的语言理解，并提供了关于现代 VQA 模型性能的见识。

Nov, 2018

通过减少与图像不相关的信息，保留原始表达的关键信息，并确保减少的表达仍然能够唯一描述图像中的原始对象，我们提出了一种名为 PEELING 的文本扰动方法，用于对 VG 模型进行敌对测试。

Mar, 2024

本研究介绍了一个跨越 20 种语言的多模式多语言标准化测试集，用于评估多语言多模式的迁移学习效果，结果表明翻译测试优于零射击传递，只有很少的无标签文本数据可用于预训练，而且源语言和目标语言之间的距离对成绩的影响较小。

Jan, 2022

本文介绍了基于 CLIP 的模型在预测物体关系方面的潜力及对 UVTransE 框架进行了优化，提出了 CLIP Representation Enhanced Predicate Estimation (CREPE) 方法，通过对三个边界框的文本表示进行对比训练，取得了 state-of-the-art 的预测成果。

Jul, 2023

本论文提出了一种新的基于深度学习的架构 —— 多模态注意力翻译嵌入模型，该模型使用多模态关注机制驱动每个分支的视觉特征，并在常用的 VRD 数据集上的实验表明，该方法明显优于其他相关方法。

Feb, 2019

提出一种基于 VTransE 方法的上下文增强翻译嵌入模型，可以捕捉常见和罕见关系，进而提升图像理解能力。该模型可以有效地识别已知关系和未知关系，同时在多个基准测试中取得了优秀的表现，特别是在场景图生成任务中表现尤为突出。

May, 2019

提出了一种新的基于关系表示学习和卷积物体检测网络的视觉关系检测方法 VTransE，该方法可以有效地定位和预测复杂的视觉关系三元组，同时在两个大规模数据集上验证了其有效性。

Feb, 2017

本研究主要评估和基准测定在物体装配任务中视觉表示的鲁棒性。研究采用了一个视觉运动策略学习的通用框架，将预训练模型用作视觉编码器，并发现从头开始训练的视觉编码器在双臂操纵设置中表现出更好的性能，而现有的预训练模型则不足以满足此任务所需的重要视觉特征。此外，研究还讨论了旋转表示和相关损失函数，这些能够大幅提高策略学习的效果，提出了一种用于评估视觉运动策略学习进展的新型任务场景，特别关注提高复杂装配任务的鲁棒性，需要同时进行几何和空间推理。

Oct, 2023

本文提到了一个新的 SNLI-VE corpus 数据集，用于识别视觉 - 文本蕴含，介绍了一个数据收集的过程去修正该数据集的标签错误，进一步评估了更正在的数据集 SNLI-VE-2.0，并且提供了开源的人写的自然语言解释用于训练模型，最后测试它们的表现。

Apr, 2020