提出了 Uni-NLX，一个统一的框架，将所有自然语言解释任务整合到一个紧凑的多任务模型中，使用文本生成的统一训练目标。引入了两个新的 NLE 数据集：ImageNetX，一个包含 144K 个样本的数据集，用于解释 ImageNet 分类；VQA-ParaX，一个包含 123K 个样本的数据集，用于解释视觉问答（VQA）任务。通过训练这 1M 个组合的 NLE 样本，在参数数量减少 7 倍的情况下，我们的统一框架能够同时执行七个 NLE 任务，包括 VQA、视觉识别和视觉推理任务，在某些任务中甚至表现出色于以前方法中的独立任务特定模型。

Aug, 2023

本文提到了一个新的 SNLI-VE corpus 数据集，用于识别视觉 - 文本蕴含，介绍了一个数据收集的过程去修正该数据集的标签错误，进一步评估了更正在的数据集 SNLI-VE-2.0，并且提供了开源的人写的自然语言解释用于训练模型，最后测试它们的表现。

Apr, 2020

通过扩展自然语言推理数据集并引入人工提供的自然语言解释，我们实现了能够学习人类提供解释的机器学习模型，并将其用于提高模型性能和确定其可靠性的研究。

Dec, 2018

提出了一种名为 VisEval 的新的 NL2VIS 基准，该基准通过引入高质量大规模数据集并倡导综合自动化评估方法，揭示了目前研究中普遍存在的挑战并为未来的进一步发展提供了重要的见解。

Jul, 2024

本文介绍了一项新的推理任务 - 视觉蕴含（Visual Entailment，VE），VE 与传统的文本蕴含（Textual Entailment，TE）任务不同，它的前提是由图像定义的，而不是像 TE 任务中那样由自然语言句子定义的。在 Stanford 自然语言推理语料库和 Flickr30k 的基础上，提出了一个新的数据集 SNLI-VE，并介绍了一种可解释的视觉蕴含模型（EVE）来解决 VE 问题。此外，本文还将 EVE 和其他几种最先进的基于视觉问答（VQA）的模型在 SNLI-VE 数据集上进行了评估，促进了基于语境的语言理解，并提供了关于现代 VQA 模型性能的见识。

Nov, 2018

利用深度神经模型进行自然语言指令导航机器人在未知环境中是实现具体化人工智能的关键步骤。本文通过建立定量基准来评估对视觉语言导航模型进行解释的方法，并提出了一种新的基于擦除的评估流程，以测量顺序决策环境中的逐步文本解释。通过实验证实了两个代表性视觉语言导航模型的几种解释方法，并揭示了宝贵的研究结果。

Oct, 2023

本文探讨了目前逐渐普及应用的神经模型的透明度和可理解性的需求，提出了三种可信度测量方法，并在对不同模型架构的比较中使用 VQA-X 和 e-SNLI-VE 数据集进行了评估。

Apr, 2023

本文介绍了一个新的推理任务 Visual Entailment（VE），并构建了一个数据集 SNLI-VE，用于评估已有的 VQA 基线和构建了一个名为 EVE 的模型来解决 VE 任务，这个模型达到了 71% 的准确率并展示了 EVE 通过跨模态注意力可解释性的效果。

Jan, 2019

通过应用大规模多任务生成 Transformer 模型的最新进展，我们提出了一种新的 VL-NLE 方法，其提供人类更容易理解的解释，并优于当前技术水平。同时，我们还探讨了高质量 NLE 生成的伦理影响和其他最近 VL-NLE 研究中存在的问题。

Dec, 2022

本文提出了一个基于纯视觉的命名实体链接 (VNEL) 任务，其目的是仅基于图像识别出图像中的实体，并将其链接到知识库中的对应命名实体。同时，作者们还提出了三个不同的子任务，分别为 V2VEL、V2TEL 和 V2VTEL，针对不同类型实体，分别采取不同的处理方式，并使用人类标注的实体数据集 WIKIPerson，为每个子任务建立了基础算法模型，并对模型的有效性进行了实验验证。

Nov, 2022