Nov, 2018

基于视觉支持的语言学习的视觉蕴涵任务

PDF
TL;DR本文介绍了一项新的推理任务 - 视觉蕴含（Visual Entailment，VE），VE 与传统的文本蕴含（Textual Entailment，TE）任务不同，它的前提是由图像定义的，而不是像 TE 任务中那样由自然语言句子定义的。在 Stanford 自然语言推理语料库和 Flickr30k 的基础上，提出了一个新的数据集 SNLI-VE，并介绍了一种可解释的视觉蕴含模型（EVE）来解决 VE 问题。此外，本文还将 EVE 和其他几种最先进的基于视觉问答（VQA）的模型在 SNLI-VE 数据集上进行了评估，促进了基于语境的语言理解，并提供了关于现代 VQA 模型性能的见识。
发现论文，激发创造
  • 视觉蕴涵：一种精细图像理解的新任务

    本文介绍了一个新的推理任务 Visual Entailment（VE），并构建了一个数据集 SNLI-VE，用于评估已有的 VQA 基线和构建了一个名为 EVE 的模型来解决 VE 任务，这个模型达到了 71% 的准确率并展示了 EVE 通过跨模态注意力可解释性的效果。

    Jan, 2019

  • e-SNLI-VE: 图文蕴含纠错与自然语言解释

    本文提到了一个新的 SNLI-VE corpus 数据集，用于识别视觉 - 文本蕴含，介绍了一个数据收集的过程去修正该数据集的标签错误，进一步评估了更正在的数据集 SNLI-VE-2.0，并且提供了开源的人写的自然语言解释用于训练模型，最后测试它们的表现。

    Apr, 2020

  • 文本蕴含基础

    本文研究了文本蕴涵中的语义关系 —— 通过可能世界来分析前提和假说之间的关系，同时结合图像进行多模态的分析，结果表明文本和视觉信息相结合可以更好地进行文本蕴涵，但当前多模态模型在 “接地” 方面还不够优化。

    Jun, 2018

  • e-ViL: 视觉语言任务中自然语言解释的数据集和基准测试

    本研究介绍了 e-ViL 和 e-SNLI-VE 为可解释的视觉语言任务建立了一个统一的评估框架。该任务旨在生成自然语言解释，并涉及四个模型和三个数据集。研究人员还提出了一种新模型，该模型结合了 UNITER 和 GPT-2，对所有数据集的现有技术水平取得了很大的突破。

    May, 2021

  • 再次检查：通过视觉蕴涵进行逐步视觉问答

    本文提出了一种基于视觉蕴含的选择性 - 重新排名（SAR）渐进式框架解决 VQA 模型的表面相关性问题，通过选取与图像或问题相关的候选答案，并使用视觉蕴含验证每个答案是否可信，实现了对候选答案的有效排序，从而在 VQA-CP v2 数据集上取得了 7.55％的准确率提高，达到了新的最高水平。

    Jun, 2021

  • 视觉命名实体链接：一个新数据集和一个基准

    本文提出了一个基于纯视觉的命名实体链接 (VNEL) 任务，其目的是仅基于图像识别出图像中的实体，并将其链接到知识库中的对应命名实体。同时，作者们还提出了三个不同的子任务，分别为 V2VEL、V2TEL 和 V2VTEL，针对不同类型实体，分别采取不同的处理方式，并使用人类标注的实体数据集 WIKIPerson，为每个子任务建立了基础算法模型，并对模型的有效性进行了实验验证。

    Nov, 2022

  • 多前提自然语言推理

    该论文定义了一项新的文本蕴含任务，要求对多个前提句子进行推断，提出了一个新的数据集来最小化平凡的词汇推理，强调对日常事件的知识，并为文本蕴含提出了一个更具挑战性的环境；同时评估了多种强力神经网络基线，并分析多个前提任务与标准文本含义的区别。

    Oct, 2017

  • V-FLUTE: 视觉比喻语言理解与文本解释

    使用视觉和语言模型进行图像和文字的理解，探索其在理解比喻和幽默等比喻现象方面的能力，并提出了一个新的任务和数据集，Visual Figurative Language Understanding with Textual Explanations（V-FLUTE）。

    May, 2024

  • 探究文本蕴涵数据集中的偏见

    本研究分析了 SNLI 和 MultiNLI 数据集中逻辑关系的数据偏差程度及其影响，并提出一种简单的方法来降低数据集中的数据偏差。我们发现仅对 SNLI 数据集中的假设进行分类，就能产生 64% 的准确率。

    Jun, 2019

  • 多价蕴涵图用于问答

    本研究介绍了一种基于无监督学习的多元蕴含图方法，用来理解自然语言断言之间的关系，并在微观语义问答任务中展示了其性能。结果表明，多元蕴含图在细粒度语义问题上比双向相似性更有帮助，并且跨语言价位的证据对于回答问题比仅使用相同语言价证据更加有效。

    Apr, 2021