本论文提出了一个自然语言视觉推理的任务，通过图片和描述语句的配对，预测描述语句在给定场景中的真假。该任务涉及自然语言、机器人代理、语言输入、视觉推理以及合成图像等方面。

Oct, 2017

本文提出了一种从图像中学习常识的新方法，利用双模态序列到序列模型进行场景布局生成任务，并在通感问题回答和代词消解领域实验中证明了新方法的有效性。

Oct, 2020

本文提出一种新的框架，使用自动质量控制措施并评估不同 MR 来引出数据，从而通过众包获得高质量的 NLG 训练数据。研究表明，与逻辑 MR 相比，使用图像 MR 可以收集到更好的数据，这些数据被评为更自然、更信息丰富、更好地措辞，平均质量评分显著提高。

Aug, 2016

本文旨在探讨预训练语言模型在常识推理数据集中的可靠性和全面性，并提出了一个新的包含自然语言真 / 假语句对的常识推理基准数据集，通过对不同维度的领域的知识、推理场景以及数学的设计来促进常识能力的系统分析，并设计了成对精度度量标准来可靠地衡量代理的常识推理能力。实验结果表明，我们最强的基线模型在微调后达到了约 71％的标准准确性和约 51％的成对准确性，远低于人类表现。

Jun, 2021

本研究介绍了 TARA 数据集，并探索了基于分段推理的开放式推理问题，结果发现现有模型和人类表现之间存在 70% 的差距。

Mar, 2022

本研究提出了一种新的基准数据集和一种神经消息传递模型，该模型结合了关系归纳偏差，与传统循环神经网络方法相比，在联络推理和组合泛化方面性能优越。

Nov, 2018

本文介绍了 PhotoBook 数据集，该数据集是一个大规模的英语对话集合，旨在调查会话期间积累的共享对话历史。该数据集包含 2500 个对话，并建议了一个基于共同信息的基准模型，其结果表明共同信息对于解决后续描述至关重要，强调了需要开发对话交互中常用地基础的更复杂的模型。

Jun, 2019

介绍了一个名为 Birds-to-Words 的新数据集，包含用自然语言描述鸟类的语句，使用了一种新的分层抽样方法，提出了一个名为神经博物学家（Neural Naturalist）的模型来生成，评估结果表明，神经模型具有用自然语言解释视觉嵌入空间中差异的潜力，并为机器学习提供了一条资助公民科学家保护生物多样性的具体路径。

Sep, 2019

通过引入 Stanford 自然语言推理语料库，我们成功解决了机器学习研究在自然语言推理方面的巨大缺乏，该语料库是由人类按照基于图像字幕的新颖本体任务撰写的标记句子对，包含 570k 个句子对，是同类资源的两个量级以上，在规模方面取得了重大进展，这使得词汇分类器优于一些复杂的现有蕴含模型，并且让一种基于神经网络的模型在自然语言推理基准测试中首次表现亮眼。

Aug, 2015

通过引入印尼语、汉语、斯瓦希里语、泰米尔语和土耳其语等语言，构建了一个新的 ImageNet-style 分层协议，从本地化的角度推荐相关概念和图像，建立了一个用于多文化及多语言视觉和语言推理的数据集 MaRVL，并列举出一系列现代模型的基线，发现其跨语言性能显著滞后于英语的监督性能。

Sep, 2021