视觉 - 文本蕴涵的多模态逻辑推理系统
本文研究了文本蕴涵中的语义关系 —— 通过可能世界来分析前提和假说之间的关系，同时结合图像进行多模态的分析，结果表明文本和视觉信息相结合可以更好地进行文本蕴涵，但当前多模态模型在 “接地” 方面还不够优化。
Jun, 2018
本文提出了一种新方法来将视觉信息作为协助信号用于 NLP 任务，使用 Transformer 编码器和卷积神经网络来对文本和图像进行编码，通过注意力层将两种模态的表征进行融合，实验结果表明，该方法在不同的任务和语言中都具有很好的效果。
Jan, 2023
本论文提出了一种多模态蕴含分类器来确定图像的语句，以及开发了一种通用可调节学习速率策略来教授一个检索模型区分这些蕴含的语句和其他负样本。在实验中，我们手动注释了一个蕴含更正的图像文本检索数据集用于评估。结果表明，所提出的蕴含分类器达到了约 78% 的准确度，并持续提高了图像文本检索基线的性能。
Aug, 2022
本文借鉴视觉传达研究，探究了多模式信息检索的有用语义图像 - 文本关系，在自动收集和扩充数据资源的基础上，采用深度学习系统和三种度量标准（跨模态互信息、语义相关性和图像与文本的状态关系）对八种语义图像 - 文本类别进行了预测，并在一个严格的测试集上展示了该方法的可行性。
Jun, 2019
本文采用图卷积网络结合场景文本实例和显著图像区域进行多模态推理，在 Con-Text 和 Drink Bottle 数据集中，在细粒度图像分类和图像检索任务中显著优于之前的最新技术。
Sep, 2020
该论文定义了一项新的文本蕴含任务，要求对多个前提句子进行推断，提出了一个新的数据集来最小化平凡的词汇推理，强调对日常事件的知识，并为文本蕴含提出了一个更具挑战性的环境；同时评估了多种强力神经网络基线，并分析多个前提任务与标准文本含义的区别。
Oct, 2017
提出一种新颖的基于逻辑的神经模型，该模型将可解释的逻辑子句集成到目标任务的推理过程中，以检测多模态误解信息，通过在神经表示中参数化符号逻辑元素来实现学习的有效性，并引入五个元预测以使我们的框架具有多样性。
May, 2023
本研究提出了一种同时利用文本和视觉上下文以学习多模态词嵌入的端到端方法，通过将视觉上下文元素整合到多模态 skip-gram 模型中，探索了何种因素可以作为视觉上下文，并进行了实验和分析。
Nov, 2017
该论文提出了一种基于 TV-TREES 的多模态蕴涵树生成器，用于解决在电视剪辑等复杂多模态内容上的问答问题，通过生成简单前提与视频直接蕴涵的更高级结论之间的蕴涵关系树，实现可解释的联合模态推理；在 TVQA 数据集上进行的实验证实了该方法在全视频剪辑上的零样本性能，在黑盒方法上取得了最先进的可解释性和性能的最佳结合。
Feb, 2024