理解多模态程序的程序推理网络

Sep, 2019

Procedural Reasoning Networks for Understanding Multimodal Procedures

Mustafa Sercan Amac, Semih Yagcioglu, Aykut Erdem, Erkut Erdem

TL;DR本文介绍了一种新型的神经理解模型，它动态更新实体状态并利用多模态信息帮助理解计算机常识任务，使用这种方法显著提高了之前报告的模型的准确性。

Abstract

This paper addresses the problem of comprehending procedural commonsense knowledge. This is a challenging task as it requires identifying key entities, keeping track of their state changes, and understanding temporal and causal relations. Contrary to most of the previous work, in this study, we do not rely on strong inductive bias and explore the question of

procedural commonsense knowledge multimodality neural comprehension model entity states visual reasoning tasks

发现论文，激发创造

多阶段训练的知识感知程序文本理解

研究了手续性文本理解的挑战，发现外部知识注入和数据不足的问题，提出了一个多阶段训练的知识感知 KOALA 模型，最终在 ProPara 和 Recipes 数据集上达到了最先进的性能表现。

Sep, 2020

使用递归神经网络对实体、关系和文本进行推理链

本论文致力于将符号逻辑推理的多步骤推理与神经网络的概括功能相结合。在文本和大型知识库中对实体和关系进行复杂推理。提出了三种重要的建模方法：（1）学习联合推理关系（2）使用神经注意力建模多个路径（3）学习在单个 RNN 中共享强度，使用我们的方法在实验任务中实现了 25％的错误率降低，推理中的错误率降低了 84％。

Jul, 2016

多头知识关注的社交常识推理

本文提出了一种新颖的多头知识注意模型，该模型对半结构化的常识推理规则进行编码，并学习将它们纳入基于 Transformer 的推理单元中。在推理任务中，我们评估了模型在需要不同推理技能的两个任务上的表现，即推断性自然语言推理和反事实不变性预测，并展示了我们提出的模型相对于强大的最先进模型（例如 RoBERTa）在两个推理任务中的表现提高，通过扰动知识，并对模型的知识纳入能力进行定性分析，我们验证了模型推理能力的稳健性。值得注意的是，我们在最佳解释方面展示了学习执行反事实推理的模型对推断性推理任务的帮助，这在我们所知道的情况下是首次演示的。

Oct, 2020

建模面向过程 - 多模式机器理解的时态 - 语态实体图

该研究利用设计的时空跨模态实体图（TMEG）来对多媒体文档进行精细级别的机器理解。在 CraftQA 上进行的综合实验表明了 TMEG 的有效性。

Apr, 2022

多模态食谱中程序概念的潜在对齐

本研究提出了一种新的方案，使用注意力机制、跨模态表示和指令和候选答案之间的潜在对齐空间来解决包含图像和指令的任务的语境推理问题，结果表明其优于基线的 19％。

Jan, 2021

通过对多模态指南进行排序来理解多模态程序化知识

本文通过构建数据集和收集人类注释来检验机器学习模型分析和排序多模式事件的能力，发现机器模型不仅表现远远不如人类，而且不能有效地利用多模式信息。为了改善机器在多模式事件排序上的性能，作者提出了针对顺序性的预训练技术，可以获得显著的 > 5% 的性能提升。

Oct, 2021

如果……” 程序推理相关常识子图

本研究旨在通过外部常识知识帮助解决学习因果推理的挑战，我们提出了一种新颖的多跳图推理模型来预测因果答案，从而在 WIQA 基准测试中实现了最先进的性能水平。