机器推理的组合注意力网络
本论文提出了一种新的基于深度学习架构的社交互动推理方法，该方法利用了多步推理能力和注意力机制，并应用于多模式扩展。实验结果表明该方法可以更好地利用多模态输入并在 Social Video 问答任务中取得了 2.5% 的准确率提升。
Oct, 2022
本文介绍了一种新颖的基于注意力机制的自适应计算算法，称为 DACT，与现有算法不同，是端到端可微的。该算法可以与许多网络配合使用；特别地，我们研究了其在广泛使用的 MAC 体系结构中的应用，使所需的循环步骤数量显著减少，从而改善了其性能与计算比率。此外，我们还表明，通过增加所使用的最大步骤数，即使在 CLEVR 数据集中也能超越我们最佳的非自适应 MAC 的准确性，证明我们的方法能够控制步骤数而不会显著降低性能。我们的方法提供的额外优点包括通过丢弃无用的步骤，并提供对底层推理过程的更多见解，从而显着提高了可解释性。最后，我们将自适应计算呈现为模型集成的等价形式，类似于专家混合配方。我们的实验代码和配置文件均可用于支持这一领域的进一步研究。
Apr, 2020
该文章介绍了一种名为 Memory Augmented Control Network (MACN) 的神经网络，通过卷积特征提取、基于神经网络的规划和网络控制器学习，解决了计划问题和部分可观测环境下的推理问题，该网络在离散的网格世界环境中表现出了强大的求解和泛化能力。
Sep, 2017
本研究提出一种新颖的神经模块化方法来实现基于组合推理的问题回答，该方法不需要强监督，能自动诱导期望的子任务分解并通过共享模块链接不同的推理任务，实验表明该模型比当前先进模型更易于人类评估者解释以及预测其中间结果的成功或失败。
Jul, 2018
本文提出 Attention with Reasoning capability (AiR) 框架，使用注意力机制来理解和改善导致任务结果的过程，并通过一系列原子推理操作定义了一个评估指标来量化考虑推理过程的注意力。作者收集了人类眼动和答案正确性数据，分析了各种机器和人类注意力在推理能力和任务绩效方面的影响，并提出了一种监督方法，共同逐步优化注意力、推理和任务绩效，以便模型通过遵循推理过程来查看感兴趣的区域。最后，作者证明了所提出的框架在分析和建模注意力方面有更好的推理能力和任务绩效。
Jul, 2020
我们介绍了一种新的神经架构，用于解决视觉抽象推理任务，受到人类认知的启发，特别是人类抽象推理经常在感知和概念处理之间交替进行，作为一种灵活、迭代和动态的认知过程。我们介绍了如何使用矩阵推理问题来解释这种新的对比感知 - 概念网络（CPCNet）的工作方式，以形式化问题的思维。在机器学习数据集 RAVEN 上的实验证明，CPCNet 相比之前的所有模型具有更高的准确性，同时使用了最弱的归纳偏差。我们还指出了原始 RAVEN 数据集中的显著且以前未被注意到的类别不平衡问题，并提出了一个新的变体 RAVEN--AB-RAVEN，该变体在抽象概念方面更加平衡。
Sep, 2023
多模态机器学习中的网络结构复杂，通过连接可重用且可组合的神经单元，可以以更直观的方式完成多模态机器学习任务的网络构建，同时通过参数共享大大减少了空间复杂度。
Nov, 2023
该论文介绍了一个新的视觉推理基准测试，Compositional Visual Relations (CVR)，以推动更加数据高效的学习算法的开发，并发现卷积神经网络比变压器架构在大多数数据方案上表现更好，但所有计算模型都比人类更不数据高效。
Jun, 2022
本文提出了一种名为推理模块网络 (RMN) 的视觉推理方法，旨在为现有的编码器 - 解码器框架提供视频字幕生成的推理能力，RMN 包括三个复杂的时空推理模块和一个由 Gumbel 估算法训练的动态和离散模块选择器，并且在 MSVD 和 MSR-VTT 数据集上的广泛实验表明，所提出的 RMN 方法优于现有的方法，同时提供了一个明确和可解释的生成过程。
Jul, 2020