我们介绍了 MAC 网络，这是一种新颖的完全可分化的神经网络体系结构，旨在促进显式和表达推理。该模型通过将问题分解为一系列基于注意力的推理步骤来处理问题，并且通过 MAC 单元来执行每个推理步骤。该模型在视觉推理方面表现出强大、鲁棒和可解释性能力，同时需要比现有模型少 5 倍的数据来实现强大的结果。

Mar, 2018

浅谈如何利用上下文感知机制增强 MAC 网络在视觉问答领域对话系统中的表现

Nov, 2020

多模态机器学习中的网络结构复杂，通过连接可重用且可组合的神经单元，可以以更直观的方式完成多模态机器学习任务的网络构建，同时通过参数共享大大减少了空间复杂度。

Nov, 2023

本文提出了一种新颖的多头知识注意模型，该模型对半结构化的常识推理规则进行编码，并学习将它们纳入基于 Transformer 的推理单元中。在推理任务中，我们评估了模型在需要不同推理技能的两个任务上的表现，即推断性自然语言推理和反事实不变性预测，并展示了我们提出的模型相对于强大的最先进模型（例如 RoBERTa）在两个推理任务中的表现提高，通过扰动知识，并对模型的知识纳入能力进行定性分析，我们验证了模型推理能力的稳健性。值得注意的是，我们在最佳解释方面展示了学习执行反事实推理的模型对推断性推理任务的帮助，这在我们所知道的情况下是首次演示的。

Oct, 2020

本文介绍了一种新颖的基于注意力机制的自适应计算算法，称为 DACT，与现有算法不同，是端到端可微的。该算法可以与许多网络配合使用；特别地，我们研究了其在广泛使用的 MAC 体系结构中的应用，使所需的循环步骤数量显著减少，从而改善了其性能与计算比率。此外，我们还表明，通过增加所使用的最大步骤数，即使在 CLEVR 数据集中也能超越我们最佳的非自适应 MAC 的准确性，证明我们的方法能够控制步骤数而不会显著降低性能。我们的方法提供的额外优点包括通过丢弃无用的步骤，并提供对底层推理过程的更多见解，从而显着提高了可解释性。最后，我们将自适应计算呈现为模型集成的等价形式，类似于专家混合配方。我们的实验代码和配置文件均可用于支持这一领域的进一步研究。

Apr, 2020

本文介绍了一种名为多注意力循环网络（MARN）的人类交流理解神经架构，通过使用多注意力块（MAB）的神经组件，MARN 致力于发现和存储影响人际交往的互动，并在多模态情感分析、说话者特质识别和情感识别方面显示出最先进的性能。

Feb, 2018

本研究提出了一种统一的注意力模型，能够同时捕捉多模态特征的内部和跨模态之间的相互作用，并输出相应的注意力表示。通过堆叠这样的统一注意力块，我们获得了深度多模态统一注意力网络 (MUAN)，可以无缝地应用于视觉问答 (VQA) 和视觉定位任务。通过在两个 VQA 数据集和三个视觉定位数据集上评估 MUAN 模型，结果表明 MUAN 在两个任务上都实现了顶级性能。

Aug, 2019

本文介绍了一种通过图像内容和文字指令进行显式推理的新方法，采用大型多模态模型（LMM），并引入了一个能够提问以获取必要知识以增强推理过程鲁棒性和可解释性的系统。实验结果表明我们的方法能够在面对模糊的视觉输入时，朝着更具鲁棒性、准确性和可解释性的 LMM 迈进。

Jan, 2024

本文提出了一种名为推理模块网络 (RMN) 的视觉推理方法，旨在为现有的编码器 - 解码器框架提供视频字幕生成的推理能力，RMN 包括三个复杂的时空推理模块和一个由 Gumbel 估算法训练的动态和离散模块选择器，并且在 MSVD 和 MSR-VTT 数据集上的广泛实验表明，所提出的 RMN 方法优于现有的方法，同时提供了一个明确和可解释的生成过程。

Jul, 2020

通过利用跨模态特征和更有效的训练技术，加强了神经模块网络在视觉问答中的性能和透明度。

Oct, 2023