本文介绍了一个用于视觉推理的新模块 —— 带有引导注意力的视觉推理模型（GAMR），它通过选择和路由任务相关的视觉信息进入记忆的注意力移动序列来实现主动视觉理论。实验证明，GAMR 能够以稳健和高效的方式学习视觉任务，并能够在全新的推理任务上实现零 - shot 泛化。研究结果支持需要在注意力和记忆之间进行关键相互作用，以动态维护和操纵任务相关视觉信息来解决复杂视觉推理任务的认知理论。

Jun, 2022

本文研究了基于注意力机制对低资源场景下自动学习映射的问题，并提出了一种可以实现从资源丰富的领域到低资源领域的映射方法，在基准数据集上取得了 15% 以上的平均误差降低率。

Aug, 2018

该论文提出了一种名为 KEAR 的系统，即知识化外部关注作用于常识推理，能够显著提高现有 AI 系统的性能，在 CommonsenseQA 上达到了人类水平的正确率。

Dec, 2021

研究了处理现实场景需求的过程推理，通过设计了一组图形轨迹推理任务，基于图形网络，通过关注流机制提高准确性和解释性。

Nov, 2018

本文提出了一种新颖的多头知识注意模型，该模型对半结构化的常识推理规则进行编码，并学习将它们纳入基于 Transformer 的推理单元中。在推理任务中，我们评估了模型在需要不同推理技能的两个任务上的表现，即推断性自然语言推理和反事实不变性预测，并展示了我们提出的模型相对于强大的最先进模型（例如 RoBERTa）在两个推理任务中的表现提高，通过扰动知识，并对模型的知识纳入能力进行定性分析，我们验证了模型推理能力的稳健性。值得注意的是，我们在最佳解释方面展示了学习执行反事实推理的模型对推断性推理任务的帮助，这在我们所知道的情况下是首次演示的。

Oct, 2020

该研究旨在通过模仿人类视觉问题解决中的 “看、记住、推理” 模式，引入基于视觉输入的原理来整合低级视觉能力，使现有的大型语言模型能够在视觉推理问题上取得竞争性表现。

Jun, 2023

本文描述了 BERT 在常识推理任务中的简单再现，展示了 BERT 生成的关注力可以被直接用于 Pronoun Disambiguation Problem 和 Winograd Schema Challenge 这些任务，提出的基于关注力的常识推理方法在各种数据集上表现出色，超过了之前报道的最先进水平。

May, 2019

提出改进注意力机制的注意力内注意（AiA）模块及优化特征聚合和信息传递的 Transformer 跟踪框架 AiATrack，在多个定位基准测试上实现了最先进的性能表现。

Jul, 2022

通过条件批量归一化对 CLEVR 视觉推理基准进行训练，我们的方法在人工视觉推理方面实现了最先进的成果，这表明带有适当条件的通用架构可以有效地学习进行视觉推理。

Jul, 2017

通过将推理任务转换为检索任务，我们发现，即使没有针对推理级别的语言理解进行专门训练，目前最先进的检索模型在协助 LLMs 的角色上可能仍然远离胜任，特别是在推理密集型任务中。然而，最近基于解码器的嵌入模型在弥合这一差距方面表现出巨大潜力，突显了嵌入模型实现推理级别语言理解的路径。通过微调重新排序模型将推理能力注入其中似乎比对双编码器进行类似操作更容易，我们能够在所有任务中通过微调重新排序模型实现最先进的性能。我们发布由整体任务和设置组成的推理作为检索基准（RAR-b），用于评估检索模型中存储的推理能力。

Apr, 2024