Jun, 2022

GAMR: 一种深度引导关注模型用于 (视觉) 推理

PDF
TL;DR本文介绍了一个用于视觉推理的新模块 —— 带有引导注意力的视觉推理模型（GAMR），它通过选择和路由任务相关的视觉信息进入记忆的注意力移动序列来实现主动视觉理论。实验证明，GAMR 能够以稳健和高效的方式学习视觉任务，并能够在全新的推理任务上实现零 - shot 泛化。研究结果支持需要在注意力和记忆之间进行关键相互作用，以动态维护和操纵任务相关视觉信息来解决复杂视觉推理任务的认知理论。
发现论文，激发创造
  • 探究 (自我) 关注机制在认知与计算机视觉架构中的作用的博士论文

    本文研究了复杂的推理任务中注意力和记忆的作用，分析了 Transformer-based self-attention 模型，并通过增加记忆单元的方式对其进行了扩展，提出了一种结合了注意力和记忆的认知架构 GAMR，并在视觉推理测试中的表现超过了其他架构。

    Jun, 2023

  • 视觉推理与基础合理性：看、记住和推理

    该研究旨在通过模仿人类视觉问题解决中的 “看、记住、推理” 模式，引入基于视觉输入的原理来整合低级视觉能力，使现有的大型语言模型能够在视觉推理问题上取得竞争性表现。

    Jun, 2023

  • AiR: 具有推理能力的注意力

    本文提出 Attention with Reasoning capability (AiR) 框架，使用注意力机制来理解和改善导致任务结果的过程，并通过一系列原子推理操作定义了一个评估指标来量化考虑推理过程的注意力。作者收集了人类眼动和答案正确性数据，分析了各种机器和人类注意力在推理能力和任务绩效方面的影响，并提出了一种监督方法，共同逐步优化注意力、推理和任务绩效，以便模型通过遵循推理过程来查看感兴趣的区域。最后，作者证明了所提出的框架在分析和建模注意力方面有更好的推理能力和任务绩效。

    Jul, 2020

  • Transformer 的广义注意机制和相对位置

    本文提出了广义注意力机制 (GAM)，揭示了 Vaswani 等人的自注意力机制的新解释，提供了不同变体注意力机制和 GAM 框架中的新相对位置表示，并可简单应用于不同数据集中元素的不同位置的情况。

    Jul, 2022

  • Few-Shot 识别的属性引导与纯视觉注意力对齐

    本文提出了一种利用人工注释属性的属性引导注意力模块 (AGAM)，以实现更具有区分性的特征学习，从而改善仅使用视觉信息的查询集的特征选择，达到了不同数据集和设置下的最先进性能。

    Sep, 2020

  • AGIL: 从人类中学习视觉 - 动作任务的注意力

    本文提出了 AGIL（Attention Guided Imitation Learning）框架，该框架使用深度神经网络学习人类注意力模型，以改善智能决策和任务性能。

    Jun, 2018

  • 对象为中心的表示、引导注意力和外部记忆对视觉关系泛化的作用

    本研究系统评估了深度神经网络（DNN）在视觉推理任务中的应用，发现虽然某些模型表现出在某些特定类型的图像上函数良好，但没有一个模型能够有效地推广到所有情况下，从而得出抽象视觉推理仍然是 DNN 面临的主要挑战。

    Apr, 2023

  • DualVGR: 一个用于视频问答的双重视觉图推理单元

    提出了一个 Dual-Visual Graph Reasoning Unit (DualVGR) 网络，在视频问答中实现可解释的查询惩罚模块同时捕捉外观和运动特征之间的关系，在 MSVD-QA 基准数据集上取得了最佳性能.

    Jul, 2021

  • RATM: 循环注意力跟踪模型

    本研究提出了一种基于注意力机制的模块化神经框架，可应用于计算机视觉领域中的目标跟踪任务，并在三个数据集上进行了实验验证，在挑战性的跟踪数据集上表现优异。

    Oct, 2015

  • 基于动态键值存储增强的多步图推理方法用于基于知识的视觉问答

    本文提出一种名为动态知识记忆增强多步图推理（DMMGR）的新型模型，能够在键 - 值知识记忆模块和空间感知图像图上执行显式和隐式推理，并在 KRVQR 和 FVQA 数据集上实现了新的最先进的准确性。

    Mar, 2022