基于注意力地图熵的主动视觉探索
我们提出了一种具有不断学习的神经场景表示的主动映射问题,即主动神经映射。关键在于通过高效的代理移动主动地找到要探索的目标空间,从而在以前未见过的环境中实时地最小化地图的不确定性。本文研究了不断学习的神经场中的权重空间,并通过实验证明了神经变异性,即针对随机权重扰动的预测稳健性,可以直接用于测量神经映射的即时不确定性。结合神经映射中继承的连续几何信息,代理可以被引导找到可穿越的路径,逐渐了解环境。我们首次提出了一种具有基于坐标的隐式神经表示的在线场景重建的主动映射系统。在视觉逼真的 Gibson 和 Matterport3D 环境中进行的实验证明了该方法的有效性。
Aug, 2023
研究通过注意力图引导剪枝和键和值矩阵的重要性估计来减少模型大小和推理复杂性,该方法成功地应用在基于 ViT 的人物再识别模型上,减少了 29.4%的 FLOPs 并提高了 0.4%的 mAP。
Apr, 2023
这篇研究提出了一种方法,通过基于梯度的确定性估计来解决视觉问答任务,进一步利用这些估计来获得可视化的注意力图,从而提高深度学习模型的确定性估计和解释能力,并在各项标准基准测试中提供实证分析及与现有方法的比较
Jan, 2020
提出了一种名为 AMENet 的端到端生成模型,使用注意力机制动态地建模了邻居交互信息,实现了准确和逼真的轨迹多路径预测,并在 Trajnet 和 InD 两个公共轨迹预测数据集上进行了验证。
Jun, 2020
深度神经网络的解释性方法是关键组成部分,用于检查和探索神经网络,增加我们对其的理解和信任。我们介绍了一种高度敏感于目标类别的后期解释方法,即类别判别性注意力图(CDAM),它通过缩放注意力分数来确定相应的令牌对分类器预测的相关性。与像素遮蔽方法相比,CDAM 具有高度的类别区分性和语义相关性,同时提供了隐式的相关性评分正则化。
Dec, 2023
本文提出了一种基于梯度的注意力机制技术,用于解释变分自编码器(VAE)及其预测,该技术通过生成学习到的潜在空间的视觉注意力,可用于图像中异常的定位,并能融入模型训练来帮助改善潜在空间分解,这在 MVTec-AD 和 Dsprites 数据集上表现出了最先进的性能。
Nov, 2019
使用对抗训练作为监督学习来提高注意力映射,改善视觉问答任务的表现,同时与其他学习分布的方法相比,发现对抗损失函数表现更好。
Nov, 2019
通过使用适应于探索任务的强化学习算法 Soft Actor-Critic,在实现对任意位置和尺度的瞥视的同时,使模型能够迅速建立对环境的综合认知,实现在各种视觉任务中超越以往方法,在真实情境中保持更大的适用性。
Apr, 2024
运用预测编码和不确定性最小化两种生物启发式计算方式,提出了一种端到端的嵌入式探索过程,可用于解决任务无关的探索问题。在迷宫导航和积极视觉任务中,我们的模型均能够通过建立无监督表示,对感知场景进行主动采样、高效分类,学习效率更高、数据效率更高。此外,模型的模块化设计允许分析其内部机制以及在探索行为中,感知与行动之间的相互作用。
Jul, 2023
我们提出了使用基于深度神经网络的期望模型输出变化的新原则来实现连续主动学习和探索算法,为语义概念的主动获取提供一种解决方法,并且我们的实现方法在实验中优于目前使用的启发式算法。
Dec, 2016