Jun, 2023

自监督变压器中的亲和关注预测人类物体分组动态

PDF
TL;DR提出了一种基于自监督 Transformer 模型的人类目标注意力扩散和分割模型，其通过图像中不同区域之间的特征亲和信号实现目标内的注意力扩散。研究发现，基于该模型的亲和扩散能够显著提高自然图片中对象分组的准确性，为评估不同视觉表征学习模型提供了新的基准。
发现论文，激发创造
  • 社会团体活动识别中高效注意力变换器的设计与分析

    社会群体活动识别研究了使用注意力模块和变压器来生成社会群体特征，并通过优化设计特征聚合和自注意力模块的方法来提高活动识别效果。

    Apr, 2024

  • 学习空间和时间中的共现视觉群体

    提出了一种自我监督的方法，基于视觉实体在空间和时间中的共现率进行分组，这种方法在图像，视频和图像集合中可以学习到实体间的关联规律，从中生成物体提议、电影场景分割和语义位置类别。

    Nov, 2015

  • 基于注意力机制和软最大值的无监督多目标分割

    利用平移等变性注意机制进行的无监督物体中心表示学习和多物体检测与分割架构，其中使用注意机制来预测场景中物体的坐标并为每个物体关联一个特征向量。

    May, 2022

  • 自注意力动态中群集的出现

    本文将 Transformer 视为相互作用的粒子系统，描述了当权重不随时间变化时，学习表示的几何特征，证明了表示中的粒子会在时间趋于无穷时聚集到特定的极限对象，这取决于值矩阵的谱。同时，在一维情况下，证明了自我关注矩阵收敛于低秩布尔矩阵。这些结果的组合在数学上证实了 Vaswani 等人的经验观察，即在 Transformers 处理一系列标记时会出现 “leader”。

    May, 2023

  • 使用 Transformer 引导自监督学习的注意力机制

    该文提出了一种利用双向 Transformer 实现高效自监督学习的简单而有效的技术，该方法利用辅助损失函数引导注意力头符合自注意力特征，并可以适用于不同的预训练目标，实验证明该方法相对于基线模型更快收敛同时在下游任务中性能更好，在低资源环境中取得了业界领先结果。

    Oct, 2020

  • 通过学习人类关注特征图增强机器人学习

    本文提出一种新颖的方法来模拟和模拟人类注意力的近似预测模型，并将其作为结构化辅助特征图输入到下游学习任务中，通过在物体检测和模仿学习两个任务中的应用实验证明了人类注意力的预测可以提高训练模型的鲁棒性和在低数据情景下的快速学习。

    Aug, 2023

  • 深度网络中空间注意机制的实证研究

    本篇论文对注意力机制的实现方法进行了实证研究，发现空间注意力及注意力机制中的关键内容对比对深度神经网络的性能影响显著，为注意力机制的进一步研究及设计提供了新的思路和方向。

    Apr, 2019

  • 表面视觉转换器：应用于皮质分析的基于注意力的建模

    研究使用 attention 模型建立一个面向域无关的架构，可用于任何表面数据在球状流形上的研究，被证实在皮层表面度量的表型回归任务中优于表面卷积神经网络，而在注册和未注册数据上表现相当。

    Mar, 2022

  • 使用归一化切割的自监督 Transformers 进行无监督目标发现

    本文提出了一种基于自监督学习训练的 Transformer 模型特征的基于图的对象发现方法，在图中进行规范化的图割以分组具有相似性区域的前景物体。该方法可以显著提高无监督对象发现的性能，也可以扩展到无监督凸显性检测和弱监督对象检测领域。

    Feb, 2022

  • Transformer 模型是否显示出与任务特定的人类凝视类似的注意力模式？

    通过比较两个任务特定的阅读数据集，研究表明，大规模预训练自注意力模型对于人类注意力的预测能力依赖于罕见语境的句法性质，而任务特定的微调不增加与人类阅读的相关性，并且通过输入减少实验给出了互补信息，表明低熵的注意向量更为可靠。

    Apr, 2022