该文章介绍了一种基于对比学习的点云数据 3D 表征自监督学习框架，该框架具有引导的增强策略和引导的特征映射，可以有效地进行动态探索和结构特征关联，并在不同下游任务上实现了最先进的性能，包括三维点云分类、少样本学习和目标部分分割。

Feb, 2023

本文通过将高斯注意力引入光流模型，以强调表示学习过程中的局部特性并在匹配过程中强制实施运动相关性，提出了一种全新的高斯约束层（GCL）和高斯引导注意模块（GGAM）。GAFlow 网络是一个完整的模型，将这些高斯基于模块自然地融入传统的光流框架中，用于可靠的运动分析。在标准光流数据集上进行的广泛实验一致证明了所提方法在泛化能力评估和在线基准测试方面的优异性能。

Sep, 2023

多头高斯自适应注意力机制（GAAM）和高斯自适应变换器（GAT）能够增强跨多种模态（包括语音、文本和视觉）的信息聚合，有效提升模型性能，特别是在处理高度非平稳数据时的准确度可以提升 20% 左右，并通过识别特征空间中的关键元素，进一步展示了模型的适应性和潜力。GAAM 不仅兼容基于点积的注意力模型，而且参数较少，展现了其对现有注意力框架的提升能力和潜在价值。通过实验证明，GAAM 在多种任务上具备出色的适应性和效果，包括情感识别、图像分类和文本分类，从而显示出其在处理多模态数据方面的健壮性和多功能性。此外，该研究还引入了重要性因子（IF），一种基于学习的度量指标，增强了 GAAM 方法训练模型的可解释性。总体而言，GAAM 代表了跨多模态的注意力模型在性能和可解释性方面的进展。

Jan, 2024

该研究提出了一种称为几何去耦合注意力网络（GDANet）的深度学习模型，用于将 3D 对象的点云分解成轮廓和平坦的部分，并在整合时实现语义精炼，从而实现更好的 3D 对象分类和分割。

Dec, 2020

本文提出了一种基于自注意力和多尺度非欧几里得几何信息的插件模块 Multi-scale Geometry-aware Transformer（MGT），通过对点云数据的局部和全局几何信息的处理，成功提高了点云任务的性能表现。

Apr, 2023

利用 Multi-Granularity Attention Model (MGAM) 提出了一种新的方法，通过多个粒度（子集、群组和超集）揭示群组成员的潜在偏好并减轻推荐噪音，有效地降低群组推荐中的噪音，全面学习个人兴趣。

Aug, 2023

本文介绍了一个用于视觉推理的新模块 —— 带有引导注意力的视觉推理模型（GAMR），它通过选择和路由任务相关的视觉信息进入记忆的注意力移动序列来实现主动视觉理论。实验证明，GAMR 能够以稳健和高效的方式学习视觉任务，并能够在全新的推理任务上实现零 - shot 泛化。研究结果支持需要在注意力和记忆之间进行关键相互作用，以动态维护和操纵任务相关视觉信息来解决复杂视觉推理任务的认知理论。

Jun, 2022

提出了一种新的基于梯度注意力的去偏置方法，称为 Gradient Attention Balance Network (GABN)，通过将面部识别网络的梯度注意力图用于跟踪敏感的面部区域，并通过对抗性学习使不同种族的梯度注意力图趋于一致，该方法通过使网络专注于相似的面部区域来缓解偏见。同时，该方法还使用口罩来擦除前 N 个敏感面部区域，迫使网络将其注意力分配到更大的面部区域，扩大了皮肤较暗的人的敏感区域，进一步减少了皮肤较暗的人的梯度注意力图和高加索人的梯度注意力图之间的差距。广泛的实验证明，GABN 成功地减轻了面部识别中的种族偏见，并为不同种族的人学习到更平衡的表现。

Apr, 2023

该论文提出了一种基于变压器架构的 GMA3D 模块，通过运用局部和全局相似性从非遮挡点的运动信息和局部运动信息来推断被遮挡点的运动信息，并使用偏移生成器来聚合它们，从而解决了场景流中的遮挡问题，并在 KITTI，FlyThings3D 等数据集上取得了最优结果。

Oct, 2022

本篇论文提出了一种基于点云 CNN 和注意力机制的点云配准方法，考虑了点云的自旋转性和排列不变性，并证明了该方案在鲁棒性、效率和通用性方面的优越性。

Jul, 2023