Jun, 2022

VN-Transformer: 旋转等变注意力机制应用于向量神经元

PDF
TL;DR本文介绍了一种称为 VN-Transformer 的新型体系结构，以解决当前 VN 模型存在的一些缺点，包括推导出一种旋转等变的注意机制，扩展 VN 框架以支持非空间属性，在点云分辨率的多尺度缩减方面实现旋转等变，最终应用 VN-Transformer 于 3D 形状分类和运动预测领域，取得了显著的结果。
rotation equivariancevector neuronsvn-transformerattention mechanism3d perception
发现论文，激发创造
  • 一种直观的多频特征表示用于 SO (3)- 等变网络

    介绍了一种用于将 3D 点映射到高维特征空间的等变特征表示方法，该特征能够识别 3D 数据中存在的多个频率，以提供更多细节来克服原始研究中的限制。

    Mar, 2024

  • 矢量神经元：一个针对 SO (3)- 等变网络的通用框架

    本文介绍了一种基于向量神经元的通用框架，用于创建点云处理的 SO（3）- 等变神经网络。通过扩展神经元从 1D 标量到 3D 向量，向量神经元使得我们可以将 SO（3）操作简单地映射到潜在空间中，从而提供了构建常见神经操作的等变性的框架，尽管方法简单，但在准确性和泛化性方面表现出色，是处理任意姿态下的几何输入的一种有效方法。

    Apr, 2021

  • VNI-Net：基于向量神经元的旋转不变描述子用于 LiDAR 地点识别

    提出了一种使用 Vector Neurons Network (VNN) 实现 SO (3) 旋转不变性的新方法，通过提取邻近点的旋转等变特征并通过 VNN 将低维特征映射到高维空间，然后在旋转等变特征空间中计算欧氏距离和余弦距离作为旋转不变特征描述符，最后使用 GeM 池化将特征聚合成全局描述符，实验证明该方法在处理旋转问题时明显优于其他基准方法并与当前最先进的不考虑旋转问题的地点识别方法取得可比较的结果。

    Aug, 2023

  • SE (3)-Transformers：三维旋转平移等变注意力网络

    本文介绍了 SE (3)-Transformer，一种用于 3D 点云和图形的自我注意模块，它在连续 3D 旋转变换下具有等变性。SE (3)-Transformer 利用自我注意的好处来处理点云和图形，同时保证了 SE (3)- 等变性，从而提高了模型的稳健性和预测性能。本文的模型在多个数据集上均取得了竞争性能，超过了一个强的非等变的基准模型和一个等变的模型没有注意力。

    Jun, 2020

  • 唤醒视觉 Transformer 中的平移等变性

    本文提出了一种自适应的多相位锚定算法，该算法可无缝集成到视觉 Transformer 模型中，以确保贴片嵌入和子采样关注模块的移位等变，并利用深度卷积编码位置信息。

    Jun, 2023

  • 打破对称性：解决等变神经网络中的对称歧义

    本文研究了等变网络在处理对称任务时的歧义性，并提出了解决方法：通过添加组件解决对称歧义问题并使其在处理平面对称性输入时具有旋转等变性，提出了一种称为 OAVNN 的向量神经元网络，通过左右分割任务对其进行了评估，发现网络能快速准确地完成分割任务，并希望这项工作能够推动对等变网络在对称对象上表达能力的研究。

    Oct, 2022

  • 共同关注等变神经网络：将等变性集中于数据中共存的变换

    本研究提出了一种新的共同关注等变神经网络，它不仅能够保留输入的结构信息，而且能够注意到数据中同时出现的变换，并将其泛化到由多个对称组成的群上，实现更好的目标识别效果。

    Nov, 2019

  • CubeNet: 三维旋转和平移等变性

    介绍了一种 3D 旋转等变 CNN (CubeNet)，该网络通过保留 3D 形状的全局和局部特征，有助于维护体素化对象的有意义表示，并能解释输入之间的姿态差异。应用于各种 3D 推断问题中，在 ModelNet10 分类挑战赛上实现了最先进的性能，并在 ISBI 2012 Connectome 分割基准测试中实现了可比性能。

    Apr, 2018

  • 旋转等变向量场网络

    本文中，我们提出了旋转等变向量场网络（RotEqNet），这是一种卷积神经网络（CNN）体系结构，可以编码旋转等变性、不变性和协方差性，并在图像分类、生物医学图像分割、方向估计和拼接匹配等多个问题上进行了测试。结果表明，相较于许多数量级更大的网络，RotEqNet 可以提供非常紧凑的模型，并提供与后者类似的结果。

    Dec, 2016

  • $E (2)$- 等变视觉转换器

    本文介绍了一种利用新型有效的位置编码操作符来设计 Group Equivariant Vision Transformer（GE-ViT）模型来解决 Vision Transformer（ViT）模型中的内在等变性学习问题，通过实验在标准基准数据集上得出 GE-ViT 模型比不等变自注意力网络性能更好的结论。

    Jun, 2023