一种直观的多频特征表示用于 SO (3)- 等变网络
本文介绍了一种基于向量神经元的通用框架,用于创建点云处理的 SO(3)- 等变神经网络。通过扩展神经元从 1D 标量到 3D 向量,向量神经元使得我们可以将 SO(3)操作简单地映射到潜在空间中,从而提供了构建常见神经操作的等变性的框架,尽管方法简单,但在准确性和泛化性方面表现出色,是处理任意姿态下的几何输入的一种有效方法。
Apr, 2021
本文介绍了一种称为 VN-Transformer 的新型体系结构,以解决当前 VN 模型存在的一些缺点,包括推导出一种旋转等变的注意机制,扩展 VN 框架以支持非空间属性,在点云分辨率的多尺度缩减方面实现旋转等变,最终应用 VN-Transformer 于 3D 形状分类和运动预测领域,取得了显著的结果。
Jun, 2022
提出了一种使用 Vector Neurons Network (VNN) 实现 SO (3) 旋转不变性的新方法,通过提取邻近点的旋转等变特征并通过 VNN 将低维特征映射到高维空间,然后在旋转等变特征空间中计算欧氏距离和余弦距离作为旋转不变特征描述符,最后使用 GeM 池化将特征聚合成全局描述符,实验证明该方法在处理旋转问题时明显优于其他基准方法并与当前最先进的不考虑旋转问题的地点识别方法取得可比较的结果。
Aug, 2023
本文提出了一个有效的 SE(3)网络,它是针对点云分析领域中 3D 形状对齐任务而设计的,可以利用等变特征来提高性能并解决相对较少探索的旋转等变特征对 3D 形状对齐任务的处理问题。我们采用一个新的框架 SE (3) 可分点卷积来降低计算成本,并在网络中引入一个注意力层来有效地利用等变特征的表达能力。通过广泛的研究和视觉解释,实证结果表明,我们提出的模型在各种基准测试中优于强基线。
Mar, 2021
介绍了一种 3D 旋转等变 CNN (CubeNet),该网络通过保留 3D 形状的全局和局部特征,有助于维护体素化对象的有意义表示,并能解释输入之间的姿态差异。应用于各种 3D 推断问题中,在 ModelNet10 分类挑战赛上实现了最先进的性能,并在 ISBI 2012 Connectome 分割基准测试中实现了可比性能。
Apr, 2018
本文提出了一种卷积网络,它对刚体运动具有等变性。使用 3D 欧几里得空间上的标量场、向量场和张量场来表示数据,并使用等变卷积在这些表示之间映射。实验结果验证了 3D Steerable CNN 对氨基酸倾向预测和蛋白质结构分类等问题的有效性,这些问题均具有 SE(3)对称性。
Jul, 2018
从二维图像中学习关于三维世界的知识是计算机视觉中的一个基本问题,本文提出了一种学习三维表示的算法,满足几何一致性约束,并在三个姿态预测任务中取得了 SOTA 结果。
Jul, 2023
本文提出了一个用于学习来自 3D 点云的 SE (3)- 等变特征的卷积结构。它将 KPConv(一种广泛用于处理点云数据的卷积形式)视为等变版本。通过组合群卷积和商表示,我们实现了一个简单,轻量级,快速的设计,能与现有的任务特定点云学习管道集成,同时在各种任务中实现了可比较或更优的性能,消耗更少的内存和运行速度更快。通过实验,我们展示了该方法可以促进点云等变特征学习在实际应用中的采用并激发未来应用的发展。
Jun, 2022
应用等变图神经网络提高在结构生物学中解决机器学习中出现的三维大分子结构的难题,在八个任务中,在三个任务上超越了所有基准模型,在另外两个任务上并列第一,在使用高阶表示和球面谐波卷积的等变网络中表现良好。此外,我们证明迁移学习可以进一步提高特定下游任务的性能。
Jun, 2021
该论文提出了一种从图像中直接学习神经场景表示的框架,通过引入一种强制要求该场景表示对于 3D 变换等变的损失函数,使得我们可以实时推断和渲染场景,并在标准 ShapeNet 基准测试上获得了很好的结果。
Jun, 2020