跨域 3D 等变图像嵌入
论文提出通过多值球面函数和在球谐域中实现球面上的准确卷积来解决 3D 卷积神经网络中的 3D 旋转等变性问题,进而提供了一种局部对称且通过平滑的频谱实现本地化滤波器的方法,同时还实现了一种用于谱域的新型池化技术,这些操作使得网络不需要过多的容量和数据增强即可在标准检索和分类基准测试中与现有的最先进性能相当。
Nov, 2017
通过将离散化球体建模为图形,我们可以容纳非均匀分布、部分和变化的采样。此外,图形卷积比球形卷积计算效率更高。通过使用 Defferrard 等人(2016)介绍的图形神经网络,我们讨论了如何实现旋转等变性,在旋转不变学习问题上表现良好。
Apr, 2019
本文提出了一种卷积网络,它对刚体运动具有等变性。使用 3D 欧几里得空间上的标量场、向量场和张量场来表示数据,并使用等变卷积在这些表示之间映射。实验结果验证了 3D Steerable CNN 对氨基酸倾向预测和蛋白质结构分类等问题的有效性,这些问题均具有 SE(3)对称性。
Jul, 2018
介绍了一种新型球形卷积神经网络,使用自旋加权球形函数,实现在球形空间内的非均向滤波,适用于分类球形图像、3D 形状和球形全景图像的语义分割,并在实验中展现了优越性。
Jun, 2020
本研究探讨了等变网络在断层扫描成像应用中的重要性,通过解决卷积神经网络在医学成像系统后处理中的局限性,引入了一种能够减少对特定训练集依赖的等变网络,并验证了球面信号上球面卷积神经网络 (SCNNs) 在去噪和重建基准问题中的优越质量和计算效率,同时利用 SCNNs 作为传统图像重建工具的补充方法,提高成像结果质量并降低对训练集的依赖,本研究观察到 SCNNs 与 CNNs 相比,在保持相同或更高的图像处理质量的同时,显著降低了计算成本,并初步探索了其在更广泛断层扫描成像应用中的潜能,特别是那些需要全方位表示的应用。
Jul, 2023
本研究分析了卷积神经网络(CNN)在球形图像分类和语义分割中旋转等价性的角色,并以 MNIST 和 FashionMNIST 数据集为基础,比较了 S2CNNs 和标准非等变 CNNs 的性能与推理时间等因素的权衡考虑。研究发现,对于固有的旋转不变的任务,通过大幅增加数据扩增和网络规模,标准 CNNs 可以达到与等变网络至少同样的性能,而对于固有的等变任务,非等变网络始终无法达到等变网络的性能水平。
Feb, 2022
介绍了一种 3D 旋转等变 CNN (CubeNet),该网络通过保留 3D 形状的全局和局部特征,有助于维护体素化对象的有意义表示,并能解释输入之间的姿态差异。应用于各种 3D 推断问题中,在 ModelNet10 分类挑战赛上实现了最先进的性能,并在 ISBI 2012 Connectome 分割基准测试中实现了可比性能。
Apr, 2018
提出了一种广义的球形卷积神经网络框架,其中包括了各种现有方法,并允许它们同时被利用。通过开发两个新的严格相等层,其复杂度已经被降至可行水平,使球形 CNNs 的更大、更具表现力模型能够被计算出来。通过这些发展,展示了对于球形基准问题,能够构建更具表现力的混合模型,达到最新的精度和参数效率。
Oct, 2020
本文提出了一种基于 Spherical CNNs 的自我监督训练的方法,能够学习并识别 3D 形状的标准方向,该方法被称为 Compass,并在多个公共数据集上实验,证明了其有效性。
Nov, 2020