ICLRNov, 2019

共同关注等变神经网络：将等变性集中于数据中共存的变换

PDF
TL;DR本研究提出了一种新的共同关注等变神经网络，它不仅能够保留输入的结构信息，而且能够注意到数据中同时出现的变换，并将其泛化到由多个对称组成的群上，实现更好的目标识别效果。
equivarianceneural architecturefeature mappingobject recognitionco-occurring transformations
发现论文，激发创造
  • 关注组等变卷积网络

    提出了一种基于视觉注意力机制的等变卷积方法 AGECN，解决了对称模式下位置和姿态关系不明确的问题，实现了对图像数据集的高效表征。

    Feb, 2020

  • 深度图像识别模型中影响学习等变性的因素是什么？

    神经网络的等变性有助于提高数据效率，参数效率和对域外透视偏移的鲁棒性，数据增强，模型容量的减少以及卷积导致神经网络学习更高的等变性。

    Apr, 2023

  • 等变可操控神经网络：对对称群的特别强调综述

    本研究论文探讨卷积神经网络在对称群中的应用，提出了群等变神经网络的概念和架构，以及使用多种层和滤波器的方法，为对称群的表示和胶囊的细节做出了数学分析。

    Jan, 2023

  • 使用与滥用等变性

    我们研究了群等变卷积神经网络如何使用子采样来打破对其对称性的等变性，并探讨了对网络性能的影响。我们发现，即使输入维度只有一个像素的微小变化，常用的架构也会变得近似等变，而不是完全等变。当训练数据中的对称性与网络的对称性不完全相同时，近似等变网络能够放松其等变性约束，并在常见的基准数据集上与或胜过完全等变网络。

    Aug, 2023

  • 逆问题的等变神经网络

    本文介绍一种使用群等变卷积神经网络来解决逆问题的学习重建方法，通过在迭代方法中建立群等变卷积神经网络解决拉伸同变的问题，实现了低剂量计算机断层成像重建和子采样磁共振成像重建的质量提升。

    Feb, 2021

  • 唤醒视觉 Transformer 中的平移等变性

    本文提出了一种自适应的多相位锚定算法，该算法可无缝集成到视觉 Transformer 模型中，以确保贴片嵌入和子采样关注模块的移位等变，并利用深度卷积编码位置信息。

    Jun, 2023

  • 通过重新参数化实现元学习对称性

    这篇研究论文介绍了一种从数据学习平移对称性、提高深度学习在图像处理任务中的性能的方法，而非人为设计具有相应等变性质的架构，其通过学习相应的参数共享模式来实现对等变性的学习及编码，并且结果显示其成功替代了传统手动构建深度学习架构的方法。

    Jul, 2020

  • CubeNet: 三维旋转和平移等变性

    介绍了一种 3D 旋转等变 CNN (CubeNet)，该网络通过保留 3D 形状的全局和局部特征，有助于维护体素化对象的有意义表示，并能解释输入之间的姿态差异。应用于各种 3D 推断问题中，在 ModelNet10 分类挑战赛上实现了最先进的性能，并在 ISBI 2012 Connectome 分割基准测试中实现了可比性能。

    Apr, 2018

  • 打破对称性：解决等变神经网络中的对称歧义

    本文研究了等变网络在处理对称任务时的歧义性，并提出了解决方法：通过添加组件解决对称歧义问题并使其在处理平面对称性输入时具有旋转等变性，提出了一种称为 OAVNN 的向量神经元网络，通过左右分割任务对其进行了评估，发现网络能快速准确地完成分割任务，并希望这项工作能够推动对等变网络在对称对象上表达能力的研究。

    Oct, 2022

  • 用于三维点云分析的等变点网络

    本文提出了一个有效的 SE（3）网络，它是针对点云分析领域中 3D 形状对齐任务而设计的，可以利用等变特征来提高性能并解决相对较少探索的旋转等变特征对 3D 形状对齐任务的处理问题。我们采用一个新的框架 SE (3) 可分点卷积来降低计算成本，并在网络中引入一个注意力层来有效地利用等变特征的表达能力。通过广泛的研究和视觉解释，实证结果表明，我们提出的模型在各种基准测试中优于强基线。

    Mar, 2021