提升现有的监督式深度和法向预测模型的等变性
研究注入本地规模等变性对卷积神经网络的影响,通过在多个尺度上应用每个卷积滤波器来实现。输出是一个向量场编码,用于表示最大激活尺度和尺度本身,这进一步由以下卷积层进行处理。这可使所有中间表示在本地上成为规模等变的。研究发现,这种方法在MNIST数字的随机缩放因素回归等已知规模等变任务中会显着提高模型性能超过20%。此外,还发现该方法对于实际随机缩放数字的分类等尺度不变任务也有用。
Jul, 2018
使用具有等变性函数的规范坐标系构建了一种不同iable的图像到图像映射,称为ET(Equivariant Transformers),并证明了它能够在提高模型强健性方面进行灵活组合,从而使得在现实世界的图像分类任务中,相对于ResNet分类器,ET能够在数据有限情况下提高最多15%的分类效果而只增加不到1%的模型参数。
Jan, 2019
本研究分析了卷积神经网络(CNN)在球形图像分类和语义分割中旋转等价性的角色,并以MNIST和FashionMNIST数据集为基础,比较了S2CNNs和标准非等变CNNs的性能与推理时间等因素的权衡考虑。研究发现,对于固有的旋转不变的任务,通过大幅增加数据扩增和网络规模,标准CNNs可以达到与等变网络至少同样的性能,而对于固有的等变任务,非等变网络始终无法达到等变网络的性能水平。
Feb, 2022
使用Lie莱标甲,文章研究了几百个预训练模型,证明即使在没有明确建构且具有对称性的设计的情况下,Transformers也可以比CNNs更具有等变性。
Oct, 2022
本文介绍了一种基于超网络的预测器,结合了不变和等变的表示形式,以学习更丰富的表示,进而在等变性相关任务中获得显著的性能提升。同时,本文还介绍了一个名为3DIEBench的数据集,其中包含来自55个类别的3D模型渲染超过250万幅图像,提供了完全可控的对象变换。研究者希望这两个工具能够在更复杂的场景中实现更好的无监督学习效果。
Feb, 2023
本文提出了一种方法,通过使用可缩放的傅里叶-阿甘德表示法和类似卷积的操作来实现卷积神经网络对于平移、旋转和缩放的同时等变性,并验证了该方法在图像分类任务方面的有效性和对缩放和旋转输入的泛化能力。
Mar, 2023
本文提出了一种方法,通过引入受控亚线性激活函数和逐通道排序池化层来适应现有深度神经网络,从而实现网络的归一化等变性,这些修改不会损失性能,并应用于图像去噪中。
Jun, 2023
图像去噪是图像处理中最古老且最活跃的研究领域之一。本文提出了一项关于图像去噪的监督学习和无监督学习方法的综述,分类和详细介绍了这一演化过程的主要原则,特别关注最近在监督学习领域的发展。同时,着重考虑了文献中最有效方法的原理和局限性,并突出了许多方法之间的共同特点。最后,我们重点关注大多数监督方法中未能满足的归一化等变特性,即对输入图像进行强度变换或缩放会导致去噪器输出相应地发生变化。
Feb, 2024