Jun, 2023

基于归一化等变性的神经网络及其在图像去噪中的应用

PDF
TL;DR本文提出了一种方法，通过引入受控亚线性激活函数和逐通道排序池化层来适应现有深度神经网络，从而实现网络的归一化等变性，这些修改不会损失性能，并应用于图像去噪中。
deep neural networksnormalization-equivarianceaffine-constrained convolutionschannel-wise sort pooling layersimage denoising
发现论文，激发创造
  • 三维数据尺度等变深度学习

    本文介绍了一种针对三维数据的尺度等变卷积神经网络层，可以在医学图像分割中实现尺度等变，相关的实验证明了该方法的有效性。

    Apr, 2023

  • 具有傅立叶层的真正尺度相等深度神经网络

    在计算机视觉中，为了有效地执行图像分割等任务，模型必须能够适应图像分辨率的变化，这被称为尺度等变性。最近的研究通过权重共享和内核调整等方式，取得了在发展尺度等变性卷积神经网络方面的进展。然而，在实践中，这些网络并不是真正的尺度等变性的。为了解决这个问题，我们直接在离散域中考虑了抗锯齿，并提出了一种基于傅里叶层的新型架构，以实现真正的尺度等变深度网络，即绝对零等变误差。在先前的研究基础上，我们对 MNIST-scale 和 STL-10 数据集上测试了这个模型。我们提出的模型在保持零等变误差的同时，实现了有竞争力的分类性能。

    Nov, 2023

  • 尺度等变可转移网络

    介绍了一种使用可控滤波器建立尺度等变卷积网络的通用理论，并将其他常见块推广为尺度等变块，此方法具有计算效率和数值稳定性，同时在 MNIST-scale 数据集和 STL-10 数据集中实现了领先水平的分类结果。

    Oct, 2019

  • 关于监督和无监督去噪方法的标准化等变性特性研究

    图像去噪是图像处理中最古老且最活跃的研究领域之一。本文提出了一项关于图像去噪的监督学习和无监督学习方法的综述，分类和详细介绍了这一演化过程的主要原则，特别关注最近在监督学习领域的发展。同时，着重考虑了文献中最有效方法的原理和局限性，并突出了许多方法之间的共同特点。最后，我们重点关注大多数监督方法中未能满足的归一化等变特性，即对输入图像进行强度变换或缩放会导致去噪器输出相应地发生变化。

    Feb, 2024

  • 逆问题的等变神经网络

    本文介绍一种使用群等变卷积神经网络来解决逆问题的学习重建方法，通过在迭代方法中建立群等变卷积神经网络解决拉伸同变的问题，实现了低剂量计算机断层成像重建和子采样磁共振成像重建的质量提升。

    Feb, 2021

  • 探究 ReLU 网络如何编码对称性

    本研究探讨网络等变性是否意味着所有层都具有等变性。论文在理论和实验方面发现，CNN 是具有层间等变性的，这一发现支持最近 Entezari 及其合作者提出的置换猜想的一个弱化版本

    May, 2023

  • 大型预训练模型的等变适应

    通过使用规范化网络和数据相关的先验知识，可以使大型预训练模型实现等变性，提高计算效率并增强对数据旋转等确定性变换的鲁棒性。

    Oct, 2023

  • 卷积归一化：提高深度卷积网络的鲁棒性和训练效果

    介绍了一种基于卷积结构的归一化方法 (Convolutional Normalization)，它可以方便地作为模块嵌入到任何卷积神经网络 (ConvNets) 中，通过提高权重的正交性和每层的通道等距性，减小权重矩阵的层范数，提高网络的 Lipschitzness 并且提高 GAN 性能和普适性。

    Mar, 2021

  • 等变可操控神经网络：对对称群的特别强调综述

    本研究论文探讨卷积神经网络在对称群中的应用，提出了群等变神经网络的概念和架构，以及使用多种层和滤波器的方法，为对称群的表示和胶囊的细节做出了数学分析。

    Jan, 2023

  • 基于卷积滤波器分解的尺度 - 平移等变网络

    本文提出一种基于 ST 等变卷积神经网络的多尺度图像分类方法，通过卷积滤波器的低频分解和截断，实现了更好的变形鲁棒性和可解释性。数值实验表明，相比常规 CNN，该方法在多尺度图像分类任务中性能显著提高，且模型尺寸更小。

    Sep, 2019