IJCAIJan, 2017

使用特权信息训练群组正交神经网络

PDF
TL;DR本文提出了一种新的组正交卷积神经网络（GoCNN），可以利用提供的特权信息在每个层内学习解缠绕表示，并有效地增强表示多样性。实验证明，GoCNN 模型可以提高深度卷积神经网络在图像分类任务中的性能，并仅使用 10％的特权信息即可实现这一目标。
convolutional neural networksprivileged informationrepresentation diversitygroup orthogonal convolutional neural networkimage classification
发现论文，激发创造
  • 卷积神经网络架构优化

    卷积神经网络（CNN）在面对声音识别、自然语言处理或计算机视觉等具有挑战性的任务时被广泛使用。本文提出了一种新颖的 CNN 优化和构建方法，基于剪枝和知识蒸馏，旨在确定卷积层的重要性，以减少计算要求，并在资源受限设备上部署。经过彻底的实证研究，包括最佳数据集（CIFAR-10、CIFAR-100 和 Imagenet）和 CNN 架构（VGG-16、ResNet-50、DenseNet-40 和 MobileNet），我们评估了该提议，并将准确度损失和剩余参数比率作为客观指标来比较 OCNNA 与其他最先进的方法的性能。与其他 20 多种卷积神经网络简化算法相比，我们的方法取得了出色的结果。因此，OCNNA 是一种竞争性的 CNN 构建方法，可以简化神经网络部署到物联网或资源有限设备的过程。

    Dec, 2023

  • 超越良好初始：探索正交性和调制对训练极深卷积神经网络的更好解决方案

    研究表明，使用正交性标准化的变种正则化方法和基于 “准同构假设” 的反向错误调节机制可以在不使用任何快捷方式 / 身份映射的情况下，训练一种特定结构（重复三模块的 Conv-BNReLU）的极深卷积神经网络（CNN），实验结果表明，这种方法可以在 CIFAR-10 和 ImageNet 数据集上显着提高 44 层和 110 层的网络的性能，并且可以成功地通过新的设计原则和残差结构来设计网络结构以获得相似的 ImageNet 数据集上的表现。

    Mar, 2017

  • 使用异方差 Dropout 的特权信息下深度学习

    通过使用特权信息控制不确定性，对卷积神经网络和循环神经网络进行了学习优化，提高了学习的样本效率，并在图像分类和机器翻译中进行了实验证明。

    May, 2018

  • 群等变卷积网络

    介绍了一种新型卷积神经网络，称为 Group equivariant Convolutional Neural Networks (G-CNNs)，它通过利用对称性降低样本复杂度，使用新型层 G-convolutions，增加网络的表达能力，且易于使用和实现。 G-CNNs 在 CIFAR10 和旋转的 MNIST 上实现了最先进的结果。

    Feb, 2016

  • 自组织运行神经网络用于严重图像恢复问题

    本文提出了一种基于 Taylor 级数近似的自组织操作神经网络 Self-ONNs，旨在解决卷积神经网络在图像复原方面的不足问题，并在三个不同的复原任务上进行了广泛的消融实验以证明其优越性。

    Aug, 2020

  • 深度卷积神经网络训练中正交正则化是否有更多优势？

    本文旨在探讨如何在训练深度卷积神经网络时实现更有效和易于使用的（近）正交性权重。我们利用各种先进的分析工具，如相互相干性和受限等距性质，开发新型正交性正则化方法，可方便地应用于训练几乎任何卷积神经网络。通过在几个流行的计算机视觉数据集上使用 ResNet、WideResNet 和 ResNeXt 等最先进模型的基准测试，我们观察到使用这些提议的正则化方法后，模型的准确率和收敛速度都有更稳定的提高。我们已经将我们的代码和预训练模型公开。

    Oct, 2018

  • 基于分组抑制的特征正则化方法用于鲁棒分类

    提出了一种使用组间抑制（group-wise inhibition）的卷积神经网络（CNN）正则化方法，通过处理具有不同激活分布的特征映射来考虑特征独立性，以实现对于严峻环境如腐败、对抗样本和低数据区域的稳健分类。

    Mar, 2021

  • 通过引导概念学习实现可理解的卷积神经网络

    该论文提出了一种带有附加概念层的 CNN 架构的引导学习方法，用于学习视觉特征和单词短语之间的关联，并通过优化预测准确性和特征表示的语义来学习与人类感知一致的概念，实验结果表明，所提出的模型可以在不牺牲准确性的情况下学习一致于人类感知的概念，并可将这些学习到的概念转移到具有相似概念的新对象类别中。

    Jan, 2021

  • 正交卷积神经网络

    通过对卷积内核使用双倍块 Toeplitz 矩阵表示法而不是常见的内核正交化方法，我们开发了一种有效的方法来对卷积层施加过滤器正交性。我们的正交卷积方法不需要额外的参数和计算负载，并在广泛的任务中稳定性、鲁棒性和泛化性方面优于内核正交性替代方案。

    Nov, 2019

  • 一类卷积神经网络

    通过使用中心为零的高斯噪声作为伪负类，并使用交叉熵损失函数来训练网络，学习一个良好的表示以及给定类的决策边界，我们提出了一种基于卷积神经网络的新型一类分类方法。该方法的一个关键特点是任何预训练的卷积神经网络都可以用作一个类分类的基本网络，经过大量实验比较，该方法在一类应用问题（如用户身份验证、异常检测和新颖性检测）方面取得了显著的改进。

    Jan, 2019