Jun, 2023

学习如何增强卷积神经网络中的负面信息

PDF
TL;DR本文提出了一种可学习的非线性激活机制 LENI，旨在增强 CNN 中的负信息，并通过实验证明 LENI 可以提高模型的表示能力，同时保持 ReLU 的优点。
convolutional neural networkleniactivation mechanismrelusrepresentational capacity
发现论文，激发创造
  • 通过串联整流线性单元了解和改进卷积神经网络

    本篇论文提出了一种新的、简单而有效的激活方法，称为 CRelu，并将其与现有的卷积神经网络模型相结合，从而大大提高了它们在 CIFAR-10/100 和 ImageNet 数据集上的性能。

    Mar, 2016

  • 学习线性化深度神经网络以实现安全高效的私有推理

    该研究提出了一种敏捷的训练方法 SENet，可在保持模型分类精度的同时大幅度减少 ReLU 神经元来降低由 ReLU 操作引起的延迟，从而提高隐私推断（PI）的效率与准确性。

    Jan, 2023

  • 深度卷积神经网络参数化的指数线性单元

    提出了一种参数化 ELU 激活函数的方法以学习 CNN 中每层的恰当激活形状，实验结果表明，参数化的 ELU 在目标识别任务中相对误差较小，性能更优。

    May, 2016

  • 最大最小卷积神经网络用于图像分类

    本文提出了一种新的 CNN 卷积块设计，利用 MaxMin 策略在保持一定的不变性的同时传输更多的信息，经过对经典数据集 MNIST 和 CIFAR-10 的广泛实验，结果表明，这种新设计的 MaxMin 卷积网络优于标准 CNN。

    Oct, 2016

  • NLNL: 噪声标签的负学习

    本文提出了一种名为 “SelNLPL” 的优化 CNNs 训练方法，在使用负训练法（NL）的基础上，选择性地使用正训练法（PL）来训练低噪声数据，从而实现对有噪声数据分类的准确性优化。

    Aug, 2019

  • 图像去噪的增强 CNN

    本文提出了一种名为增强卷积神经去噪网络（ECNDNet）的新方法，通过使用残差学习和批量归一化技术提高了训练效果并加速了网络的收敛。此外，提议的网络使用扩张卷积增大了上下文信息，降低了计算成本，并在广泛实验中证明了 ECNDNet 优于图像去噪的现有最先进方法。

    Oct, 2018

  • 网络中的卷积中的卷积

    本文提出了一种名为 CiC 的方法，通过在通道维度上应用不共享卷积，在空间维度上应用共享卷积，将密集的浅层多层感知机（MLP）替换为稀疏的浅层 MLP，实现了参数数量的大幅度减少，通过在 CIFAR10 数据集、增强的 CIFAR10 数据集和 CIFAR100 数据集上的实验结果证明了该方法的有效性。

    Mar, 2016

  • 准确性增强器：使用特征图重新校准提升性能

    通过引入低复杂度的 CNN 架构模块，我们的方法在提高模型表现方面相较于已有方法性能更好，尤其是在 ResNet-50 分类方面，其表现与 ResNet-152 相当，且具有良好的泛化性能。

    Mar, 2019

  • 卷积网络中修正的激活函数的实证评估

    本文通过评估不同类型的修正线性单元 rectified activation functions（包括：标准修正线性单元（ReLU），泄漏修正线性单元（Leaky ReLU），参数修正线性单元（PReLU）以及随机泄漏修正线性单元（RReLU））在图像分类任务中的表现，结论表明，对修正激活单元中的负部分引入非零斜率可以始终改善结果，从而推翻了稀疏性是 ReLU 良好性能的关键的常见信念。另外，在小规模数据集上，使用确定性的负斜率或学习固定斜率都容易过拟合，使用随机斜率则更为有效。通过使用 RReLU，我们在 CIFAR-100 测试集上实现了 75.68％的准确度（无多次测试或集合）。

    May, 2015

  • 重新思考学习：通过反馈循环改进卷积神经网络

    该研究提出了一种利用反馈机制的学习算法，通过添加反馈层和生成强调向量，不断提升卷积神经网络的性能，特别适用于任何预先训练的模型，并在四个对象分类基准数据集上进行了测试，结果表明利用该算法训练 CNN 模型的优势。

    Aug, 2017