CVPRNov, 2017

xUnit: 学习一种空间激活函数用于高效图像修复

PDF
TL;DR本文提出一种新的激活单元，与传统的 per-pixel 激活单元相比，该单元实现了可学习的带有空间连接的非线性函数，使神经网络能够捕捉更复杂的特征，从而在图像恢复问题中取得了极高的性能和效率。
deep neural networksactivation unitimage restorationperformanceefficiency
发现论文，激发创造
  • 学习激活函数以提高深度神经网络性能

    使用自适应激活函数，设计了一种用于改进深层神经网络架构的分段线性激活函数，并在 CIFAR-10 等数据集上取得了最先进的表现。

    Dec, 2014

  • 稀疏神经网络学习激活函数

    本研究提出了一种新的方法，即 Sparse Activation Function Search（SAFS），结合了调整稀疏网络激活函数和独立的超参数优化（HPO）来提高稀疏神经网络的预测准确率。通过在多个数据集和深度神经网络模型上进行实验，结果显示，与默认的训练协议相比，特别是在高剪枝率下，在 LeNet-5、VGG-16 和 ResNet-18 中的准确率分别提高了 15.53％、8.88％和 6.33％。

    May, 2023

  • 学习激活函数的组合

    本文介绍了两种自动学习不同激活函数组合的方法，并在三个标准数据集上与著名的体系结构进行了比较，显示了整体性能的显着改进。

    Jan, 2018

  • 自标准化神经网络

    本文介绍了一种名为自标准神经网络 (SNNs) 的新型前馈神经网络，使用放缩指数线性单元 (SELU) 激活函数，自动进行归一化处理，并具有极高的性能表现，可以在多个机器学习任务中超越标准的前馈神经网络。

    Jun, 2017

  • 通过动态激活函数优化前馈和卷积神经网络的性能

    复杂的分段线性激活函数在浅层和深层卷积神经网络中比 ReLu 激活函数效果更好，并使用 PyTorch 进行结果比较。

    Aug, 2023

  • SPLASH: 可学习的激活函数用于提高准确性和对抗鲁棒性

    本文介绍了 SPLASH unit 这一种可学习的激活函数，该函数不仅能提高深度神经网络的准确性，还能提高其对抗攻击的鲁棒性。相较于其他九种常见的学习型和固定型激活函数，SPLASH units 表现更优，能够适应各种非线性函数，可以使包括 LeNet5、All-CNN、ResNet-20 和 Network-in-Network 在内的常规神经网络对抗攻击的鲁棒性提高至多 31％。

    Jun, 2020

  • 使用分段线性单元学习专业的激活函数

    提出了一种新的激活函数 Piecewise Linear Unit，它可以学习专门的激活函数，并在大规模数据集上获得 SOTA 性能，比 Swish 在 ImageNet 分类数据集上分别提高了 0.9%/0.53%/1.0%/1.7%/1.0% 的 top-1 准确率，此外 PWLU 易于实现且在推理方面高效。

    Apr, 2021

  • 自组织运行神经网络用于严重图像恢复问题

    本文提出了一种基于 Taylor 级数近似的自组织操作神经网络 Self-ONNs，旨在解决卷积神经网络在图像复原方面的不足问题，并在三个不同的复原任务上进行了广泛的消融实验以证明其优越性。

    Aug, 2020

  • 学习丰富特征以进行真实图像修复和增强

    本文介绍了一个新颖的 CNNs 图像恢复架构，名为 MIRNet，该架构具有多尺度残差块、多分辨率卷积流、空间和通道注意力机制、基于注意力的多尺度特征聚合等关键特征，能够同时维护高分辨率精确表达和从低分辨率表示中获得强有力的语境信息。实验结果表明，MIRNet 在图像去噪、超分辨率和图像增强等多项任务中取得了最先进的结果。

    Mar, 2020

  • 寻找激活函数

    本文提出利用自动搜索技术发现新的激活函数。通过详尽和强化学习的结合搜索，发现了多个新型激活函数，其中最佳的发现激活函数（称为 Swish）在许多困难数据集上比 ReLU 更有效。

    Oct, 2017