Jul, 2023

ENN：一种带有 DCT 自适应激活函数的神经网络

PDF
TL;DR该研究提出了一种新的神经网络架构 - Expressive Neural Network (ENN)，其中非线性激活函数使用离散余弦变换 (DCT) 建模，并在训练过程中使用反向传播进行自适应，实现了较高的灵活性和表现力，同时可以适应不同的学习任务。经过大量实验证明，ENN 的性能超过当前的最先进技术，并在某些场景下提供高达 40％的准确性差距。
neural networksactivation functionsexpressive neural networkdiscrete cosine transformbackpropagation
发现论文，激发创造
  • 通过非线性透视理解深度神经网络

    该研究提出了一种理论上可靠的解决方案，用于跟踪计算机视觉应用中深度神经网络中的非线性传播，提供了详实的实验结果，突出了提出的亲和性评分的实用性及其潜在的广泛应用。

    Oct, 2023

  • 通过积分激活变换提升深度神经网络的表达能力

    基于神经 ODE 的洞见以及连续宽度的概念，通过训练和积分变换 (IAT-ReLU) 等手段，实现了全连接深度神经网络的拟合能力和平滑性的提升。

    Dec, 2023

  • 非线性增强的自适应激活函数

    通过引入具有偶次立方非线性的简单实现的激活函数，可以提高神经网络的准确性，而不需要大量的计算资源。这部分是通过收敛性和准确性之间的显著折衷来实现的。该激活函数通过引入可优化参数来增加标准 RELU 函数的自由度，从而调整非线性程度。通过与标准技术的比较，利用 MNIST 数字数据集量化了相关的准确性提升。

    Mar, 2024

  • 学习激活函数以提高深度神经网络性能

    使用自适应激活函数，设计了一种用于改进深层神经网络架构的分段线性激活函数，并在 CIFAR-10 等数据集上取得了最先进的表现。

    Dec, 2014

  • 1-Lipschitz 神经网络基于 N - 激活的表达更加丰富

    通过研究激活函数的角色，论文揭示了常用的激活函数以及两段式分段线性函数在表达函数时的局限性，并介绍了一种新的 N - 激活函数，证明其比目前流行的激活函数更具表达能力。

    Nov, 2023

  • Grad-Instructor：元学习和自动机器学习的可解释性评估神经网络的通用反向传播

    使用强化学习训练的评估神经网络（ENN）作为反向传播中的附加评估函数，提高深度神经网络训练的方法，通过对 0.15^2 倍分辨率的输入数据进行处理，ENN 实现有效的推理，结果表明，使用该方法训练的 MLPs 的平均测试准确率达到了 93.02%，比仅使用传统反向传播或 L1 正则化训练的模型高出 2.8%，而且测试准确率与 He 初始化网络相当，缩小了测试误差和训练误差之间的差距，并且无需增加训练轮数，避免过拟合风险，还能根据训练阶段动态调整梯度大小，降低了寻找最佳训练方法所需的时间，论文还使用 Grad-CAM 对 ENN 的可解释性进行了分析，展示了它们可视化评估基数的能力，并支持了强大的抽奖票假设。

    Jun, 2024

  • 深度神经网络的表现力

    本文提出了一种新的神经网络表达性问题的方法，其中基于轨迹长度的一维路径上的输出是一种新颖的表达形式。实验得出：（1）计算的函数复杂度随深度指数增长；（2）所有权重不同，加上轨迹正则化是批标准化的一个更简单的选择，但表现相同。

    Jun, 2016

  • 抬升神经网络

    本文提出一种新型的神经网络构架，利用基于惩罚项的训练问题来编码激活函数，这种框架可以被应用于 block-coordinate descent 算法中，该算法可以在每次迭代中通过并行化数据点和 / 或层数来解决简单（没有隐藏层）的监督学习问题，实验结果表明该方法为标准神经网络提供了极佳的初始权重估计，并且对于使用参数优化激活函数、对抗噪声数据的拓展也提供了思路。

    May, 2018

  • 编码 - 解码神经网络在 X 射线光谱解释中的应用

    通过在模拟的 X 射线光谱数据中使用编码器 - 解码器神经网络 (EDNN)，我们研究了这种架构在模拟和解释光谱数据中的应用，以确定光谱的关键结构特征，发现 EDNN 在覆盖目标变量方差方面优于基于仿真器的成分分析 (ECA)，但在物理术语的潜变量解释方面存在一些困难，因此，我们开发了一个网络，使用 ECA 的线性投影，并保持了潜变量的矢量扩展的有益特性，同时强调了在将信息压缩后的信息恢复以及为合理解释确定关键结构度量的必要性。

    Jun, 2024

  • 一种针对线性神经网络的新阐释

    线性回归和神经网络广泛用于建模数据。我们提出的研究中，通过对 LNN 的优化分析和与线性回归在合成噪声数据集上的性能比较，证明了没有激活函数的神经网络在训练和测试性能方面都会降低。

    Dec, 2023