Mar, 2023

SemEval-2023 任务 11：软硬标签预测中激活函数的比较

PDF
TL;DR本文研究了应用不同的激活函数在深度神经网络模型的输出层上对于软或硬标签预测在学习中的不一致性任务上的影响，并使用 BERT 模型进行预处理和编码，并在保持其他参数不变的情况下改变输出层所使用的激活函数。最后使用软标签进行硬标签预测。本文提出了一种新的正弦激活函数，同时考虑了 Sigmoid 函数和基于步函数的激活函数。
发现论文，激发创造
  • 是时候使用 Swish 了吗？比较不同的 Deep Learning 激活函数在 NLP 任务中的表现

    本文通过对 21 种激活函数进行了首次大规模比较，并发现所谓的惩罚性 tanh 函数在 8 种不同的自然语言处理任务中表现最为稳定，可替换 LSTM 细胞中的 sigmoid 和 tanh 门，在具有挑战性的自然语言处理任务中实现了 2 个百分点的改进。

    Jan, 2019

  • 深度神经网络 MNIST 分类任务的非线性激活函数比较

    本文介绍了常见的非线性激活函数，并对它们的特点进行了评估。同时，分析了深层神经网络及其与权重初始化方法的关系，其中将特别关注节点的入度和出度对整个网络的影响。

    Apr, 2018

  • 寻找黄金激活函数

    本文介绍了深度神经网络在不同领域的应用，探讨了激活函数选择的重要性及其优化方法，提出了两个新的激活函数 ELiSH 和 HardELiSH，并使用基于遗传算法的方法在三个图像分类基准测试中得到了比传统基线更好的效果。

    Aug, 2018

  • 长尾视觉识别的平衡激活

    介绍了平衡激活 (Balanced Activation) 作为 Sigmoid 和 Softmax 激活函数的扩展，以适应目标检测中训练和测试之间的标签分布偏移；通过实验表明这种方法相对于当前最先进的方法提供了～3% 的性能提升，并且不需要引入额外的参数。

    Aug, 2020

  • 稀疏实验数据预测建模的自适应激活函数

    本研究旨在通过研究两种类型的自适应激活函数来填补理解有限数据情景下可变激活函数对分类准确性和预测不确定性的影响的重要空白。研究结果表明，具有个体训练参数的自适应激活函数（如 ELU 和 Softplus）能够产生准确且自信的预测模型，优于固定形状激活函数和在隐藏层中使用相同可训练激活函数的不太灵活的方法。因此，该研究提供了在科学和工程问题中设计自适应神经网络的简洁方法。

    Feb, 2024

  • 深度学习中的激活函数：综述和基准比较

    本论文综述了深度学习神经网络中激活函数的综合评估与调查，并对不同类型的激活函数进行了分类和性能比较。

    Sep, 2021

  • 在应用主动学习于 Transformer 模型时，要使用 Softmax 还是不使用 Softmax：这是一个问题

    本文研究了活性学习的策略及其所用到的模型预测的置信度度量。通过对七个数据集中 8 种排除离群值的策略进行实验，发现大多数方法过于依赖寻找最不确定的样本（离群值），导致只标记离群值反而表现更差，文中提出一种方法对样本进行系统性忽略，在多种方法上相对 softmax 函数获得了更好的效果。

    Oct, 2022

  • 学习激活函数的组合

    本文介绍了两种自动学习不同激活函数组合的方法，并在三个标准数据集上与著名的体系结构进行了比较，显示了整体性能的显着改进。

    Jan, 2018

  • 学习激活函数以提高深度神经网络性能

    使用自适应激活函数，设计了一种用于改进深层神经网络架构的分段线性激活函数，并在 CIFAR-10 等数据集上取得了最先进的表现。

    Dec, 2014

  • 修正饱和激活函数

    本文在深度神经网络中研究常用的饱和函数：logistic sigmoid 和双曲正切 (tanh)，发现使用 logistic sigmoid 函数训练困难的原因不仅在于其非零中心属性，还在于其在原点附近的斜率过大。通过适当的重新调整，logistic sigmoid 和 tanh 函数的性能相当。接着，通过在负部分加罚项可以改进 tanh 函数，形成了 “带惩罚的 tanh” 函数，其性能甚至优于 ReLu 和 Leaky ReLU 等饱和函数。本文的结果与之前的研究结论产生冲突，表明有必要进一步研究深度架构中的激活函数。

    Feb, 2016