Aug, 2023

线性振荡：视觉变换器的混沌美学

PDF
TL;DR线性振荡（LoC）激活函数是一种与传统激活函数不同的激活函数，它通过将线性轨迹与振荡偏移相融合，将混乱的元素引入到神经网络的学习中，以更好地捕捉微妙的模式，并取得比 ReLU 和 Sigmoid 等传统激活函数更好的性能。这项研究凸显了精心选择激活函数在塑造神经网络训练的未来方面的重要作用。
activation functionslinear oscillation (loc)neural architecturessubtle patternsvision transformer model
发现论文，激发创造
  • HOSC: 保留隐式神经表示中锐利特征的周期性激活函数

    本文介绍了一种新的激活函数 —— 超半波振荡函数（HOSC），其具有可控的锐度参数，并且相比于现有的激活函数，HOSC 更好地捕捉了输入信号的突变和锐利特征以及平滑的低频过渡。我们将 HOSC 与其他流行的激活函数进行了对比，并在多个一般任务中经验性地展示了 HOSC 所得到表示的质量的提升，并提供了 HOSC 有效性背后的数学原理以及讨论了它的局限性。

    Jan, 2024

  • 放大正弦单元：一种用于深度神经网络的振荡激活函数，以有效恢复非线性振动

    通过引入具有振荡激活功能的深度神经网络结构，本文提出了一种应对微电机系统中非线性振动问题的方法，其中还使用了一些振荡和非振荡激活功能以进行综合分析；实验结果表明，此设计网络是更可靠和稳健的，可以有效应对非线性和振动的挑战。

    Apr, 2023

  • ASU-CNN：一种高效的深度图像分类和特征可视化架构

    本文提出了一种名为 ASU-CNN 的卷积神经网络模型，使用新设计的激活函数 ASU，该函数具有非单调和振荡的特点，在不同的卷积层中通过特征图可视化检查了本文提出的模型的优化，该模型使用 Adam 进行优化，fine-tuned learning rate 等参数，实验结果表明了该模型在计算机视觉领域相关任务的计算可行性和有效性。在 CIFAR-10 分类方面，预测结果是非常有前途的。

    May, 2023

  • 学习激活函数的组合

    本文介绍了两种自动学习不同激活函数组合的方法，并在三个标准数据集上与著名的体系结构进行了比较，显示了整体性能的显着改进。

    Jan, 2018

  • 学习激活函数以提高深度神经网络性能

    使用自适应激活函数，设计了一种用于改进深层神经网络架构的分段线性激活函数，并在 CIFAR-10 等数据集上取得了最先进的表现。

    Dec, 2014

  • 激活或不激活：学习定制化激活

    本文提出 ACON 激活函数及其 meta-ACON 变种，能够在各种任务中提高性能，且可用于对象检测和语义分割。

    Sep, 2020

  • 神经网络嵌入优化的 ReLU 激活函数线性化：最佳日前能源调度

    本文研究了针对常用的修正线性单元（ReLU）激活函数的线性化方法，为将神经网络模型与 ReLU 激活函数结合的优化问题提供了有效解决工具。

    Oct, 2023

  • 可重编程的电光非线性激活函数用于光学神经网络

    通过光电硬件平台实现了光学神经网络中的非线性激活函数，通过数值模拟，证明该激活函数能够显著提高神经网络的表现，使得其在多个任务上表现更好，如图像分类任务中精度从 85% 提升至 94%。

    Mar, 2019

  • 一个非单调平滑激活函数

    本研究提出了一种名为 Sqish 的新型激活函数，作为现有激活函数的替代品，我们展示了它在分类、目标检测、分割任务和对抗性鲁棒性实验中的优越性，在 CIFAR100 数据集上，使用 ShuffleNet V2 模型在 FGSM 对抗攻击中，相较于 ReLU 取得了 8.21% 的改进，并且在 CIFAR100 数据集上，使用 ShuffleNet V2 模型进行图像分类，相较于 ReLU 取得了 5.87% 的改进。

    Oct, 2023

  • 理解局部竞争网络

    本研究旨在探讨神经网络激活函数中的本地竞争机制，并发现这种自我模块化特性的有益性，证明这种特性能有效提高网络性能，此外还表明该方法在利用神经网络有效地检索大型数据集方面具有广泛应用前景。

    Oct, 2014