HOSC: 保留隐式神经表示中锐利特征的周期性激活函数

Jan, 2024

HOSC: 保留隐式神经表示中锐利特征的周期性激活函数

HOSC: A Periodic Activation Function for Preserving Sharp Features in Implicit Neural Representations

Danzel Serrano, Jakub Szymkowiak, Przemyslaw Musialski

TL;DR本文介绍了一种新的激活函数 —— 超半波振荡函数（HOSC），其具有可控的锐度参数，并且相比于现有的激活函数，HOSC 更好地捕捉了输入信号的突变和锐利特征以及平滑的低频过渡。我们将 HOSC 与其他流行的激活函数进行了对比，并在多个一般任务中经验性地展示了 HOSC 所得到表示的质量的提升，并提供了 HOSC 有效性背后的数学原理以及讨论了它的局限性。

Abstract

Recently proposed methods for implicitly representing signals such as images, scenes, or geometries using coordinate-based neural network architectures often do not leverage the choice of →

coordinate-based neural network architectures activation functions hyperbolic oscillation function (hosc)input signal neural network

发现论文，激发创造

放大正弦单元：一种用于深度神经网络的振荡激活函数，以有效恢复非线性振动

通过引入具有振荡激活功能的深度神经网络结构，本文提出了一种应对微电机系统中非线性振动问题的方法，其中还使用了一些振荡和非振荡激活功能以进行综合分析；实验结果表明，此设计网络是更可靠和稳健的，可以有效应对非线性和振动的挑战。

Apr, 2023

线性振荡：视觉变换器的混沌美学

线性振荡（LoC）激活函数是一种与传统激活函数不同的激活函数，它通过将线性轨迹与振荡偏移相融合，将混乱的元素引入到神经网络的学习中，以更好地捕捉微妙的模式，并取得比 ReLU 和 Sigmoid 等传统激活函数更好的性能。这项研究凸显了精心选择激活函数在塑造神经网络训练的未来方面的重要作用。

Aug, 2023

ASU-CNN：一种高效的深度图像分类和特征可视化架构

本文提出了一种名为 ASU-CNN 的卷积神经网络模型，使用新设计的激活函数 ASU，该函数具有非单调和振荡的特点，在不同的卷积层中通过特征图可视化检查了本文提出的模型的优化，该模型使用 Adam 进行优化，fine-tuned learning rate 等参数，实验结果表明了该模型在计算机视觉领域相关任务的计算可行性和有效性。在 CIFAR-10 分类方面，预测结果是非常有前途的。

May, 2023

随机自适应激活函数

本文提出了一种简单而有效的激活函数 Adaptive SwisH（ASH），可用于深度学习模型中，提高了准确性、泛化性和收敛速度。该函数基于神经元位置和输入上下文自适应地调整阈值和激活方法，并具有可训练的特性。

Oct, 2022

磁滞建模的神经振荡器

通过开发基于普通微分方程的递归神经网络 (RNN) 方法来建模和量化滞后现象，这一研究突出了神经振荡器相对于传统 RNN 方法在捕捉磁性材料中复杂滞后模式方面的优势。

Aug, 2023

具有周期性激活函数的隐式神经表示

提出了一种新的神经网络模型 —— 正弦表示网络，可以用于处理带有细节特征的复杂信号及其导数，可以解决泊松方程、赫姆霍兹方程、波动方程等各种边界值问题，并且可以通过超网络学习 Siren 函数的先验知识。

Jun, 2020

图神经网络的高阶聚类和池化

提出了 HoscPool，一种基于聚类的图池算子以及它的聚类组件，通过最小化松弛的基元谱聚类来学习概率群分配矩阵，从而丰富图形表示，并在图分类任务和地面真实社区结构图上取得了最佳表现。此外，对汇集算子的内部功能进行了深入的实证分析。

Sep, 2022

一个非单调平滑激活函数

本研究提出了一种名为 Sqish 的新型激活函数，作为现有激活函数的替代品，我们展示了它在分类、目标检测、分割任务和对抗性鲁棒性实验中的优越性，在 CIFAR100 数据集上，使用 ShuffleNet V2 模型在 FGSM 对抗攻击中，相较于 ReLU 取得了 8.21% 的改进，并且在 CIFAR100 数据集上，使用 ShuffleNet V2 模型进行图像分类，相较于 ReLU 取得了 5.87% 的改进。

Oct, 2023

振荡神经网络作为异质 - 联想记忆在图像边缘检测中的应用

研究使用 Oscillatory Neural Networks 作为异联想记忆（HAM）的图像边缘检测方法，可以在边缘设备上节省能源，同时具有相对较高的速度和精度。

Feb, 2022

利用四元数激活函数改进四元数神经网络

我们提出了新颖的四元数激活函数，其中修改了四元数的幅度或相位，作为常用分裂激活函数的替代。我们定义了四元数激活函数相关的准则，并基于该分析提出了我们的新颖激活函数。这些激活函数考虑了四元数的特性和四元数空间 H，通过利用所有四元数的分量计算所有输出分量，从而获得了四元数卷积中的 Hamilton 乘积的优势。我们进一步讨论了所提出的激活函数的导数，发现相位影响的激活函数具有有益的属性。我们对提出的四元数激活函数进行了详细的实验评估，并与基于分裂 ReLU 和分裂双曲正切的方法在 CIFAR-10 和 SVHN 数据集上进行了比较。在其中，尤其是影响相位的四元数激活函数始终提供更好的性能。

Jun, 2024