- ICMLLayerMerge: 神经网络深度压缩通过层修剪和合并
通过共同修剪卷积层和激活函数来提高卷积神经网络的效率，并实现所需的推理加速度，同时尽量减少性能损失。
- 潜在辅助网络：在强化学习中重新发现双曲正切函数
通过研究激活函数对死神经元和有效秩大小的影响，本文提出了一个新的神经网络结构，并展示了在 Atari 领域中学习速度更快、死神经元减少和有效秩增加的结果。
- MeanSparse: 通过平均中心的特征稀疏化来增强训练后的鲁棒性
我们提出了一种简单而有效的方法，通过对经过对抗训练的模型进行后处理，来提高卷积神经网络（CNNs）对抗性示例的鲁棒性。我们的技术 MeanSparse 将训练模型的激活函数级联到与平均中心化的特征向量稀疏化的新操作。我们展示了这种减小平均值 - 优化 CNN-Bigru 性能：Mish 激活函数与 Relu 的对比分析
该研究通过比较网络激活函数 Mish 和 ReLU 在入侵检测任务上的性能，揭示了激活函数在提升入侵检测系统性能方面的有效性。
- 神经网络中的半环激活
基于半环的可训练非线性运算符类用于神经网络，将传统的线性运算符与激活函数进行了推广，替代了传统激活函数的可训练半环激活函数，并在全连接和卷积神经网络中进行了实验，结果表明这些可训练半环激活函数是可行的。
- 带周期激活函数的指导与控制网络
通过修改隐藏层中的周期性激活函数，我们演示了使用正弦表示网络（SIRENs）多功能性的指导与控制网络（G&CNETs）变种。我们展示了结果 G&CNETs 在三种不同的控制场景上训练更快并实现更低的整体训练误差，通过初步分析试图解释 SIR - 扩展的门控范围改善激活函数
探索使用反正切作为门控机制的自门控激活函数，该函数具有单调递增的一阶导数，通过引入每个 MLP 块的可训练参数来扩展门控函数的范围，实验证明这种技术改善了现有的自门控激活函数，并在 Transformer 架构中显示出优越性能。扩展的门控范 - 一种用于替代梯度学习的广义神经切向核
研究了神经网络训练方法中激活函数导数不可用时的问题，提出了代理梯度学习（SGL）的理论基础，并利用神经切向核（NTK）的推广 —— 代理梯度 NTK 分析了 SGL，通过数值实验验证了 SGL 在具有有限宽度和符号激活函数的网络中的有效性。
- 无人机群预测与优化轨迹的人工智能算法
研究论文探讨了人工智能技术在无人机飞行轨迹生成中的应用。研究主要关注准确预测无人机路径和高效避免碰撞所面临的挑战，通过系统地应用多样化的激活函数于单隐藏层前馈神经网络，提高了路径预测准确性。同时，提出了一种新的激活函数 “AdaptoSwe - 比 ReLU 类激活函数显著更好的一类激活函数
介绍了两种新的激活函数，Cone 和 Parabolic-Cone，相较于常用的 ReLU 和 Sigmoidal 类激活函数，在 CIFAR-10 和 Imagenette 两个基准测试中明显表现更好。这些激活函数在有限区间内为正，且在区 - 您的网络可能需要重写：基于高维函数图解的网络对抗
通过网络对抗方法，使用不同的激活函数解决传统 MLP + 激活函数模式中的内在双稳问题，提高训练效率和预测准确率。
- KAN：科尔莫哥洛夫－阿诺德网络
Kolmogorov-Arnold Networks (KANs) are proposed as alternatives to Multi-Layer Perceptrons (MLPs), outperforming them in - 高效的机器学习激活函数的量子电路，包括常数 T 深度 ReLU
我们的研究主要关注于为容错量子计算架构开发激活函数的量子电路，重点在于最小化 $T$-depth。我们提出了 ReLU 和 leaky ReLU 激活函数的新实现，分别实现了恒定的 4 和 8 的 $T$-depth。借助量子查找表，我们还 - 深度神经网络的奇异黎曼几何方法 III. 分段可微层与 $n$ 维类的随机漫步
神经网络在生活中起着至关重要的作用，最现代的生成模型能够取得令人印象深刻的结果。本文将几何框架应用于研究神经网络，探讨卷积、残差和递归神经网络，以及非可微激活函数的情况，并通过图像分类和热力学问题的数值实验来说明研究结果。
- 图神经网络与算术电路
神经网络的计算能力与图神经网络 (GNN) 结构相对应，不仅局限于聚合 - 合并的 GNN 或其他特定类型，我们通过多样的激活函数与实数上的算术电路之间建立了精确的对应关系。在我们的结果中，网络的激活函数变成了电路中的门类型。我们的结果适用 - 用坐标搜索算法训练人工神经网络
通过提出的梯度 - free 的 Coordinate Search (CS) 算法，本文介绍了一种适用于神经网络的训练方法，该方法能够应用于非可微激活函数和多目标 / 多损失问题，并具有较高的收敛速度。
- 神经网络中 400 种激活函数的综合调查：三十年的研究
本文通过一项涵盖 400 种激活函数的大规模调查，提供了先前已发表的激活函数的最全面概述和系统化，并为当前对该函数族的理解进行更新。
- IJCAI在数据约束下，利用平方 Sigmoid TanH（SST）激活增强顺序模型性能
我们提出了一种名为 SST 激活函数的方法，用于增强顺序模型在数据约束下的学习能力，并通过对手势语言识别、回归和时间序列分类等任务的实验验证，表明 SST 模型相比基线激活的循环神经网络模型具有更好的测试准确性。
- 稀疏实验数据预测建模的自适应激活函数
本研究旨在通过研究两种类型的自适应激活函数来填补理解有限数据情景下可变激活函数对分类准确性和预测不确定性的影响的重要空白。研究结果表明，具有个体训练参数的自适应激活函数（如 ELU 和 Softplus）能够产生准确且自信的预测模型，优于固 - 多线性操作器网络
提出了一种仅依赖于多线性操作、名为 Mu-Layer 的核心层的模型 MONet，在图像识别和科学计算基准测试中表现优异，超越了之前的多项式网络，并与现代架构相当，有望激发进一步研究纯粹使用多线性操作的模型。