- 学习为基于物理知识的神经网络设计特定的激活函数
通过引入自适应激活函数来解决物理信息神经网络 (PINNs) 的优化困难，该方法可以有效地解决不同问题中的偏微分方程组，并在一系列基准测试中展现了其有效性。
- 非紧致均匀普适逼近
通过研究神经网络的一层隐藏层，我们发现所有在无穷远处趋于零的连续函数可以被具有渐近线性行为的非零连续激活函数的神经网络进行均匀逼近，并且我们确定了这些函数可被离散的 sigmoidal 函数的积的闭线性包所表示的代数结构。
- 具有平滑激活函数的两层神经网络的内存容量
通过计算雅可比矩阵中涉及亏格阵幂和 Khati-Rao 乘积的矩阵的秩，我们确定了具有 m 个隐藏神经元和输入维度 d（即，md+m 个可训练参数）的双层神经网络的记忆容量下界为 md/2，并以大约 2 倍的优势进行了最优性分析。
- 基于输运方程的物理信息神经网络预测构型材料的屈服强度
研究探讨了物理信息神经网络（PINN）模型在解决基于输运方程的偏微分方程（PDEs）方面的应用，主要目的是分析在 PINN 模型中不同激活函数对其预测性能的影响，特别是均方误差（MSE）和平均绝对误差（MAE）的评估。研究使用的数据集包含与 - 关于神经抽象的效率与精确性之间的权衡
神经抽象是复杂的非线性动力模型的形式近似，通过神经 ODE 和抽象神经网络与具体动力模型之间的误差的保证上界来表示。本文通过形式归纳合成过程生成动力学模型，并讨论复杂神经 ODE 的抽象以提高可达性分析的效率。
- 深度网络近似：超越 ReLU，使用多样激活函数
本文研究深度神经网络对各种激活函数的表达能力，并证明可在任意有界集合上以稍大的常数精度近似任意激活函数的神经网络。
- 使用线性回归迭代训练神经网络
本文提出了一种基于线性回归的方法来学习神经网络的权重和偏置，与标准的基于梯度的反向传播相比更为快速、稳定，但仅限于简单前馈神经网络、标量回归问题和可逆激活函数。
- ENN：一种带有 DCT 自适应激活函数的神经网络
该研究提出了一种新的神经网络架构 - Expressive Neural Network (ENN)，其中非线性激活函数使用离散余弦变换 (DCT) 建模，并在训练过程中使用反向传播进行自适应，实现了较高的灵活性和表现力，同时可以适应不同的 - 神经网络激活函数的经验损失景观分析
此研究对与神经网络有关的损失景观进行了实证调查，发现修正线性单元产生最凸的损失景观，而指数线性单元产生最不平坦的损失景观，且表现出优越的泛化性能。
- ICML学习累积所有训练样本的证据：理论与实践
该研究通过提出一种新颖的规则化方法，解决了 evidential models 训练和推理中产生的根本性困难，从而提高了预测性能。
- 神经网络安全使用
研究神经网络计算中的数值误差，并提出使用长数字卷积码时的激活函数误差检测技术。
- 神经网络的表达能力
探讨神经网络的近似能力和表达能力，对 ReLU-networks 的 $L^p$-norms 进行了最优逼近，并提出了两个表达能力的框架，对于其他规范如 Sobolev norm $W^{1,1}$ 和不同的激活函数，提出了更多问题和探讨.
- ASU-CNN：一种高效的深度图像分类和特征可视化架构
本文提出了一种名为 ASU-CNN 的卷积神经网络模型，使用新设计的激活函数 ASU，该函数具有非单调和振荡的特点，在不同的卷积层中通过特征图可视化检查了本文提出的模型的优化，该模型使用 Adam 进行优化，fine-tuned learn - 使用复数深窄神经网络的通用逼近
本文研究了有界宽度和任意深度的复值神经网络的普适性，给出了激活函数对于网络是否能够进行任意精度的连续函数逼近的充分条件，并证明进行逼近所需的最小宽度。
- 使用高阶激活函数在 Barron 空间之间进行嵌入
通过研究激活函数的嵌入，特别是矩形功率单位，证明了许多常用激活函数的 Barron 空间嵌入到一个激活函数为 RePU 的 Barron 空间中，并且这些 RePU 与 Sobolev 空间 H^m 有类似的分层结构。
- DeepBern-Nets: 使用 Bernstein 多项式激活和精确边界传播驯服神经网络认证的复杂性
本文提出了一种基于 Bernstein 多项式的神经网络激活函数 DeepBern-Nets，并设计了新算法 Bern-IBP，用于更有效地计算其输出的紧密界限。实验表明，基于 Bernstein 多项式的激活函数可提高神经网络的证明过程， - 稀疏神经网络学习激活函数
本研究提出了一种新的方法，即 Sparse Activation Function Search（SAFS），结合了调整稀疏网络激活函数和独立的超参数优化（HPO）来提高稀疏神经网络的预测准确率。通过在多个数据集和深度神经网络模型上进行实验 - 基于神经网络的光学均衡器非线性激活函数的硬件实现
本文论述了通过逼近激活函数来实现双向 LSTM 光信道均衡器的性能近似于原模型，以减少神经网络化光学信道均衡器的硬件实现复杂度。
- 饱和非单调激活函数
本文提出了一种新的非单调激活函数 SGELU，SSiLU 和 SMish，它们由 ReLU 的正部分和 GELU、SiLU 和 Mish 的负部分组成。实验结果表明，这些新的激活函数在多个深度学习架构上具有高效性能。
- 基于规格的神经网络简化用于可扩展形式验证
本文提出了一种保守的神经网络缩减方法，该方法能够在验证减小的网络的同时，确保验证原始网络，可以适用于任何类型的激活函数，使得网络能够被缩小到不到原来的 5% 的大小，从而显著减少了验证时间。