通过将连续动力学系统嵌入高阶数值积分方案中，我们构造了一种连续的深度神经网络框架 ——ContinuousNet，其具有与时间步长大小无关的层次独立性和增量深度训练方法，实现了在保持准确性的同时加快推断速度。

Aug, 2020

该研究提出了一种新的神经网络架构 - Expressive Neural Network (ENN)，其中非线性激活函数使用离散余弦变换 (DCT) 建模，并在训练过程中使用反向传播进行自适应，实现了较高的灵活性和表现力，同时可以适应不同的学习任务。经过大量实验证明，ENN 的性能超过当前的最先进技术，并在某些场景下提供高达 40％的准确性差距。

Jul, 2023

使用自适应激活函数，设计了一种用于改进深层神经网络架构的分段线性激活函数，并在 CIFAR-10 等数据集上取得了最先进的表现。

Dec, 2014

通过深门控网络作为框架，理论分析和实验验证了几种 DGNs 变体，阐述了深度神经网络的训练和泛化方面的问题，着重讨论了为什么增加深度能帮助训练到一定程度，而增加深度会伤害训练，以及证明了门控自适应在泛化中的关键作用。

Feb, 2020

本文提出了一种新的神经网络表达性问题的方法，其中基于轨迹长度的一维路径上的输出是一种新颖的表达形式。实验得出：（1）计算的函数复杂度随深度指数增长；（2）所有权重不同，加上轨迹正则化是批标准化的一个更简单的选择，但表现相同。

Jun, 2016

通过研究激活函数对死神经元和有效秩大小的影响，本文提出了一个新的神经网络结构，并展示了在 Atari 领域中学习速度更快、死神经元减少和有效秩增加的结果。

Jun, 2024

该研究提出了一种理论上可靠的解决方案，用于跟踪计算机视觉应用中深度神经网络中的非线性传播，提供了详实的实验结果，突出了提出的亲和性评分的实用性及其潜在的广泛应用。

Oct, 2023

通过研究多项式激活的深度神经网络，我们提出了 “维度” 作为多项式神经网络表现力的度量标准，并探讨了它受体系结构影响的理论结果。同时，我们还将我们的研究与有利的优化性质联系起来，以及与张量和多项式分解等领域产生了有趣的关联。

May, 2019

我们提出了一种统一的神经网络激活函数表示形式，采用分数阶微积分的 Mittag-Leffler 函数，该形式能够插值不同的激活函数并减轻神经网络训练中普遍存在的梯度消失和梯度爆炸等问题。使用 Lenet-5 神经网络在 MNIST 和 CIFAR-10 数据集上训练，我们证明采用统一的门控表示法是传统机器学习框架中内置的激活函数实现的一种有前途且经济的替代方案。

Feb, 2023

本文提出一种新的激活单元，与传统的 per-pixel 激活单元相比，该单元实现了可学习的带有空间连接的非线性函数，使神经网络能够捕捉更复杂的特征，从而在图像恢复问题中取得了极高的性能和效率。

Nov, 2017