- 使用分支定界进行非线性神经网络验证
本文提出了名为 GenBaB 的通用框架，用于进行神经网络中非线性函数的分支界定与验证，并展示了其在验证各种类型的神经网络以及其他非线性计算图上的有效性。
- MM回归树懂微积分
用于预测分析的回归树通过估计梯度提高了模型的能力，并解决了不确定性量化的任务，同时提供了模型行为的解释。
- 随机多元通用基数有限状态机：一种理论上和实践上优雅的非线性函数逼近方法
基于随机计算的多元非线性函数生成的硬件简化的多元通用基数有限状态机 (SMURF) 及其架构、采样门系数的分析推导以及与 Taylor 级数逼近和查找表方案相比的优越性实验证明。
- 大深度网络的隐式偏差：非线性函数的秩观念
研究表明，完全连接的神经网络在非线性齐次时的表示成本收敛于非线性函数的排序上，然后研究了何时可以恢复数据的 “真实” 排名，最后发现自编码器具有最优非线性排名是自然的去噪声的。
- Phy-Taylor：基于物理模型的深度神经网络
该论文提出了一个基于物理模型的深度神经网络框架（Phy-Taylor），该框架主要包括物理兼容神经网络（PhN）和物理引导神经网络编辑机制。PhN 通过引入泰勒级数展开的单项式，捕获物理相关的非线性，Phy-Taylor 具有较少的参数，加 - MMAMITE: 一种用于分析神经网络非线性的新型多项式扩展
本文提出了一种新颖的基于积分变换的扩展方法（AMITE），可以更准确地分析神经网络非线性，包括多项式扩展、范围约束等等，和现有的 Chebyshev 和 Taylor 方法相比，AMITE 是第一种同时提供所有所需文化方法的方法，展示了它的 - 深度学习非线性混合的随机矩阵视角
研究分析使用大型神经网络架构和随机特征回归的深度学习在高维数据集的性能表现，并发现混合非线性函数可提高训练与测试性能，为近似核方法或神经网络架构设计提供了参考。
- ICLR适用于循环神经网络的广义张量模型
本文研究了使用不同非线性激活函数的循环神经网络（RNNs）的理论效率，表明它们也具有普适性和深度效率的特性，并通过计算实验证实了这一理论结果。
- 用深度卷积循环自编码器学习流体系统低维特征动态
本研究提出一种基于深度学习的非线性模型降维策略，通过深度卷积自编码器和 LSTM 网络构建模块化模型，实现繁重计算任务中的模型降维，同时保持计算效率和系统稳定性。
- 深度网络中谱普适性的出现
利用自由概率理论，对深度网络输入 - 输出 Jacobian 谱的结构进行研究，探讨非线性、权值、偏置分布、深度等超参数对 Jacobian 谱的影响。我们发现，不同的非线性函数都符合一些新的普适极限谱分布，即使深度接近无穷，这些分布也可以 - 深度卷积网络是层次化的核机器
该论文讨论了 i-theory 中典型层次结构的构成，提出现代 DCNs 可以与具有池化和非池化层次的核机器的层级架构完全等效，最终提出高效的结构猜想。