- ICML关于层归一化的非线性性
研究论文通过理论和实验分析，探讨了层归一化在深度学习中的非线性和表示能力，并展示了利用层归一化的神经网络结构的有效性以及扩大其非线性的方法。
- 改进的有限时间分析：基于深度神经网络的时差学习
本文基于非线性的动作价值逼近，对具有神经网络函数参数化的时序差异（TD）学习算法进行改进的有限时间分析，得到了一种改进的新的样本复杂度 Ο̃(ε^(-1))，在马尔可夫采样下取得了 Ο̃(ε^(-1)) 的复杂度，相比现有文献中已知的 Ο̃ - 神经网络中的非线性提取与 Koopman 算子模型压缩
深度神经网络中的非线性起着关键作用。本论文首先探讨了神经网络非线性的必要程度，然后提出了一种用于深度神经网络的模型压缩方法，该方法利用 Koopman 算子允许我们在神经网络的内部处理中使用线性代数，并在手写数字识别任务中得到了与传统方法相 - PanGu-$π$: 通过非线性补偿提高语言模型架构
我们分析了现有的语言模型架构，发现特征崩溃问题，然后根据理论分析提出了一种增强语言模型非线性的新的高效模型架构，命名为 PanGu-$\pi$，并通过实验证明了其在效率和准确性方面的优势。
- ICML流形结构数据上的线性回归：外在几何对解决方案的影响
研究了在流形上建模的线性回归，并分析了嵌入空间中的曲率对回归解决方案唯一性的影响，揭示了数据流形几何在确保回归模型对分布外推理的稳定性方面的作用。
- 软阈值下二层卷积神经网络的凸对偶理论分析
本文提出一个新的凸化软阈值神经网络的方法，设计一个凸对偶网络来解决网络的非线性和非凸性造成的全局最优解难以获得的问题，并在线性拟合和降噪实验中验证了此结论。
- 用确定性粒子流约束随机非线性系统
提出了一种非迭代的方法，从一个相互作用粒子逼近的对数梯度中估计必要的控制，用于扰动非线性系统的最优干预。
- 多体相互作用下的观点动态
本文提出并分析了一种基于超图的非线性共识动力学三体模型，该模型包含加强群体效应，可以在基础图形完整（对应于平均场相互作用）的情况下导致系统平均状态的变化，这可能被解释为一种同伴压力现象。我们进一步演示了对于具有两个聚类组的系统，即使在我们的 - 非线性 + 网络：2020 视角
对网络和非线性的几个有趣的主题进行了简要调查，重点介绍了一些方法和思想，包括几个我个人感兴趣的方法和思想，这些方法和思想在未来几年内预计将特别重要。这些主题包括时间网络、网络上的随机和确定性动力学过程、自适应网络和包括网络中三个或多个实体的 - 一类 S 型非线性函数的神经网络可辨识性
本文研究神经网络的特定输入输出映射是否能唯一指定神经网络结构、权重和偏置，并探究其实现的通用性和稳健性，构建了一族非线性模型作为研究对象，并得出其必要通用性条件。
- 深度神经网络的逼近空间
研究深度神经网络的表现力，将其复杂性衡量为连接数或神经元数，通过近似理论建立了逼近空间，研究 skip-connections 和非线性对逼近空间的影响，将其与 Besov 空间联系起来，发现如果深度足够，即使函数平滑度很低，也能够很好地通 - 深度与非线性性在 ResNets 中不会产生不良局部极小值
本文证明深度与非线性激活函数对于 ResNets 不存在坏局部最小值，且所有局部最小值的值都不会比相应的经典机器学习模型的全局最小值差，且保证可通过残差表示进一步改善，从而推进了深度学习的优化理论（但仅适用于 ResNets 而非其他网络结 - ICML高维数据的随机特征映射谱
本文运用随机矩阵理论诱导的 “浓度” 现象对这些随机特征图 Gram 矩阵的谱分析，为更深入地理解非线性和数据统计学的相互作用提供了基础，从而实现了更好的随机特征技术调优。
- 深度稀疏子空间聚类
本文提出了一种深度扩展的稀疏子空间聚类方法，称为深层稀疏子空间聚类（DSSC）。通过神经网络的非线性变换，DSSC 不仅满足了 SSC 的稀疏性原则，还同时满足了学习深度特征的单位球分布假设。实验证明 DSSC 在四个真实世界数据集上具有明 - ICCVSORT：二阶响应变换用于视觉识别
介绍了将二阶操作引入深度神经网络的重要性和好处，并提出了一种名为二阶响应变换（SORT）的新方法，可以有效地促进跨分支响应传播、提高网络非线性，从而在多种网络结构上获得一致的准确度提升。
- 深度不会导致糟糕的局部极小值
本文研究深度学习中通过证明只有深度，没有非线性性质也不会产生坏局部极小值，由此大大简化了之前证明前馈深度线性神经网络所有局部极小值也是全局极小值的方法，并推广到了深度线性模型的平方误差函数以外的情形。
- 利用 S 系统和交替回归高效推断细胞动力学的简约表观模型
本文提出了一种基于 S 系统格式的自适应方法，将这个方法与模型选择相结合，以获得高预测能力和结构复杂度适应于推断问题难度的动力学模型。