隐式深度学习

Aug, 2019

Implicit Deep Learning

Laurent El Ghaoui, Fangda Gu, Bertrand Travacca, Armin Askari, Alicia Y. Tsai

TL;DR隐式深度学习预测规则推广了前馈神经网络的递归规则。这种规则基于涉及单个隐含特征向量的不动点方程的解，因此只是隐式定义的。隐式框架极大地简化了深度学习的符号表示，并在新体系结构和算法、稳健性分析和设计、可解释性、稀疏性和网络架构优化等方面开辟了许多新的可能性。

Abstract

Implicit deep learning prediction rules generalize the recursive rules of feedforward neural networks. Such rules are based on the solution of a fixed-point equation involving a single vector of hidden features,

implicit framework deep learning prediction rules network architecture optimization robustness analysis

发现论文，激发创造

深度学习的隐性偏见：渐增学习如何推动泛化

本文定义了增量学习动力学的概念并证明了在深度为多项式关系和初始化条件正确的情况下，神经网络可以展现出增量学习能力，且通过实验证明在使用深度学习模型中，梯度下降算法有助于寻找简单的模型解。

Sep, 2019

神经网络是隐式决策树：层次简约偏差

神经网络在存在偏执特征时，能够学习到核心特征，即使简单虚假特征扭曲了预测结果；研究通过不平衡标签耦合的方法，调查了简单和复杂特征在预测中的不同水平，以及复杂特征在预测中的贡献。

Nov, 2023

深层声明网络：新的希望

本研究探索了一类新的端到端可学习模型，其中数据处理节点是根据预期行为而不是显式的前向函数定义的，并且演示了这些模型如何超越当前的深度学习模型，如何通过隐式函数定理进行反向传播导致端到端学习，以及如何在常见的 PyTorch 深度学习软件库中实现这些声明性处理节点。

Sep, 2019

隐式深度学习中像训练测试

本文提出了问题，并在简单的情境下给出了详细的理论分析，证明了对于超参数化网络，与训练时相比增加测试时的内部迭代次数不能改善性能。

May, 2023

深度 ReLU 隐式网络的全局收敛理论：基于过度参数化

本文分析了 ReLU 激活的隐式神经网络的梯度流，证明了如果隐式神经网络是超参数化的，那么一个随机初始化的梯度下降法可以以线性速率收敛到全局最小值，这一结果与有限层参数超过的神经网络的收敛结果不同，因为本文的结论适用于无限层的神经网络。

Oct, 2021

递归和深度的惊人相似性

本文研究了深度神经网络的层次结构特征，发现递归神经网络与前馈网络在提取特征和处理深层次信息方面表现出类似的表现和性能优越，且递归模型能够模拟前馈模型的行为并使用更少的参数来实现图像分类和迷宫问题的求解。

Feb, 2021

隐式图神经网络

本文提出了一种名为 “Implicit Graph Neural Networks（IGNN）” 的图学习框架，其利用 Perron-Frobenius 理论来确保该框架的良好性，并利用隐式微分得到一种可行的投影梯度下降法来训练该框架，实验证明 IGNN 可以稳定捕捉长程依赖并优于现有的 GNN 模型。

Sep, 2020

关于隐式深度学习的理论：隐式层的全局收敛性

本文基于深度平衡模型，分析其具有非凸目标函数和非线性权重矩阵的回归与分类问题的梯度动态，证明了在没有对模型宽度的任何假设的情况下会以线性速率收敛到全局最优解，同时关注了隐式层的隐式偏差和其与浅层显式层的动态的关系。

Feb, 2021

基于学生 - 老师框架的随机特征模型的在线学习

研究了两层神经网络中过参数化对学生 - 教师框架的影响，发现只有当学生的隐藏层数量指数级大于输入维度时，才能达到完美的泛化。同时计算了其渐进的泛化误差。

Mar, 2023

显式优化神经网络减少反向传播需求并发现更好的极值

基于反向传播的迭代微分逼近方法使得神经网络的优化成为可能，但目前仍然计算代价高昂，尤其是在大规模训练模型时。本文提出了一种计算效率高的神经网络优化替代方案，既能降低神经网络的扩展成本，又能为低资源应用提供高效的优化。通过数学分析其梯度，我们推导了一个明确的解决方案用于简单的前馈语言模型 (LM)。该解决方案可以推广到基于正值特征训练的所有单层前馈 softmax 激活神经模型，我们通过将该解决方案应用于 MNIST 数字分类问题进行了验证。在 LM 和数字分类器的实验中，我们发现在计算上，明确的解决方案可以接近最优解，同时证明了：1) 迭代优化对明确解决方案参数的改进仅有微小影响，2) 随机初始化参数通过迭代优化逐渐趋向于明确的解决方案。我们还初步将明确的解决方案局部应用于多层网络，并讨论了随着模型复杂性增加的解决方案的计算节约。对于明确解决方案的单层和多层应用，我们强调仅通过反向传播无法达到这些最优解，即只有在应用明确解决方案后才能发现更好的最优解。最后，我们讨论了解决方案的计算节约以及它对模型可解释性的影响，并提出了为推导复杂和多层体系结构的明确解决方案的未来方向。

Nov, 2023