深度均衡模型与不那么深的显式模型在高维高斯混合模型中几乎等效

Feb, 2024

深度均衡模型与不那么深的显式模型在高维高斯混合模型中几乎等效

Deep Equilibrium Models are Almost Equivalent to Not-so-deep Explicit Models for High-dimensional Gaussian Mixtures

Zenan Ling, Longbo Li, Zhanbo Feng, Yixuan Zhang, Feng Zhou...

TL;DR使用随机矩阵理论，对深度平衡模型的特征频谱进行深入分析，证明了隐式 CK 和 NTK 的谱行为取决于激活函数和初始权重方差，从而可以通过一个浅层显式网络来设计出相同的 CK 或 NTK。

Abstract

deep equilibrium models (DEQs), as a typical implicit neural network, have demonstrated remarkable success on various tasks. There is, however, a lack of theoretical understanding of the connections and differenc

deep equilibrium models implicit neural network random matrix theory conjugate kernel neural tangent kernel

发现论文，激发创造

关于平衡模型的神经切向核

这项研究探讨了深度平衡模型的神经切向核（NTK），一种实用的 “无限深度” 架构，通过根求解直接计算出与之相关联的网络的无限深度极限。尽管完全连接的神经网络的 NTK 在宽度和深度同时趋于无穷大时可能是随机的，但我们证明在一些温和条件下，DEQ 模型仍然具有确定性 NTK。此外，可以通过根求解高效地找到这种确定性 NTK。

Oct, 2023

深度平衡模型

本文介绍了一种新的应用于序列数据建模的方法 —— 深度平衡模型，并比较其在大规模语言模型任务上的性能，该方法可通过求解根来直接获取固定点，训练和预测所需的内存只需常数级别，大大减少了存储消耗。

Sep, 2019

宽神经网络作为高斯过程：深度平衡模型的教训

当 DEQ 层的宽度趋近于无穷大时，它收敛到一个高斯过程，建立了所谓的神经网络和高斯过程 (NNGP) 的对应关系，这种收敛甚至在深度和宽度的极限互换的情况下也成立，这些发现为研究 DEQ 的训练和泛化提供了基础，为未来的研究奠定了基础。

Oct, 2023

深度平衡模型的高效训练

本篇文章介绍了一个简单而有效的策略，通过 Broyden's Method 的 Jacobian 估计来避免 DEQ 网络层的反向传播过程中需要解决的昂贵 Jacobian-based 方程。实验证明，仅通过再次使用此估计，就能显著加速训练同时不会导致任何性能退化。

Apr, 2023

正凸深层均衡模型

通过引入一种名为正凹深度平衡 (pcDEQ) 模型的新型 DEQ 模型类，通过基于非线性 Perron-Frobenius 理论的方法强制非负权重和激活函数，可以简化训练过程并且保证了固定点的存在和唯一性，进而解决了 DEQ 模型存在的固定点唯一性和收敛性问题，实验证明了 pcDEQ 模型在隐式模型中的竞争力。

Feb, 2024

通过雅各比正则化稳定平衡模型

本文提出一种正则化方案来加强深度均衡网络（DEQ）模型的学习稳定性，该正则化方案显著提高了 DEQ 模型的收敛速度和性能，使得 DEQ 模型与传统深度网络在速度和性能上保持相当，并且具有恒定的内存占用和简单的架构。

Jun, 2021

TorchDEQ：深度均衡模型库

这篇研究论文介绍了一种称为 Deep Equilibrium (DEQ) 模型的隐式模型新类别，并提出了 TorchDEQ 库，该库能够在多个领域上定义、训练和推断使用 DEQ 模型，通过结合最佳实践，显著提高了 DEQ 模型在十个数据集上的性能、训练稳定性和效率。

Oct, 2023

学习鲁棒的深度平衡模型

本篇论文中，我们提出了一种新的深度学习模型，称为 LyaDEQ，通过 Lyapunov 稳定性理论，确保了 DEQ 模型的稳定性，并可以在面对初始扰动时保持其鲁棒性。我们对这种模型进行了评估，并在针对不同数据集的对抗攻击中展示了其在对抗防御方面的显着改进。

Apr, 2023

多尺度深度平衡模型

我们提出了一种新的隐式网络类别，即多尺度深度平衡模型（MDEQ），适用于大规模高度分层的模式识别领域。这种方法可以同时解决多个特征维度的平衡点，并且可以用于多种任务和损失函数，例如使用单个 MDEQ 同时执行图像分类和语义分割。在 ImageNet 分类和 Cityscapes 数据集高分辨率图像的语义分割任务上，我们展示了此方法的有效性。

Jun, 2020

通过深度平衡模型将自洽性融入密度泛函理论哈密顿量预测

该研究介绍了一个统一的神经网络架构，Deep Equilibrium Density Functional Theory Hamiltonian (DEQH) 模型，它结合了 Deep Equilibrium Models (DEQs) 来预测 Density Functional Theory (DFT) Hamiltonians。DEQH 模型固有地捕捉了 Hamiltonian 的自洽性质，解决了传统机器学习方法在 Hamiltonian 预测中常忽略的关键问题。在多个数据集上测试，DEQHNet 显著提高了预测准确性，除了预测器外，DEQH 模型还是一个 Hamiltonian 求解器，利用深度平衡模型的固定点求解能力迭代求解 Hamiltonian，对 DEQHNet 的消融研究进一步阐明了网络的有效性，揭示了 DEQ 集成网络在 Hamiltonian 学习中的潜力。

Jun, 2024