- 使用物理认知的深度平衡模型解决微分方程
该论文介绍了物理信息深度平衡模型（PIDEQs）来解决常微分方程（ODEs）的初始值问题（IVPs）。通过结合深度平衡模型（DEQs）和物理信息神经网络（PINNs）的隐式输出表示和物理信息训练技术，PIDEQs 在 Van der Pol - 正凸深层均衡模型
通过引入一种名为正凹深度平衡 (pcDEQ) 模型的新型 DEQ 模型类，通过基于非线性 Perron-Frobenius 理论的方法强制非负权重和激活函数，可以简化训练过程并且保证了固定点的存在和唯一性，进而解决了 DEQ 模型存在的固定 - 深度均衡模型与不那么深的显式模型在高维高斯混合模型中几乎等效
使用随机矩阵理论，对深度平衡模型的特征频谱进行深入分析，证明了隐式 CK 和 NTK 的谱行为取决于激活函数和初始权重方差，从而可以通过一个浅层显式网络来设计出相同的 CK 或 NTK。
- 使用非单调算子的本地单调算子学习：MnM-MOL
通过对梯度数据和卷积神经网络块的总和施加单调性约束，本研究旨在放松对卷积神经网络块的约束以提高性能，并仅将算子在图像流形附近的局部邻域内保持单调性约束，从而实现从稀疏测量恢复磁共振图像的创新方法。
- 加速层次关联记忆：深度平衡方法
提出了两种策略来提高分层关联记忆模型的模拟效率：将其作为深度平衡模型进行建模，以及通过交替优化偶数层和奇数层加速记忆检索速度，这两种技术的结合使能量最小化过程更加高效。
- TorchDEQ：深度均衡模型库
这篇研究论文介绍了一种称为 Deep Equilibrium (DEQ) 模型的隐式模型新类别，并提出了 TorchDEQ 库，该库能够在多个领域上定义、训练和推断使用 DEQ 模型，通过结合最佳实践，显著提高了 DEQ 模型在十个数据集上 - 宽神经网络作为高斯过程：深度平衡模型的教训
当 DEQ 层的宽度趋近于无穷大时，它收敛到一个高斯过程，建立了所谓的神经网络和高斯过程 (NNGP) 的对应关系，这种收敛甚至在深度和宽度的极限互换的情况下也成立，这些发现为研究 DEQ 的训练和泛化提供了基础，为未来的研究奠定了基础。
- 同一枚硬币的两面：通过同伦连续将深度平衡模型和神经微分方程连接起来
通过建立深度均衡模型（Deep Equilibrium Models）和神经常微分方程（Neural Ordinary Differential Equations）之间的联系，我们提出了一种新的隐式模型称为 HomoODE，它继承了 DE - 隐式模型再探：Weight-tied 模型在视觉任务中的稀疏性能权衡
本研究重访了隐式模型的路线并将其追溯到最初的权重绑定模型，并提出使用不同的稀疏掩码来改善模型容量，在权重绑定模型中提供有关深度、宽度和稀疏选择的设计指导，并展示了我们的观察结果对其他学习范例的适用性。
- ICML通过神经动力学的显式规则改进 DEQs 的对抗性鲁棒性
本文通过神经动力学的视角对 Deep Equilibrium 模型进行了解释，并提出了一种降低预测熵的方法来提高其鲁棒性。实验结果表明，该方法有效地提高了 DEQs 模型的鲁棒性，甚至优于强深度网络基线。
- 深度平衡模型对抗鲁棒性的更深入探究
使用中间梯度的方法对 Deep Equilibrium Models 进行白盒攻击与评估，提高了其对抗攻击的鲁棒性，实验证明其在 CIFAR-10 数据集上的性能与同等规模的深度神经网络竞争力相当。
- 深度均衡模型遇见联邦学习
本研究探讨了利用 Deep Equilibrium（DEQ）模型而不是传统的深度学习网络来解决联邦学习（FL）问题的新视角。我们声称将 DEQ 模型纳入联邦学习框架中，自然解决了 FL 中的若干开放问题，例如由于共享大型模型而产生的通信开销 - 学习鲁棒的深度平衡模型
本篇论文中，我们提出了一种新的深度学习模型，称为 LyaDEQ，通过 Lyapunov 稳定性理论，确保了 DEQ 模型的稳定性，并可以在面对初始扰动时保持其鲁棒性。我们对这种模型进行了评估，并在针对不同数据集的对抗攻击中展示了其在对抗防御 - ICML深度平衡模型的高效训练
本篇文章介绍了一个简单而有效的策略，通过 Broyden's Method 的 Jacobian 估计来避免 DEQ 网络层的反向传播过程中需要解决的昂贵 Jacobian-based 方程。实验证明，仅通过再次使用此估计，就能显著加速训练 - ICLRSHINE：双层优化和隐式模型的前向传递反向估计共享
本论文提出了一种新的策略来解决双重问题在计算上的瓶颈，该方法通过使用前向传递中的拟牛顿矩阵来有效地近似计算需要梯度的反向传递中的逆雅各比矩阵，从而降低了计算成本。该方法在超参数优化问题上具有显著优势，并且在规模更大的问题上与 Jacobia - 图像反问题的深度平衡结构
这篇文章提出了一种基于 Deep Equilibrium Models 的方案，通过无限循环的迭代，不断提高图像逆问题的重建精度，同时在测试时可以根据不同场景的需求选择不同的计算预算以优化精度和计算的权衡。