我们提出了一种新的隐式网络类别，即多尺度深度平衡模型（MDEQ），适用于大规模高度分层的模式识别领域。这种方法可以同时解决多个特征维度的平衡点，并且可以用于多种任务和损失函数，例如使用单个 MDEQ 同时执行图像分类和语义分割。在 ImageNet 分类和 Cityscapes 数据集高分辨率图像的语义分割任务上，我们展示了此方法的有效性。

Jun, 2020

本文介绍了一种新的应用于序列数据建模的方法 —— 深度平衡模型，并比较其在大规模语言模型任务上的性能，该方法可通过求解根来直接获取固定点，训练和预测所需的内存只需常数级别，大大减少了存储消耗。

Sep, 2019

本篇文章介绍了一个简单而有效的策略，通过 Broyden's Method 的 Jacobian 估计来避免 DEQ 网络层的反向传播过程中需要解决的昂贵 Jacobian-based 方程。实验证明，仅通过再次使用此估计，就能显著加速训练同时不会导致任何性能退化。

Apr, 2023

通过设计深度平衡解码器，我们提出了一种新的基于查询的目标检测器（DEQDet），能够通过一系列解码器层逐步完善查询向量，直接预测物体位置和类别。通过不精确梯度反向传播（RAG）和改进的深度监督方案（RAP），我们的 DEQDet 相较于基准模型（AdaMixer）收敛更快，内存占用更少，并取得了更好的性能表现。在 MS COCO 基准测试下，我们的 DEQDet 使用 ResNet50 骨干网络和 300 个查询达到了 49.5 mAP 和 33.0 AP$_s$，训练方案为 2 倍（24 epochs）。

Aug, 2023

本文提出一种正则化方案来加强深度均衡网络（DEQ）模型的学习稳定性，该正则化方案显著提高了 DEQ 模型的收敛速度和性能，使得 DEQ 模型与传统深度网络在速度和性能上保持相当，并且具有恒定的内存占用和简单的架构。

Jun, 2021

使用 Deep Equilibrium （DEQ）流估计器解决光流估计中存在的问题，包括计算和内存开销及模型不稳定，DEQ 模型与循环神经网络模型相比运算更快，消耗更少训练内存，且结果更好，同时提出稀疏定点修正方案，测试结果表明在 Sintel 和 KITTI 数据集中有更好的计算和内存效率表现。

Apr, 2022

本文提出了一种基于 Deep Equilibrium Model 的级联计算方法 --Landmark DEQ (LDEQ)，在面部关键点检测上取得了最先进的性能，并针对视频数据集提出了 Recurrence without Recurrence (RwR) 范式，通过引入新的评估指标 NMF 和发布新的面部标记视频数据集 WFLW-V，大大减少了面部关键点的抖动。

Apr, 2023

本篇论文中，我们提出了一种新的深度学习模型，称为 LyaDEQ，通过 Lyapunov 稳定性理论，确保了 DEQ 模型的稳定性，并可以在面对初始扰动时保持其鲁棒性。我们对这种模型进行了评估，并在针对不同数据集的对抗攻击中展示了其在对抗防御方面的显着改进。

Apr, 2023

本研究探讨了利用 Deep Equilibrium（DEQ）模型而不是传统的深度学习网络来解决联邦学习（FL）问题的新视角。我们声称将 DEQ 模型纳入联邦学习框架中，自然解决了 FL 中的若干开放问题，例如由于共享大型模型而产生的通信开销，以及能够并入具有显著不同计算能力的异构边缘设备。此外，在 FL 框架的服务器端提出了一种加权平均融合规则，以考虑来自异构边缘设备的不同模型质量。据我们所知，本研究是第一个建立 DEQ 模型和联邦学习之间联系的研究，对于开发高效而有效的 FL 框架做出了贡献。最后，我们给出有前途的初始实验结果，证明了这种方法在解决 FL 挑战方面的潜力。

May, 2023

这篇研究论文介绍了一种称为 Deep Equilibrium (DEQ) 模型的隐式模型新类别，并提出了 TorchDEQ 库，该库能够在多个领域上定义、训练和推断使用 DEQ 模型，通过结合最佳实践，显著提高了 DEQ 模型在十个数据集上的性能、训练稳定性和效率。

Oct, 2023