本文介绍了一种新的应用于序列数据建模的方法 —— 深度平衡模型，并比较其在大规模语言模型任务上的性能，该方法可通过求解根来直接获取固定点，训练和预测所需的内存只需常数级别，大大减少了存储消耗。

Sep, 2019

基于数据驱动的机器学习方法正在越来越多地应用于解决偏微分方程（PDEs），特别是在训练运算符方面展现出了显著的成功。在本文中，我们研究了使用绑定权重神经网络架构求解稳态 PDEs 的优势，并证明了 FNO-DEQ 可以近似解决任何可写为固定点方程的稳态 PDE。

Nov, 2023

本篇文章介绍了一个简单而有效的策略，通过 Broyden's Method 的 Jacobian 估计来避免 DEQ 网络层的反向传播过程中需要解决的昂贵 Jacobian-based 方程。实验证明，仅通过再次使用此估计，就能显著加速训练同时不会导致任何性能退化。

Apr, 2023

本文提出一种正则化方案来加强深度均衡网络（DEQ）模型的学习稳定性，该正则化方案显著提高了 DEQ 模型的收敛速度和性能，使得 DEQ 模型与传统深度网络在速度和性能上保持相当，并且具有恒定的内存占用和简单的架构。

Jun, 2021

StreamDEQ 是一种使用隐式层模型连续推断每帧视频表示且利用先前帧的表示作为初始条件的方法，通过实验证明，StreamDEQ 在几帧的实验时间内准确地恢复了近乎最优的表示，并且可以在视频显示期间保持最新的表示。

Apr, 2022

通过设计深度平衡解码器，我们提出了一种新的基于查询的目标检测器（DEQDet），能够通过一系列解码器层逐步完善查询向量，直接预测物体位置和类别。通过不精确梯度反向传播（RAG）和改进的深度监督方案（RAP），我们的 DEQDet 相较于基准模型（AdaMixer）收敛更快，内存占用更少，并取得了更好的性能表现。在 MS COCO 基准测试下，我们的 DEQDet 使用 ResNet50 骨干网络和 300 个查询达到了 49.5 mAP 和 33.0 AP$_s$，训练方案为 2 倍（24 epochs）。

Aug, 2023

我们提出了一种新的隐式网络类别，即多尺度深度平衡模型（MDEQ），适用于大规模高度分层的模式识别领域。这种方法可以同时解决多个特征维度的平衡点，并且可以用于多种任务和损失函数，例如使用单个 MDEQ 同时执行图像分类和语义分割。在 ImageNet 分类和 Cityscapes 数据集高分辨率图像的语义分割任务上，我们展示了此方法的有效性。

Jun, 2020

使用中间梯度的方法对 Deep Equilibrium Models 进行白盒攻击与评估，提高了其对抗攻击的鲁棒性，实验证明其在 CIFAR-10 数据集上的性能与同等规模的深度神经网络竞争力相当。

Jun, 2023

通过采用深度平衡固定点系统，我们重新思考了基于扩散的图像修复模型，并且通过模型化扩散模型中的整个采样链作为多元固定点系统，以获得解析解，从而能够并行地进行单图像采样，无需训练。在 DEQ 中计算快速梯度，并发现初始化优化可以提高性能并控制生成方向。在基准测试和实际环境中进行的大量实验证明了我们提出的方法的有效性。代码和模型将公开提供。

Nov, 2023

本篇论文中，我们提出了一种新的深度学习模型，称为 LyaDEQ，通过 Lyapunov 稳定性理论，确保了 DEQ 模型的稳定性，并可以在面对初始扰动时保持其鲁棒性。我们对这种模型进行了评估，并在针对不同数据集的对抗攻击中展示了其在对抗防御方面的显着改进。

Apr, 2023