单调算子平衡网络

Jun, 2020

Monotone operator equilibrium networks

Ezra Winston, J. Zico Kolter

TL;DR本文开发了一种基于单调算子理论的新类别的内部层数模型，即单调算子平衡网络（monDEQ），通过带有保证和稳定收敛的高效求解器来解决难以稳定收敛和缺乏唯一解保证的传统的内部层数问题，该模型的参数化能确保所有算子保持单调性，从而保证存在独特的平衡点，并在多尺度卷积等结构化线性算子上实现了多个版本的这些模型，性能均明显优于基于神经 ODE 的模型，且更加高效。

Abstract

implicit-depth models such as deep equilibrium networks have recently been shown to match or exceed the performance of traditional deep networks while being much more memory efficient. However, these models suffe

implicit-depth models deep equilibrium networks neural odes monotone operator equilibrium network monotone operator splitting problem

发现论文，激发创造

优化引发的平衡网络

本研究探讨深度神经网络通过对隐含凸函数的 Proximal 操作构建 Optimization Induced Equilibrium Networks (OptEq) 的平衡点是否能作为优化问题的解，进而引入先验属性以便优化设计深度模型。该研究发现优化辅助设计的 OptEq 优于以往的隐式模型，是设计深度模型的重要一步。

May, 2021

次齐深度均衡模型

本文基于亚向同调算子和非线性 Perron-Frobenius 理论，对隐式深度神经网络的不动点的存在性和唯一性进行了新的分析。相较于先前的类似分析，我们的理论对参数矩阵的假设更弱，从而为隐式网络提供了更灵活的框架。我们通过前馈、卷积和图神经网络示例展示了所得到的亚向同调网络的性能。

Mar, 2024

多尺度深度平衡模型

我们提出了一种新的隐式网络类别，即多尺度深度平衡模型（MDEQ），适用于大规模高度分层的模式识别领域。这种方法可以同时解决多个特征维度的平衡点，并且可以用于多种任务和损失函数，例如使用单个 MDEQ 同时执行图像分类和语义分割。在 ImageNet 分类和 Cityscapes 数据集高分辨率图像的语义分割任务上，我们展示了此方法的有效性。

Jun, 2020

同一枚硬币的两面：通过同伦连续将深度平衡模型和神经微分方程连接起来

通过建立深度均衡模型（Deep Equilibrium Models）和神经常微分方程（Neural Ordinary Differential Equations）之间的联系，我们提出了一种新的隐式模型称为 HomoODE，它继承了 DEQ 的高准确性和神经 ODE 的稳定性，通过同伦延续隐式地解决平衡点找寻问题，并且通过一个共享可学习初始点的加速方法，在多个图像分类任务上超过了现有的隐式模型，具有更高的准确性和更低的内存消耗。

Oct, 2023

深度平衡模型

本文介绍了一种新的应用于序列数据建模的方法 —— 深度平衡模型，并比较其在大规模语言模型任务上的性能，该方法可通过求解根来直接获取固定点，训练和预测所需的内存只需常数级别，大大减少了存储消耗。

Sep, 2019

基于深度均衡的神经算子对稳态偏微分方程的研究

基于数据驱动的机器学习方法正在越来越多地应用于解决偏微分方程（PDEs），特别是在训练运算符方面展现出了显著的成功。在本文中，我们研究了使用绑定权重神经网络架构求解稳态 PDEs 的优势，并证明了 FNO-DEQ 可以近似解决任何可写为固定点方程的稳态 PDE。

Nov, 2023

学习鲁棒的深度平衡模型

本篇论文中，我们提出了一种新的深度学习模型，称为 LyaDEQ，通过 Lyapunov 稳定性理论，确保了 DEQ 模型的稳定性，并可以在面对初始扰动时保持其鲁棒性。我们对这种模型进行了评估，并在针对不同数据集的对抗攻击中展示了其在对抗防御方面的显着改进。

Apr, 2023

通过雅各比正则化稳定平衡模型

本文提出一种正则化方案来加强深度均衡网络（DEQ）模型的学习稳定性，该正则化方案显著提高了 DEQ 模型的收敛速度和性能，使得 DEQ 模型与传统深度网络在速度和性能上保持相当，并且具有恒定的内存占用和简单的架构。

Jun, 2021

正凸深层均衡模型

通过引入一种名为正凹深度平衡 (pcDEQ) 模型的新型 DEQ 模型类，通过基于非线性 Perron-Frobenius 理论的方法强制非负权重和激活函数，可以简化训练过程并且保证了固定点的存在和唯一性，进而解决了 DEQ 模型存在的固定点唯一性和收敛性问题，实验证明了 pcDEQ 模型在隐式模型中的竞争力。

Feb, 2024

深度平衡模型对抗鲁棒性的更深入探究

使用中间梯度的方法对 Deep Equilibrium Models 进行白盒攻击与评估，提高了其对抗攻击的鲁棒性，实验证明其在 CIFAR-10 数据集上的性能与同等规模的深度神经网络竞争力相当。

Jun, 2023