ICLRJun, 2021

SHINE：双层优化和隐式模型的前向传递反向估计共享

PDF
TL;DR本论文提出了一种新的策略来解决双重问题在计算上的瓶颈，该方法通过使用前向传递中的拟牛顿矩阵来有效地近似计算需要梯度的反向传递中的逆雅各比矩阵，从而降低了计算成本。该方法在超参数优化问题上具有显著优势，并且在规模更大的问题上与 Jacobian-free 方法一样具有可比性能。
发现论文，激发创造
  • 深度平衡模型的高效训练

    本篇文章介绍了一个简单而有效的策略，通过 Broyden's Method 的 Jacobian 估计来避免 DEQ 网络层的反向传播过程中需要解决的昂贵 Jacobian-based 方程。实验证明，仅通过再次使用此估计，就能显著加速训练同时不会导致任何性能退化。

    Apr, 2023

  • 深度平衡模型

    本文介绍了一种新的应用于序列数据建模的方法 —— 深度平衡模型，并比较其在大规模语言模型任务上的性能，该方法可通过求解根来直接获取固定点，训练和预测所需的内存只需常数级别，大大减少了存储消耗。

    Sep, 2019

  • 深度均衡模型与不那么深的显式模型在高维高斯混合模型中几乎等效

    使用随机矩阵理论，对深度平衡模型的特征频谱进行深入分析，证明了隐式 CK 和 NTK 的谱行为取决于激活函数和初始权重方差，从而可以通过一个浅层显式网络来设计出相同的 CK 或 NTK。

    Feb, 2024

  • 通过雅各比正则化稳定平衡模型

    本文提出一种正则化方案来加强深度均衡网络（DEQ）模型的学习稳定性，该正则化方案显著提高了 DEQ 模型的收敛速度和性能，使得 DEQ 模型与传统深度网络在速度和性能上保持相当，并且具有恒定的内存占用和简单的架构。

    Jun, 2021

  • 隐式深度学习中像训练测试

    本文提出了问题，并在简单的情境下给出了详细的理论分析，证明了对于超参数化网络，与训练时相比增加测试时的内部迭代次数不能改善性能。

    May, 2023

  • 多尺度深度平衡模型

    我们提出了一种新的隐式网络类别，即多尺度深度平衡模型（MDEQ），适用于大规模高度分层的模式识别领域。这种方法可以同时解决多个特征维度的平衡点，并且可以用于多种任务和损失函数，例如使用单个 MDEQ 同时执行图像分类和语义分割。在 ImageNet 分类和 Cityscapes 数据集高分辨率图像的语义分割任务上，我们展示了此方法的有效性。

    Jun, 2020

  • 图像反问题的深度平衡结构

    这篇文章提出了一种基于 Deep Equilibrium Models 的方案，通过无限循环的迭代，不断提高图像逆问题的重建精度，同时在测试时可以根据不同场景的需求选择不同的计算预算以优化精度和计算的权衡。

    Feb, 2021

  • 隐式模型再探：Weight-tied 模型在视觉任务中的稀疏性能权衡

    本研究重访了隐式模型的路线并将其追溯到最初的权重绑定模型，并提出使用不同的稀疏掩码来改善模型容量，在权重绑定模型中提供有关深度、宽度和稀疏选择的设计指导，并展示了我们的观察结果对其他学习范例的适用性。

    Jul, 2023

  • 通过深度平衡模型将自洽性融入密度泛函理论哈密顿量预测

    该研究介绍了一个统一的神经网络架构，Deep Equilibrium Density Functional Theory Hamiltonian (DEQH) 模型，它结合了 Deep Equilibrium Models (DEQs) 来预测 Density Functional Theory (DFT) Hamiltonians。DEQH 模型固有地捕捉了 Hamiltonian 的自洽性质，解决了传统机器学习方法在 Hamiltonian 预测中常忽略的关键问题。在多个数据集上测试，DEQHNet 显著提高了预测准确性，除了预测器外，DEQH 模型还是一个 Hamiltonian 求解器，利用深度平衡模型的固定点求解能力迭代求解 Hamiltonian，对 DEQHNet 的消融研究进一步阐明了网络的有效性，揭示了 DEQ 集成网络在 Hamiltonian 学习中的潜力。

    Jun, 2024

  • 利用基于模型的结构中未训练的神经网络解决具有模型不匹配的逆问题

    基于模型的深度学习方法在解决逆问题方面表现出色，然而前向模型的准确性对于物理应用来说是有限制的。为了解决这个问题，我们在基于模型的架构中引入一个未训练的前向模型残差块来匹配每个实例在测量域中的数据一致性，我们提出了两个变体，并证明了在温和条件下的收敛性。实验结果显示，在去除伪影并保留细节方面，我们的方法在三个不同应用中都取得了显著的质量改进，涵盖了线性和非线性逆问题。此外，我们突出了中间步骤的重建效果，并展示了对于残差块的随机初始化和更多迭代次数在评估中的稳健性。

    Mar, 2024