Jul, 2023

隐式模型再探：Weight-tied 模型在视觉任务中的稀疏性能权衡

PDF
TL;DR本研究重访了隐式模型的路线并将其追溯到最初的权重绑定模型，并提出使用不同的稀疏掩码来改善模型容量，在权重绑定模型中提供有关深度、宽度和稀疏选择的设计指导，并展示了我们的观察结果对其他学习范例的适用性。
deep equilibrium modelsweight-tied modelsoptimization instabilitymodel capacitysparse masks
发现论文，激发创造
  • 深度平衡模型

    本文介绍了一种新的应用于序列数据建模的方法 —— 深度平衡模型，并比较其在大规模语言模型任务上的性能，该方法可通过求解根来直接获取固定点，训练和预测所需的内存只需常数级别，大大减少了存储消耗。

    Sep, 2019

  • 多尺度深度平衡模型

    我们提出了一种新的隐式网络类别，即多尺度深度平衡模型（MDEQ），适用于大规模高度分层的模式识别领域。这种方法可以同时解决多个特征维度的平衡点，并且可以用于多种任务和损失函数，例如使用单个 MDEQ 同时执行图像分类和语义分割。在 ImageNet 分类和 Cityscapes 数据集高分辨率图像的语义分割任务上，我们展示了此方法的有效性。

    Jun, 2020

  • 深度均衡模型与不那么深的显式模型在高维高斯混合模型中几乎等效

    使用随机矩阵理论，对深度平衡模型的特征频谱进行深入分析，证明了隐式 CK 和 NTK 的谱行为取决于激活函数和初始权重方差，从而可以通过一个浅层显式网络来设计出相同的 CK 或 NTK。

    Feb, 2024

  • 深度平衡模型的高效训练

    本篇文章介绍了一个简单而有效的策略，通过 Broyden's Method 的 Jacobian 估计来避免 DEQ 网络层的反向传播过程中需要解决的昂贵 Jacobian-based 方程。实验证明，仅通过再次使用此估计，就能显著加速训练同时不会导致任何性能退化。

    Apr, 2023

  • SHINE：双层优化和隐式模型的前向传递反向估计共享

    本论文提出了一种新的策略来解决双重问题在计算上的瓶颈，该方法通过使用前向传递中的拟牛顿矩阵来有效地近似计算需要梯度的反向传递中的逆雅各比矩阵，从而降低了计算成本。该方法在超参数优化问题上具有显著优势，并且在规模更大的问题上与 Jacobian-free 方法一样具有可比性能。

    Jun, 2021

  • TorchDEQ：深度均衡模型库

    这篇研究论文介绍了一种称为 Deep Equilibrium (DEQ) 模型的隐式模型新类别，并提出了 TorchDEQ 库，该库能够在多个领域上定义、训练和推断使用 DEQ 模型，通过结合最佳实践，显著提高了 DEQ 模型在十个数据集上的性能、训练稳定性和效率。

    Oct, 2023

  • 通过雅各比正则化稳定平衡模型

    本文提出一种正则化方案来加强深度均衡网络（DEQ）模型的学习稳定性，该正则化方案显著提高了 DEQ 模型的收敛速度和性能，使得 DEQ 模型与传统深度网络在速度和性能上保持相当，并且具有恒定的内存占用和简单的架构。

    Jun, 2021

  • 学习鲁棒的深度平衡模型

    本篇论文中，我们提出了一种新的深度学习模型，称为 LyaDEQ，通过 Lyapunov 稳定性理论，确保了 DEQ 模型的稳定性，并可以在面对初始扰动时保持其鲁棒性。我们对这种模型进行了评估，并在针对不同数据集的对抗攻击中展示了其在对抗防御方面的显着改进。

    Apr, 2023

  • 正凸深层均衡模型

    通过引入一种名为正凹深度平衡 (pcDEQ) 模型的新型 DEQ 模型类，通过基于非线性 Perron-Frobenius 理论的方法强制非负权重和激活函数，可以简化训练过程并且保证了固定点的存在和唯一性，进而解决了 DEQ 模型存在的固定点唯一性和收敛性问题，实验证明了 pcDEQ 模型在隐式模型中的竞争力。

    Feb, 2024

  • 深度网络中的最大稀疏性？

    论文研究了稀疏估计算法、神经网络层和深度网络学习在估计准确性方面的应用，展示了深度网络学习可以在稀疏字典具有连贯列时恢复最小 L0 范数表示的潜力，并应用于三维场景表面法线的实际测量问题中。

    May, 2016