关键词deep equilibrium model
搜索结果 - 7
- 利用基于模型的结构中未训练的神经网络解决具有模型不匹配的逆问题
基于模型的深度学习方法在解决逆问题方面表现出色，然而前向模型的准确性对于物理应用来说是有限制的。为了解决这个问题，我们在基于模型的架构中引入一个未训练的前向模型残差块来匹配每个实例在测量域中的数据一致性，我们提出了两个变体，并证明了在温和条 - 基于深度平衡模型的一步扩散蒸馏
本论文介绍了一种简单但有效的方法，即将扩散模型直接从初始噪声提炼到生成的图像，使用深度平衡模型作为提炼架构。该方法通过仅使用扩散模型中的噪声 / 图像对进行离线训练，在与现有一步方法相当的训练预算上实现了卓越的性能。
- 关于平衡模型的神经切向核
这项研究探讨了深度平衡模型的神经切向核（NTK），一种实用的 “无限深度” 架构，通过根求解直接计算出与之相关联的网络的无限深度极限。尽管完全连接的神经网络的 NTK 在宽度和深度同时趋于无穷大时可能是随机的，但我们证明在一些温和条件下，D - 无循环的再现：使用深度平衡模型实现稳定视频地标检测
本文提出了一种基于 Deep Equilibrium Model 的级联计算方法 --Landmark DEQ (LDEQ)，在面部关键点检测上取得了最先进的性能，并针对视频数据集提出了 Recurrence without Recurre - ICLR关于隐式深度学习的理论：隐式层的全局收敛性
本文基于深度平衡模型，分析其具有非凸目标函数和非线性权重矩阵的回归与分类问题的梯度动态，证明了在没有对模型宽度的任何假设的情况下会以线性速率收敛到全局最优解，同时关注了隐式层的隐式偏差和其与浅层显式层的动态的关系。
- 对象检测的隐式特征金字塔网络
本文介绍了一种基于 DEQ 的隐式特征金字塔网络（i-FPN）用于物体检测，实验结果表明 i-FPN 可以显著提高检测性能。
- 深度平衡模型
本文介绍了一种新的应用于序列数据建模的方法 —— 深度平衡模型，并比较其在大规模语言模型任务上的性能，该方法可通过求解根来直接获取固定点，训练和预测所需的内存只需常数级别，大大减少了存储消耗。