反问题的平衡方法的收敛分析
这篇文章提出了一种基于 Deep Equilibrium Models 的方案,通过无限循环的迭代,不断提高图像逆问题的重建精度,同时在测试时可以根据不同场景的需求选择不同的计算预算以优化精度和计算的权衡。
Feb, 2021
Consensus Equilibrium provides a new framework to fuse a variety of physical sensor models and denoising algorithms without expressing them with a cost function, replacing MAP estimation with solving a set of equilibrium equations that balance data fit and regularity.
May, 2017
本文基于深度平衡模型,分析其具有非凸目标函数和非线性权重矩阵的回归与分类问题的梯度动态,证明了在没有对模型宽度的任何假设的情况下会以线性速率收敛到全局最优解,同时关注了隐式层的隐式偏差和其与浅层显式层的动态的关系。
Feb, 2021
该研究提出了一种新颖的优化策略,用于分析图像正则化下的图像重建任务,推动在一些学习转换域中稀疏和 / 或低秩解,并通过学习网络实现了较高性能。
Aug, 2023
采用弱凸正则化方法,我们证明了原始 - 对偶混合梯度方法在关联的变分问题上收敛,并在满足 Kurdyka-Lojasiewicz 条件的情况下获得了 O (log (k)/k) 的遍历收敛速率。最后,我们将该理论应用于学习正则化,并证明了输入弱凸神经网络(IWCNN)的普适逼近性质,并实证了 IWCNN 在计算机断层扫描(CT)重建中学习对抗正则化方法的改进性能。
Feb, 2024
本文介绍了一种基于逆优化及变分不等式理论的数据驱动方法,用于估计在平衡模型中难以估计的参数,包括游戏中玩家的收益函数和道路网络中的拥挤函数,并使用统计学习方法进行参数化和非参数化估计。经过计算实验,结果表明该方法能够有效地估算出未知的需求或拥挤函数,并且我们提出的正则化技术大大提高了我们估算器的外样性能。
Aug, 2013
本文介绍了一种称为 Null Space Networks 的新型网络结构,提出了概念 M 正则化,并通过将它与标准正则化方法结合使用,讨论了两阶段深度学习方法在逆问题求解中的实践和理论难点,同时指出 Null Space Networks 自然地保留了数据一致性特征。
Jun, 2018
通过对变分不等式框架的分析,我们发现在 GAN 的基本变体 Wasserstein Linear-Quadratic GAN 中,直接梯度下降方向会导致不收敛,而特定的正交方向可以实现收敛,我们称之为 “通过卷曲”,这是命名来源于其数学推导及感性:识别游戏的旋转轴并向 “卷曲” 更小的方向移动空间。
Aug, 2018
本文提出一种有效的算法来解决图像恢复应用中的约束问题,包括去卷积和从压缩观测中重建图像,使用总变差或小波(或更一般的框架)正则化。该算法属于增广 Lagrange 方法的范畴,并表现出在一定条件下具有收敛性。本文的结果表明,所提出的算法在图像恢复领域中具有最先进的技术水平。
Dec, 2009
介绍一种记忆效率高、具有计算成像和深度学习特性的算法,该算法利用了先前压缩感知算法提供的独特性、收敛性和稳定性特点,使用循环梯度下降和共轭梯度算法交替应用以实现数据一致性,同时模拟了单调卷积神经网络的得分函数,保证了输出唯一性和收敛性,而且提出的深度平衡公式比现有算法更省内存,能够处理现有算法无法处理的三维或 2D + 时间问题。
Jun, 2022