无监督神经网络在逆问题中的收敛与恢复保证
通过证明在适当选择的步长 / 学习率下使用梯度下降,可以继续使用深度图像先验(Deep Image Prior,DIP)中的对称方法提供的收敛和恢复保证,本文扩展了这些结果,并表明对于两层 DIP 网络,离散化仅通过常数影响过参数化边界,因此梯度流获得的不同保证将适用于梯度下降。
Mar, 2024
本文研究了使用未经过训练的深度神经网络先验条件下的线性反演问题,包括压缩感知和相位恢复,并提出了基于梯度下降的算法以及证明了其收敛性。同时,本文还展示了相比于手工制作的先验条件,使用深度神经网络先验条件可以在相同的图像质量下实现更好的压缩率。
Jun, 2019
利用神经网络的渐近极限和对应的高斯过程,研究解卷积逆问题在量子谐振子模拟中的应用,发现使用神经网络的渐近极限得到的高斯过程比全连接神经网络的解卷积逆问题结果更好,而训练后的神经网络精度随着层数增加逼近高斯过程的精度,在文献中提供了一种新颖的、不同于已有方法的概率模型解释。此外,神经网络在渐近极限下还提供了具有成本效益的分析解。
Feb, 2024
本文针对深度学习方法在图像重建领域中的应用进行了可靠性研究,通过对受压缩感知、傅里叶和 Radon 重建等问题进行深入分析并量化和定性地比较了深度学习和总变分模型,其结果表明,深度学习模型不仅对统计噪声有抗干扰能力,而且对对抗干扰也能够很好地处理。
Nov, 2020
Autoinverse 是一种高度自动化的逆变神经网络代理的方法,该方法能够在真实世界中部署,并且具有可行性和嵌入式正则化,并且在控制、制造和设计等领域得到了验证。
Aug, 2022
通过在少数几个度量值中应用未训练卷积神经网络的自正则化属性,在没有任何正则化的情况下,可以从少数的随机测量中大致重建具有足够结构的信号和图像。
May, 2020
本文探讨了逆问题的数学定义,提出了一种称为 Invertible Neural Networks (INNs) 的神经网络模型,利用预定义的正向过程和额外的 latent output variables 来解决参数估计问题,并在人工数据和实际问题中发现 INN 是解决参数分布分析、寻找多模态和相关性较强的关键性分析工具。
Aug, 2018
本文探讨了通过经验风险最小化强制使用生成深度神经网络提供的先验的理论属性,特别是两个模型:一个是在仅访问其最后一层的情况下反演生成神经网络的任务,另一个是在仅对其最后一层进行信息压缩的情况下反演生成神经网络的任务。我们建立了在网络层大小和网络权重的随机性假设的适当区域内,在两种情况下,经验风险最小化所给出的非凸目标函数没有任何虚假稳定点的结论。这些结果是这些非凸优化问题最优全局几何的第一批理论保证,它们弥合了加强深度生成先验的经验成功和对非线性反演问题的严格理解之间的差距。
May, 2017
本文提出了一种通用框架来训练单个深度神经网络,以解决任意线性反问题,通过提供一个接近算子来实现这一目的,并在压缩感知和像素插值等任务中显示出优越的性能。
Mar, 2017
本文考虑使用单隐藏层神经网络模型去解决回归问题,探讨了激活函数的属性,比如 ReLU、leaky ReLU、sigmoid 等都满足局部强凸性。文中还提出了使用张量方法对参数进行初始化,并配合梯度下降算法使用来解决回归问题。最终达到了使用线性的输入维数和对数精度计算复杂度的样本复杂性和计算复杂性要求。
Jun, 2017