通过算法展开的反向传播与通过迭代方法求解线性系统的解是渐进等价的,在构建更高效的反向传播规则方面提出了折叠优化系统。
Dec, 2023
深度展开是一种新兴的学习优化方法,在可训练的神经网络中展开剪枝迭代算法的层,本文提出使用随机下降约束进行训练的深度展开结构,理论上证明了输出序列的收敛性和对未知问题的泛化能力,同时展示了对扰动和干扰具有鲁棒性的优势。
本文综述了算法展开在信号与图像处理中的应用,特别是在深度神经网络中实现了可解释的网络结构,为未来的发展提供了可能性,并探讨了未来的研究方向。
Dec, 2019
在已知条件分布的情况下,通过算法展开设计深度神经网络架构,分析了梯度下降网络(GDN)的统计复杂性、最佳深度和过拟合问题。
Nov, 2023
通过对学习到的优化函数进行训练以执行特定任务,我们提出了一种训练方案,它可以比经过调整的一阶方法更快地训练卷积网络,并在测试损失上得到改进。
Oct, 2018
通过边界限制 Rademacher 复杂度,我们为一类来自复合高斯先验的展开深度神经网络开发了新颖的泛化误差边界,可在信号维度和网络规模方面进行评估。
Feb, 2024
本文提出了一种使用深度先验知识进行解决图像重建问题的框架,该框架在去噪、去模糊以及磁共振成像的压缩感知等多种成像问题上实现了较大幅度的性能提升,并通过实验进一步解释了其优越性。
May, 2017
通过研究神经网络在离散地面真实轨迹上进行训练的三种变体,我们分析了时间上展开训练轨迹对物理模拟器推断准确性的影响,发现非可微分但展开的训练设置结合数值求解器能够比不利用该求解器的全可微分预测设置提高 4.5 倍准确性,而不带时间梯度的展开方法的准确性也相对接近可全可微分设置。此外,我们还观察到常见神经网络架构的收敛速率较低,鼓励使用融合神经和数值算法的混合方法来充分利用两者的优势。
通过将优化器转换为可微分操作的方法,我们提出了一种扩展端到端学习的方法。该方法依赖于随机扰动优化器,并可以与现有求解器一起使用。我们还展示了如何将此框架与结构预测中开发的一系列损失相连接,并为其在学习任务中的使用提供了理论保证。
Feb, 2020
本文提出了一种用概率展开和迭代线性求解器相结合的方法,以绕过矩阵求逆的问题来学习潜在高斯模型,在实验中发现,这种方法可以比传统梯度期望极大化算法快一个数量级地学习潜在高斯模型。
Jun, 2023