基于模型的深度学习方法在解决逆问题方面表现出色，然而前向模型的准确性对于物理应用来说是有限制的。为了解决这个问题，我们在基于模型的架构中引入一个未训练的前向模型残差块来匹配每个实例在测量域中的数据一致性，我们提出了两个变体，并证明了在温和条件下的收敛性。实验结果显示，在去除伪影并保留细节方面，我们的方法在三个不同应用中都取得了显著的质量改进，涵盖了线性和非线性逆问题。此外，我们突出了中间步骤的重建效果，并展示了对于残差块的随机初始化和更多迭代次数在评估中的稳健性。

Mar, 2024

本文提出了第一种快速收敛的迭代神经网络 (Momentum-Net)，结合了回归 NN 和迭代模型的映像重建算法 (MBIR) ，实现了在成像、图像处理和计算机视觉中进行反问题求解，通过实验结果表明，Momentum-Net 显著改善了 MBIR 的速度和精度，并在每个应用中相对于最新的 MBIR 方法显著提高了重构质量。

Jul, 2019

该论文提出了一种基于 PGD 算法的 Deep Generalized Unfolding Network（DGUNet）进行图像修复，通过在梯度下降步骤中集成梯度估计策略和设计跨不同 PGD 迭代中 Proximal mapping 的中间信息通路，实现对复杂和现实世界图像的修复，同时保持了透明度和可解释性。实验结果表明，该方法在各种图像修复任务中的性能、可解释性和通用性均优于现有方法。

Apr, 2022

本研究提出了一种新的神经网络结构，称为动量残差神经网络 (Momentum ResNets)，其采用可逆性结构和动量机制，优于现有的可逆结构，能够学习任何线性映射并在 CIFAR 和 ImageNet 上具有与 ResNets 相同的准确度，且具有更小的内存占用。

Feb, 2021

本文提出了一个循环神经网络架构，利用一个全连接的深度神经网络作为其特征提取器，并采用原始 - 对偶训练方法进行学习，实现了 18.86% 的电话识别错误率并优于已有的方法。

Nov, 2013

研究了一种基于 Linear Memory Unit 的 RNN，该模型可以被并行化训练，且具有优异的性能，能够在多项基准测试中超越其他 LSTM 和 Transformer 模型，并使用更少的参数。

Feb, 2021

我们提出了一种用于训练结构化神经网络的正则化自适应动量双重平均（RAMDA）算法，通过引入一个有效求解子问题的方法，RAMDA 可以输出具有优秀预测性能和（局部）最佳结构的模型。

Mar, 2024

基于非笛卡尔磁共振图像重建的 Residual-to-Residual DNN 系列 (R2D2) 方法，利用分层残差图像的迭代估计形成多层 DNN 输出，从而实现可扩展且优于传统 PnP 方法的重建质量。

Mar, 2024

本文提出了一种基于卷积循环神经网络的深度学习加速 MRI 重建方法，称为 RecurrentVarNet，通过在观测域（$k$-space）而非图像域中进行优化，每个 RecurrentVarNet 块都由数据一致性项和递归单元组成，可以有效地重建 MRI 图像，并在公共多线圈数据集上优于传统方法和之前的深度学习方法。

Nov, 2021

本文研究了动量下降法在神经网络训练中的应用，揭示了其加速神经网络训练的原因及机理。通过对多个模型的分析，得出了使用动量下降法相比普通梯度下降法，能够更快地达到更优的训练效果的结论。

Oct, 2020