深度展开是一种新兴的学习优化方法，在可训练的神经网络中展开剪枝迭代算法的层，本文提出使用随机下降约束进行训练的深度展开结构，理论上证明了输出序列的收敛性和对未知问题的泛化能力，同时展示了对扰动和干扰具有鲁棒性的优势。

Dec, 2023

在已知条件分布的情况下，通过算法展开设计深度神经网络架构，分析了梯度下降网络（GDN）的统计复杂性、最佳深度和过拟合问题。

Nov, 2023

本文为解决线性反演问题，并提出了两种新的算法：一种是基于复合高斯先验分布的正则最小平方目标函数迭代算法，另一种是对迭代算法的展开得到的深度神经网络。两种算法在断层成像和压缩感知等方面表现优异。

May, 2023

深度神经网络在实际应用中表现出卓越的泛化能力，本研究旨在通过信息理论的泛化界限来捕捉深度对于监督学习的影响和益处。通过从网络内部表示的训练和测试分布的 Kullback-Leibler（KL）散度或 1-Wasserstein 距离导出了两个层次性的泛化误差界限。KL 散度界限随着层索引的增加而收缩，而 Wasserstein 界限暗示了存在一个层作为泛化漏斗，它达到了最小的 1-Wasserstein 距离。在具有线性 DNN 的二元高斯分类设置下，推导出了两个界限的解析表达式。通过分析三个正则化 DNN 模型（Dropout，DropConnect 和高斯噪声注入）的连续层之间的强数据处理不等式（SDPI）系数，量化了相关信息度量在网络深入时的收缩情况。这使得我们的泛化界限能够捕捉与网络架构参数相关的收缩情况。将结果特化为具有有限参数空间和 Gibbs 算法的 DNNs 表明，在这些示例中，更深而较窄的网络架构具有更好的泛化能力，尽管这个观点的广泛适用性仍然有待讨论。

Apr, 2024

通过算法依赖的综合误差界推导，论文解释了过度参数化的深度神经网络在合适的随机初始化下，使用梯度下降法可以获得任意小的泛化误差。

Feb, 2019

该论文提出了一种基于 PGD 算法的 Deep Generalized Unfolding Network（DGUNet）进行图像修复，通过在梯度下降步骤中集成梯度估计策略和设计跨不同 PGD 迭代中 Proximal mapping 的中间信息通路，实现对复杂和现实世界图像的修复，同时保持了透明度和可解释性。实验结果表明，该方法在各种图像修复任务中的性能、可解释性和通用性均优于现有方法。

Apr, 2022

该论文提供了对展开优化器反向传播的理论洞见，从而得到了一个系统，用于生成等效但可有效求解的分析模型，并提出了一种统一的展开和分析微分的方法。实验表明，该方法在各种结构预测和决策导向的学习任务中具有潜在的计算和增强表现能力。

Jan, 2023

该研究提出了一个可解释的图神经网络框架，通过对图信号进行噪声去除，扩展了算法展开到图域的能力，并通过信号处理的视角提供了对架构设计的解释。通过无监督学习训练图卷积网络，自适应捕捉输入噪声图信号的适当先验知识，以获得较小的信号去噪误差。

Jun, 2020

本文综述了算法展开在信号与图像处理中的应用，特别是在深度神经网络中实现了可解释的网络结构，为未来的发展提供了可能性，并探讨了未来的研究方向。

Dec, 2019

采用信息理论的视角探索深度神经网络在有监督分类中的理论基础，分析了拟合误差、模型风险和泛化误差上界的相关概念及其对样本数据质量和正则化超参数设置的指导作用，研究发现过度参数化、非凸优化和平坦极小值在深度神经网络中的影响，并通过实证验证证实了理论发现与实际风险之间显著的正相关关系。

Jun, 2024