鲁棒随机下降展开网络
介绍了 Stochastic UnRolled Federated learning(SURF),它是一种将算法展开(algorithm unrolling)应用于联邦学习的方法,通过在图神经网络(graph neural network)中展开分布式梯度下降(distributed gradient descent,DGD)算法以实现协作训练的目的。在理论上证明了此方法的优化器收敛于一个接近最优的区域。通过大量实验在图像分类器的协作训练中展示了该框架的有效性。
May, 2023
通过边界限制 Rademacher 复杂度,我们为一类来自复合高斯先验的展开深度神经网络开发了新颖的泛化误差边界,可在信号维度和网络规模方面进行评估。
Feb, 2024
该论文提供了对展开优化器反向传播的理论洞见,从而得到了一个系统,用于生成等效但可有效求解的分析模型,并提出了一种统一的展开和分析微分的方法。实验表明,该方法在各种结构预测和决策导向的学习任务中具有潜在的计算和增强表现能力。
Jan, 2023
利用荧光分子创建低密度、衍射限制图像的长序列,可以实现高精度的分子定位;然而,该方法需要较长的成像时间,限制了对活细胞动态相互作用的观察;我们提出了一种深度展开的自监督学习方法,通过训练一个仅从给定测量值学习的基于模型的自编码器来消除对大量训练数据的需求,该方法在性能上超过了其有监督对应物,从而实现了动态成像在衍射极限以下,而无需任何标记的训练样本;此外,建议的基于模型的自编码器框架可以用于改善任何稀疏恢复框架中的泛化能力,而无需外部训练数据。
Mar, 2024
本文综述了算法展开在信号与图像处理中的应用,特别是在深度神经网络中实现了可解释的网络结构,为未来的发展提供了可能性,并探讨了未来的研究方向。
Dec, 2019
本文通过对 LISTA 罕见深度网络建立设计空间进行设计空间研究,并利用神经架构搜索技术寻找更优秀的深度网络架构,进行深度学习与模型优化先验结合的探索。
Apr, 2021