通过增强隐式正则化以提高泛化能力和收敛性
本文提出了一个称为隐式神经表示正则化器的正则化器 (INRR),以提高隐式神经表示 (INR) 的泛化能力。 INRR 通过将归一化的 Dirichlet 能量 (DE) 与 INR 集成来改善信号表示中的泛化性能,从而更好地集成了信号的自相似性和 Laplacian 矩阵的光滑度。作者进一步设计了一系列实验来论证 INRR 的性质,如收敛轨迹和多尺度相似性,并表明该方法可以提高其他信号表示方法的性能。
Mar, 2023
本文研究了梯度下降算法在优化神经网络时的表现,发现梯度下降中的离散步骤隐含地通过惩罚大损失梯度轨迹的方式实现了模型的正则化,这种 “隐性梯度正则化” 导致梯度下降趋向于平坦的最小值,使解决方案对噪声参数扰动有很好的鲁棒性,这一理论有助于解决过拟合问题。
Sep, 2020
通过在学习过程中采用来自预测和监督信号的均值作为监督信号的替代,我们提出了一种用于正则化隐式神经表示模型(INR)在图像去噪中的通用方法,从理论上证明这样的简单迭代替代可以逐渐增强监督信号的信噪比,从而有利于 INR 模型的学习过程,实验证明采用提出的方法可以有效地正则化 INR 模型,缓解过拟合,并提高图像去噪性能。
Jan, 2024
采用深度学习在图像配准中,该方法结合优化与学习方法,在深度网络中使用优化图层来训练预测多尺度密集特征图像,在特征空间中保证了自学习特征的配准最小值和瓦普函数,并具有良好的性能和通用性。
Jun, 2024
该研究提出了一种新颖的优化策略,用于分析图像正则化下的图像重建任务,推动在一些学习转换域中稀疏和 / 或低秩解,并通过学习网络实现了较高性能。
Aug, 2023
INFusion 是一种技术,通过使用预训练的扩散模型,为基于学习的隐式神经表示(INRs)的优化提供正则化,以改善图像重建。2D 实验证明了使用我们提出的扩散正则化改进了 INR 训练的效果,而 3D 实验则证明了在 256x256x80 大小的 3D 矩阵上使用扩散正则化进行 INR 训练的可行性。
Jun, 2024
我们提出了 IMEX-Reg,通过对比表示学习和一致性正则化使用两重隐性 - 显性正则化方法来改善在低缓存场景下连续学习中经验重演的泛化性能,结果表明 IMEX-Reg 在多个连续学习场景中显著提高了泛化性能,并在可信的自然和敌对污染下表现出更少的任务 - 最近性偏差,此外,我们提供了进一步支持我们设计决策的理论洞察。
Apr, 2024
为了提高 GAN 训练的稳定性,本文提出了隐式竞争规则作为稳定 GAN 的一种解决方法,该方法可通过对生成器和鉴别器的对抗建模来显著增强隐式竞争规则,提升 WGAN-GP 的 inception score,实现无显式正则化的高效 GAN 训练。
Oct, 2019