May, 2023

通过双层学习寻找最优正则化参数

PDF
TL;DR利用变分正则化方法求解线性反问题时，采用超参数调节正则化项，通过强化先验信息来提高求解结果，核心问题在于如何选择一个合适的正则化参数。本文提出了一个新的条件来更好地描述正则化参数的正性，并验证和探索了这个新条件，同时也探究了这个新条件在小和大维问题上的应用。
variational regularizationlinear inverse problemsregularization parameterbilevel learningpositivity
发现论文，激发创造
  • 高阶全变差正则化模型的双层参数学习

    研究使用双层优化方法在高阶总变分图像重建模型中进行参数学习，提出并分析一种基于 Huber 正则化 TV 半范数的替代代价，验证解算符的可微性，并推导出一种一阶最优系统。基于伴随信息，提出了一个拟牛顿算法来数值解决双层问题。通过数值实验展示了我们的方法的适用性和新代价函数的改进性能。同时，利用双层优化框架，对比了 TGV^2 和 ICTV，在处理图像结构和噪声水平方面的优缺点。

    Aug, 2015

  • 基于白度的分层学习在图像中的正则化参数

    无监督双层优化策略可用于在成像反问题中学习正则化参数，解决加性白高斯噪声存在的问题。与依赖参考数据的监督和半监督度量以及依赖噪声统计的部分知识的方法相比，该方法无需地面真实数据，通过优化观测数据和观测模型之间残差的白化程度。我们在标准的总变差正则化图像去卷积问题上验证了该方法，结果表明提出的质量度量估计接近于均方误差和差异性原则。

    Mar, 2024

  • 双层方法用于学习变分成像模型

    本文介绍了近期变分成像中基于双层优化的学习方法，着重强调它们在函数空间中的处理重要性。

    May, 2015

  • 图像恢复问题的最优参数结构

    研究了图像恢复变分模型中最佳正则化参数的定性特性，参数是作为约束条件的恢复问题的双层优化问题的解。我们考虑了一种常见的正则化器，涵盖了总变差、总广义变差和下确界卷积总变差。通过一定给定数据的条件，我们证明了由双层优化问题导出的最优参数存在，关键点在于证明了此证明存在性时最优参数远离 0。

    May, 2015

  • 使用双层优化重新加权数据的挑战

    利用大训练集训练模型以在不同分布的较小测试集上表现良好的任务中，通过为每个训练数据点学习权重是一种吸引人的解决方案，但传统的双层优化算法可能导致次优解，这表明了数据重新加权的困难，并解释了为何这种方法很少在实践中使用。

    Oct, 2023

  • 动态双层学习与不精确线搜索

    使用变分正则化方法，通过双层学习来学习合适的超参数，同时提出了能够收敛到损失函数超参数的稳定点的近似回溯线搜索算法，并在变分正则化问题的超参数估计中展示了其有效性和可行性。

    Aug, 2023

  • 深度双层学习

    本文提出了一种新颖的正则化训练神经网络的方法，基于交叉验证的原则，通过使用验证集来限制模型过拟合，其中通过引入在每个小批量训练集上的权重来控制过拟合，并通过在验证集上最小化误差来选择其值，此项工作可与其他正则方法和训练方案相结合，研究表明其显著提高了模型的泛化能力，特别是在标签嘈杂情况下。

    Sep, 2018

  • 超参数优化中双层规划的稳定性和泛化性

    本文研究双层规划的理论分析，并提出了一种基于统一稳定性的期望边界解释验证集方面的一些神秘的行为。同时证明了正则化项可以缓解梯度算法过拟合问题。

    Jun, 2021

  • 超参数优化和元学习的双层编程

    基于双层规划的元学习方法，将表示层作为共享超参数，在少数样本情况下实现了较好的结果。

    Jun, 2018

  • 机器学习的功能双层优化

    我们介绍了一种新的功能性观点，用于机器学习领域的双层优化问题，其中内部目标函数在函数空间上最小化。我们提出了可扩展和高效的算法来解决这个功能性双层优化问题，并且通过在仪器回归和强化学习任务上展示了我们方法的优点。

    Mar, 2024