基于距离的深度网络正则化 Fine-Tuning

Feb, 2020

基于距离的深度网络正则化 Fine-Tuning

Distance-Based Regularisation of Deep Networks for Fine-Tuning

Henry Gouk, Timothy M. Hospedales, Massimiliano Pontil

TL;DR本文介绍了一种基于权重移动距离的神经网络泛化界定方法，提出了一种基于传递学习的初始权重的微调算法，通过在半径较小的搜索空间内限制假设类来实现更好的泛化性能，并且通过实验证实了该算法的有效性和优越性。

Abstract

We investigate approaches to regularisation during fine-tuning of deep neural networks. First we provide a neural network generalisation bound based on Rademacher complexity that uses the distance the weights have moved from their initial values. This bound has no direct dependence on

fine-tuning deep learning regularization neural networks transfer learning

发现论文，激发创造

神经网络微调的改进正则化和鲁棒性

通过 fine-tuning 算法的正则化与 self-labeling 方法相互插值，从而提高在小数据集下的图像与文本分类表现。

Nov, 2021

一种简单有效的正则化方法，用于携带有泛化保证的嘈杂标签数据的训练

探讨在有噪声标签的情况下，过度参数化的深度神经网络的正则化方法，其中比较有效的包括参数与初始化之间的距离和为每个训练示例添加一个可训练的辅助变量，实验结果表明这些方法能够有效提高模型的泛化性，并且泛化误差的上界独立于网络的大小，可达到无噪声标签情况下的水平。

May, 2019

鲁棒微调的可训练投影梯度方法

本文提出了可训练的投影梯度方法，自动学习每层的约束条件以进行精细调整的正则化，通过维护一组投影半径并通过权重投影加强它们，同时使用双层优化自动学习最佳投影半径组合，提高针对发散数据的鲁棒性能，代码可以在 github 上找到。

Mar, 2023

基于距离变换回归的空间感知深层语义分割

通过在标签掩码上计算距离变换，训练一个全卷积神经网络来同时学习分类和距离回归，可以有效地应用于视觉场景中的语义分割并有效解决边界模糊和分割失真的问题。

Sep, 2019

正则化深度网络的高效 K-Shot 学习

为了解决小规模数据下优化问题，我们提出了一种对预训练深度神经网络进行微调的简单而有效的正则化方法，它的核心策略是将模型参数聚类，确保聚类内的相似性和聚类间的差异性，提高参数搜索空间的正规性；具体而言，我们使用强化学习搜索策略和递归网络来学习每个网络层的最优分组，实验结果表明，相较於其他最新的基于微调的 k-shot 学习策略，我们的方法可以轻松应用于几种流行的卷积神经网络，提高了 10% 以上的性能。

Oct, 2017

正则化压缩神经网络的学习

研究了深度神经网络的正则梯度下降算法，并通过量化约束集合的复杂度以及研究覆盖维度来探索正则化技术在加速训练、提高泛化性能以及学习更高效紧凑模型方面的优势。

Feb, 2018

深度神经网络微调上的自适应随机特征正则化

使用自适应随机特征正则化 (AdaRand) 方法，无需辅助源信息和重大计算成本，通过改变特征向量的分布来提高训练模型的下游分类任务性能。

Mar, 2024

正则化梯度剪裁能可靠地训练宽且深的神经网络

我们证明了基于正则化的梯度剪裁算法可以收敛于深度神经网络损失函数的全局最小值，只要网络具有足够的宽度，并且通过实证证明这一算法在深度学习中与现有的启发式方法相竞争，因此这一算法构成了一种新的严谨深度学习方法。

Apr, 2024

深度网络中的动力学和泛化理论 III

本研究通过分析深度神经网络的梯度下降技术实现，提出了控制网络复杂度的隐含规范化方法，并将其归纳为梯度下降算法的内在偏差，说明这种方法可以解决深度学习中过拟合的问题。

Mar, 2019

利用分数布朗运动得出的深度神经网络的轨迹相关的泛化界

通过探究 SGD 的轨迹依赖假设集，建立基于 Hausdorff 维数的 Rademacher 复杂度，并通过假设集稳定性推导具有预测力的 DNN 的新型泛化边界。

Jun, 2022