本文介绍了几种有效的设置超参数的方法，以显著减少训练时间并提高性能。具体来说，报告展示了如何检查训练验证 / 测试损失函数以获取欠拟合和过拟合的微妙线索，并提供了朝向最佳平衡点的指南。同时还讨论了如何增加 / 减少学习率 / 动量以加速训练，并解释了如何在每个数据集和架构的所有正则化之间保持平衡的重要性。本文的实验表明，使用权重衰减作为示例正则化器，其优化值与学习率和动量密切相关。

Mar, 2018

研究 Batch Normalization 和 L2 正则化在深度神经网络训练中的影响，发现 L2 正则化在与标准化结合使用时并没有规范化的作用，而是会影响权重的缩放和有效学习速率，还讨论了其他缓解这个问题的方法。

Jun, 2017

证明了通过梯度下降（以及正步长）学习多层同质函数时，该算法的梯度流可以有效地强制不同层之间的平方范数差异保持不变，从而自动平衡所有层的大小，由此可以深入研究利用一阶算法来优化学习深度模型的基本方法。

Jun, 2018

通过引入一种快速的迭代方法，可以最小化权重的 L2 范数，同时提高了测试准确率，从而为小批量数据提供了一种替代 CIFAR-10 和 ImageNet 的 ResNet-18 中的批量和分组规范化方法

Feb, 2019

通过大学习率 SGD 与 Annealing 方案推出二层神经网络；结果表明，相比小学习率模型，它更好地推广了不容易泛化的模式，并通过实验演示使用 CIFAR-10 图像说明了该概念。

Jul, 2019

通过 fine-tuning 算法的正则化与 self-labeling 方法相互插值，从而提高在小数据集下的图像与文本分类表现。

Nov, 2021

本研究运用随机矩阵理论分析了深度神经网络的权重矩阵，通过实验和理论结果表明神经网络层矩阵的经验谱密度显示出传统正则化统计模型的特征。并且发现随着训练阶段的增加，隐式自正则化逐渐显现，这种隐式自正则化可以像传统的 Tikhonov 正则化一样，但也可以是重尾分布的，类似于无序系统的自组织现象，并存在着一个通用性的现象。

Jan, 2019

本文提出了一种新颖的正则化训练神经网络的方法，基于交叉验证的原则，通过使用验证集来限制模型过拟合，其中通过引入在每个小批量训练集上的权重来控制过拟合，并通过在验证集上最小化误差来选择其值，此项工作可与其他正则方法和训练方案相结合，研究表明其显著提高了模型的泛化能力，特别是在标签嘈杂情况下。

Sep, 2018

通过研究温度超参数，我们提出了一个基于余弦相似度的温度缩放函数，有效优化特征空间中样本的分布，并通过对余弦相似度空间中的均匀性和容忍度度量进行综合分析，展示了该方法在半监督学习中优于或与对比损失为基础的算法相当的性能，并为对比学习领域的未来研究奠定了基础。

Aug, 2023

通过随机矩阵理论，提出了一种名为 “Heavy-Tailed Regularization” 的正则化技术，此技术优化了神经网络的权重矩阵，使其有更重的尾巴，并提升了网络的泛化能力。对比传统的正则化方法，实验结果证明这种新方法在泛化效果上更优秀。

Apr, 2023