揭示潜在模式：研究数据集相似性、性能和泛化
本文采用实证方法针对机器翻译、语言建模、图像处理和语音识别等4个机器学习领域的数据，研究训练集大小、模型规模与推广误差之间的关系，结果表明推广误差遵循幂定律缩放，且模型改进只改变误差而不影响幂指数。此外，模型大小随数据规模的增大缩小，这些研究对于深度学习的研究、实践和系统设计具有重要意义。
Dec, 2017
本研究探讨了使用其他层进行特征提取以及加入新的规范化实践对深度度量学习的影响，表明在小至中规模数据下，使用其他层进行特征提取有助于使模型更好地泛化，可以提高细粒度图像检索的性能。
Mar, 2018
通过系统地变化常用超参数来训练超过 10,000 个卷积网络，我们提出了深度网络推广的第一个大规模研究，并研究了来自理论界和经验研究的 40 多种复杂度衡量标准，探索每种衡量标准和推广之间的因果关系，并通过仔细控制的实验展示了一些衡量标准的惊人失败，以及进一步研究的有希望的衡量标准。
Dec, 2019
本文通过对深度度量学习算法的客观比较研究，发现了深度度量学习算法饱和度高于文献中表明的水平，并揭示了嵌入空间密度与模型泛化性能之间的相关性，并提出了一种简单有效的训练正则化方法来提高基于排名的深度度量学习模型的性能。
Feb, 2020
本论文旨在探究在不需要额外注释或训练数据的情况下，如何学习图像相似性的特征。通过构建一种新的三元组采样策略，实验结果表明，该方法可以显著提高深度度量学习的性能，并在各种标准基准数据集上实现了新的最优结果。
Apr, 2020
本文介绍了一种利用Gradient Normed (GraNd)和Error L2-Norm (EL2N)这两个简单的得分标准来识别深度学习中最重要的数据训练样本，并进行数据修剪以提高模型效果的方法，同时研究了数据分布对模型损失面的影响及模型中比较稳定的数据表示子空间等训练动态。
Jul, 2021
评估深度学习模型在新颖数据上的泛化能力，通过对神经网络各层的性能评估，发现高分类准确性并不意味着高泛化能力，深层网络不总是最好的泛化模型，对模型不同层的泛化能力进行了探讨。
May, 2024
我们通过利用真实度量（目标函数）的特定结构，构建了一个近似真实度量的结构化深层ReLU神经网络，从而研究了度量和相似性学习的泛化性能，推导了度量和相似性学习问题的过度泛化误差界限，并通过仔细估计逼近误差和估计误差，得出了一个最佳的过度风险率，这是首次的度量和相似性学习的过度泛化错误分析，此外，我们还研究了具有一般损失的度量和相似性学习的真实度量的属性。
May, 2024
本研究解决了深度学习模型泛化能力评估的不足，提出了一种实用泛化度量指标及其测试平台，以验证理论估计。研究发现，深度网络在分类任务中的泛化能力与分类准确性及未见数据的多样性密切相关，这一发现有助于揭示现有理论估计的不足并推动新的探索。
Sep, 2024