该论文分析了一个简单的2层ReLU网络的训练和泛化，通过对相关内核的特性进行追踪，提出了更紧致的训练速度特征描述和网络大小无关的泛化界限以及对梯度下降训练的广泛平滑函数可学性的证明。

Jan, 2019

提出了一种度量给定数据集中某个训练或测试实例在概率分布中的离群程度的技术，并使用五种不同的定义“well-represented”方法对四个常见数据集进行了评估，发现这些方法高度相关，可以用于识别样本，在课程学习中改进排序并提高鲁棒性。

Oct, 2019

该研究论文系统而全面地讨论了Out-of-Distribution generalization问题，其中包括它的定义、方法论、评估以及对未来的启示和发展方向，以及包括无监督表示学习在内的现有方法。

Aug, 2021

用概率框架和Quantile Risk Minimization算法在多个相关训练数据分布中提高性能，实现高概率域泛化，将训练和测试域作为从相同元分布中绘制的关系，并引入更全面的分位数聚焦评估协议，能够优于 WILDS 和 DomainBed上的现有基线。

Jul, 2022

将未标记的数据合并到半监督分类问题的一个新框架中，借助分布鲁棒优化 (Distributionally Robust Optimization) 和自我监督训练的组合，提供了新的错误界限以及将离域样本用于缩小泛化差距的方法。

Sep, 2023

通过最小化训练域之间的风险分布差异，建立领域不变性；采用风险分布匹配（RDM）方法，通过对最坏情况域和所有域的综合分布进行对齐，既提高了效果，又提高了计算效率。该方法在标准基准数据集上的实验证明，优于现有的领域泛化方法。

Oct, 2023

通过利用分布鲁棒优化，我们提出了一个新的公式来学习一组规则集的集合，以在保持计算成本低的同时确保良好的泛化性能，并通过构建一个稀疏的规则集合来解决规则集的稀疏性和预测准确性之间的固有权衡。

Nov, 2023

该研究介绍了将最坏情况下的概率度量引入数据中，以表征机器学习算法的泛化能力。最坏情况下的概率度量是Gibbs概率度量，并且是相对熵约束下期望损失最大化的唯一解。该研究还通过最坏情况下的数据生成概率度量得出了基本的泛化度量指标，例如期望损失的敏感性、经验风险的敏感性和泛化差距，并恢复了Gibbs算法的现有结果，将泛化差距的特征化表述为互信息和劳特纳信息之和。而最坏情况下的数据生成概率度量和Gibbs算法之间建立了一种新的类比关系，具体而言，Gibbs概率度量被确定为模型空间和数据空间的机器学习算法的基本共性。

Dec, 2023

机器学习算法中的领域泛化与经验风险最小化的效果在标准基准测试中没有明确的经验证据，但是通过标签噪声的研究可知，领域泛化算法在有限样本训练中具有隐含的标签噪声鲁棒性，在合成实验中可以缓解虚假相关性并提高泛化性能，但在真实世界的基准数据集上的综合实验表明，标签噪声鲁棒性并不能比经验风险最小化算法取得更好的性能。我们推测，由虚假相关性引起的经验风险最小化的失败模式在实践中可能不明显。

Jan, 2024

学习重加权（LRW）方法用优化准则分配训练实例权重，以在代表性验证数据集上最大化性能。我们提出并形式化了在LRW训练中优化选择验证集的问题，以提高分类器的泛化能力。使用难以分类的实例作为验证集，在理论上与实证的有效性存在强烈的关联。我们提供了一种有效的算法来训练这种元优化模型，并提出了一种简单的两次训练启发式方法进行比较研究。我们证明相对于易用验证数据的LRW，具有难度验证数据的LRW表现一致更差，从而验证了我们元优化问题的有效性。我们的算法在一系列数据集和域偏移挑战（Imagenet-1K，CIFAR-100，Clothing-1M，CAMELYON，WILDS等）上优于广泛的基线，通过在Imagenet上使用VIT-B获得了约1％的增益。我们还展示了在LRW的训练中使用自然难的示例（Imagenet-R/Imagenet-A）能够在干净和自然难的测试实例上分别提高1-2％的性能。次要分析显示，在LRW框架中使用难度验证数据可以提高测试数据的边界，暗示了我们实证增益背后的机制。我们认为这项工作为监督学习环境中元学习的元优化开辟了新的研究方向。

Mar, 2024