本文针对图形分布中局部结构与图形大小相关的情况，探讨了图神经网络在不同大小的图上的泛化能力，发现了一些针对小图很好但对大图表现不佳的全局最小值，提出了两种改善图形大小泛化能力的方法，其中包括一个自我监督学习任务，该任务能够提供在大图中出现的局部结构的有意义表示，并在多个数据集上改善了分类准确度。

Oct, 2020

本篇论文提出了一种基于模型的域泛化方法，通过对数据生成过程和同变性条件的建模，将域泛化问题转化为一个无限维的有约束统计学习问题，并利用非凸对偶理论发展了有约束松弛的统计问题，提出了具有收敛保证的域泛化算法，并在 ColoredMNIST，Camelyon17-WILDS，FMoW-WILDS 和 PACS 等基准测试中取得了高达 30 个百分点的改进。

Feb, 2021

该研究使用多种潜在领域混合的方式来提高神经网络的领域泛化能力，通过聚类将样本分为不同的领域，并通过对抗学习训练领域不变特征提取器来发现潜在领域，并利用风格特征进行聚类，达到不需要使用领域标签的领域泛化模型的训练。该方法表现优于传统的领域泛化方法，包括使用领域标签的方法。

Nov, 2019

本文探讨监督学习中数据导致的实际问题，着重于领域泛化研究，提出最小化给定领域对之间差异的方法，并在 EEG 数据集中验证了该策略。

Nov, 2019

深度神经网络在实际应用中表现出卓越的泛化能力，本研究旨在通过信息理论的泛化界限来捕捉深度对于监督学习的影响和益处。通过从网络内部表示的训练和测试分布的 Kullback-Leibler（KL）散度或 1-Wasserstein 距离导出了两个层次性的泛化误差界限。KL 散度界限随着层索引的增加而收缩，而 Wasserstein 界限暗示了存在一个层作为泛化漏斗，它达到了最小的 1-Wasserstein 距离。在具有线性 DNN 的二元高斯分类设置下，推导出了两个界限的解析表达式。通过分析三个正则化 DNN 模型（Dropout，DropConnect 和高斯噪声注入）的连续层之间的强数据处理不等式（SDPI）系数，量化了相关信息度量在网络深入时的收缩情况。这使得我们的泛化界限能够捕捉与网络架构参数相关的收缩情况。将结果特化为具有有限参数空间和 Gibbs 算法的 DNNs 表明，在这些示例中，更深而较窄的网络架构具有更好的泛化能力，尽管这个观点的广泛适用性仍然有待讨论。

Apr, 2024

本文研究了关系模型的充分统计量的误差边界，主要结果是证明了适用于关系数据的 Vapnik-Chervonenkis 维度的变体边界。

Apr, 2018

现代语言模型可以包含数十亿个参数，是否能够在训练数据之外泛化或者仅仅复述其训练语料库成为了一个问题。我们提供了针对预训练大型语言模型（LLMs）的第一个非虚空的泛化界限，表明语言模型能够发现适用于未知数据的规律。通过使用预测平滑的方法，我们推导出了适用于未界定的对数似然损失的压缩界限，并且我们将该界限扩展以处理子样本，加速在大规模数据集上的界限计算。为了实现非虚空的泛化界限所需的极限压缩水平，我们设计了 SubLoRA，一种低维度非线性参数化。通过这种方法，我们发现较大的模型具有更好的泛化界限，并且比较小的模型更容易压缩。

Dec, 2023

探索处理在不足样本情况下的领域泛化问题，通过学习基于概率框架的域不变表示，在全局和局部视角对分布进行测量，以及基于概率的对比语义对齐损失函数，提出了一种解决方法，并通过实验证明其在不足数据环境下相较于现有方法的有效性。

Feb, 2024

本文研究了基于核方法的学习算法在多类别分类上的泛化问题，建立了与现有最优算法相匹配的，随着类别数目对数增长的泛化误差界限，并实证表明相比于合并策略，所提算法可以显著提高性能表现。

May, 2019

这篇论文是对近年来领域泛化（即在一个或多个不同但相关的领域中学习出可以推广到看不见的测试领域的模型）领域的最新进展的首次回顾，涵盖了相关的理论、算法、数据集、应用，并提出了未来的研究方向。

Mar, 2021