使用理论分析方法，我们证明了从有限或有限维族中选择最佳堆叠综合的交叉验证方法不会比最佳方案表现差得多，进一步提出了一种特定的堆叠综合族在概率预测中的应用，并通过实验结果证明了所提出方法的性能提高。
May, 2023
本文通过实证评估了一种称为堆叠泛化的分类器组合方案，将其应用于反垃圾邮件过滤的情境中，证明堆叠泛化能够提高自动化诱导的反垃圾邮件过滤器的效率，并且此类过滤器可以应用于实际应用中。
Jun, 2001
评估深度学习模型在新颖数据上的泛化能力，通过对神经网络各层的性能评估，发现高分类准确性并不意味着高泛化能力，深层网络不总是最好的泛化模型，对模型不同层的泛化能力进行了探讨。
May, 2024
通过在参数化级别适当地聚合基学习器而非输出级别，Bagging 能够以指数衰减减少慢慢消失的推广误差，从而显著提升推广性能。
本研究系统地总结了机器学习中的系统化推广方法，并从经典派和联结派等不同角度介绍了其相关信息。我们重点讨论了不同类型的联结派及其如何处理推广问题，并探讨了在语言、视觉和 VQA 等领域中的应用。此外，我们还讨论了相关的变量绑定和因果问题，并简要介绍了最新的研究进展，希望能为未来的研究提供一定的背景和参考。
Nov, 2022
本论文通过应用无序系统的统计物理学技术，对解决使用 softmax 输出和交叉熵损失的分类任务的深度神经网络的推广进行非线性动力学的分析，以理论上支持多任务学习表现由任务的噪声性以及输入特征对其的对齐程度来决定的直觉。
Oct, 2019
该研究通过系统实验和理论构建发现，传统方法很难解释为什么大型神经网络的泛化性能良好，即使加入正则化仍然不会改变随机标记训练数据的状态，因为只要参数数量超过数据点数量，简单的两层神经网络就能实现完美的有限样本表达能力。
Nov, 2016
本文综述了神经网络模型不同抽象级别的概念、建模方法和最近的研究发现，包括网络模型的概括、分布、域、任务、模式和范围的泛化，着重于在各泛化层次上存在的问题，例如过拟合问题和域适应问题。
Sep, 2022
强学生模型可以从较弱的教师那里学习：当在较弱模型的预测上进行训练时，强预先训练的学生可以学习纠正较弱模型的错误，并推广到教师不自信的例子，即使这些例子在训练中被排除在外。这使得可以从廉价、不完整和可能不正确的标签信息中进行学习，例如粗略的逻辑规则或语言模型的生成。我们证明了现有的弱监督理论不能同时解释这两个效应，我们将其称为伪标签纠正和覆盖扩展。我们给出了基于数据分布和学生假设类的展开性质的新界限，直接解释了伪标签纠正和覆盖扩展。我们的界限捕捉了弱到强泛化的直觉，即在强模型无法适应弱教师的错误而不产生额外错误时发生。我们展示了这些扩展性质可以通过有限数据进行检验，并提供了实证证据证明它们在实践中成立。
本研究研究了通过模块化和数据增量方法对神经网络在基于自然语言语境的学习中实现系统化综合的影响，并发现具有认知过程至少两个模块的神经网络比非模块基线更容易通过扩充数据实现系统化综合。
Feb, 2022