基于可分离性的泛化量化方法：哪一层最佳？

May, 2024

基于可分离性的泛化量化方法：哪一层最佳？

A separability-based approach to quantifying generalization: which layer is best?

Luciano Dyballa, Evan Gerritz, Steven W. Zucker

TL;DR评估深度学习模型在新颖数据上的泛化能力，通过对神经网络各层的性能评估，发现高分类准确性并不意味着高泛化能力，深层网络不总是最好的泛化模型，对模型不同层的泛化能力进行了探讨。

Abstract

generalization to unseen data remains poorly understood for deep learning classification and foundation models. How can one assess the ability of networks to adapt to new or extended versions of their input space

generalization deep learning few-shot learning domain adaptation network capacity

发现论文，激发创造

跨架构的零样本泛化视觉分类

深度网络的概括性是未见数据的关键要求，但其与分类准确性的关系尚不清楚。使用极简的视觉数据集和一种概括能力度量，我们展示了受欢迎的网络，从深度卷积网络（CNN）到 Transformer，在层级和体系结构的不同方面对未见类别的外推能力存在差异。准确性不能很好地预测概括能力，并且概括能力与层级深度变化的关系是非单调的。

Feb, 2024

神经网络中的泛化：一项广泛调查

本文综述了神经网络模型不同抽象级别的概念、建模方法和最近的研究发现，包括网络模型的概括、分布、域、任务、模式和范围的泛化，着重于在各泛化层次上存在的问题，例如过拟合问题和域适应问题。

Sep, 2022

多尺度和多层次对比学习用于领域泛化

通过结合多层和多尺度的特征，利用深度卷积神经网络来提高图像分类器的领域泛化能力，并提出了一种新颖的目标函数，使用对比学习的方法约束提取的特征在分布转移下保持不变，实验证明该方法在多个数据集上均表现出与之前方法相比更好的性能。

Aug, 2023

深度域泛化的批归一化嵌入

该研究提出一种基于批标准化和集成模型的域泛化方法，以在不同和未知的领域中提高机器学习模型的鲁棒性和分类准确性。

Nov, 2020

使用多个潜在领域的混合模型进行领域泛化

该研究使用多种潜在领域混合的方式来提高神经网络的领域泛化能力，通过聚类将样本分为不同的领域，并通过对抗学习训练领域不变特征提取器来发现潜在领域，并利用风格特征进行聚类，达到不需要使用领域标签的领域泛化模型的训练。该方法表现优于传统的领域泛化方法，包括使用领域标签的方法。

Nov, 2019

多级注意力 CNNs 用于领域泛化

本文提出了一种针对领域泛化问题的替代神经网络结构，该结构可以关注卷积神经网络的多个层次，利用可训练的注意机制来实现鲁棒的数据分类，同时在已有的四项领域通用基准测试中表现良好。

Apr, 2023

深度神经网络的泛化性和表达性

该研究探讨深度网络的优势，结论为深度网络可以在不增加浅层网络容量的情况下具备出色的表现力，从而实现近乎最优的学习率。

Mar, 2018

基于模型的领域通用化

本篇论文提出了一种基于模型的域泛化方法，通过对数据生成过程和同变性条件的建模，将域泛化问题转化为一个无限维的有约束统计学习问题，并利用非凸对偶理论发展了有约束松弛的统计问题，提出了具有收敛保证的域泛化算法，并在 ColoredMNIST，Camelyon17-WILDS，FMoW-WILDS 和 PACS 等基准测试中取得了高达 30 个百分点的改进。

Feb, 2021

最佳来源前进：通过源特定网络进行域通用化

通过引入多个特定于源域的分类器，利用预测目标样本属于每个源域的概率进行最优融合，并引入一个域不可知组件来支持最终分类器，我们的深度学习模型在两个公共基准测试上表现出很强的泛化能力。

Jun, 2018

深度稳健学习 - 针对外部分布泛化

本文主要研究基于深度神经网络的方法在训练数据与测试数据分布不一致时的性能问题，并通过学习训练样本的权重以消除特征之间的依赖关系，从而提高深度模型的性能。通过在多个分布泛化基准测试上的实验，与同类研究相比，我们的方法取得了很好的效果。

Apr, 2021