评估模型在附近的普遍性

Jun, 2024

Assessing Model Generalization in Vicinity

Yuchi Liu, Yifan Sun, Jingdong Wang, Liang Zheng

TL;DR该论文评估了分类模型在无需依赖于标签的情况下对于分布外测试集的泛化能力，并提出了一种名为 vicinal risk proxy (VRP) 的方法来计算模型的准确性，该方法通过综合考虑邻近样本的响应来评估每个样本的正确性，从而在方法学和实验上稳定地提高了现有泛化指标与模型准确性的相关性，特别是在具有挑战性的分布外测试集上。

Abstract

This paper evaluates the generalization ability of classification models on out-of-distribution test sets without depending on ground trut

generalization ability classification models out-of-distribution test sets vicinal risk proxy model accuracy

发现论文，激发创造

转移学习中的越界泛化测量

本研究探讨了如何测量和改善模型的鲁棒性，并提供了五个包括准确性、校准误差、对抗攻击、环境不变性和综合污染的数据集对深度学习网络进行了分析与比较，发现鲁棒性的提升与具体数据集相关，且关系更为复杂。

Jul, 2022

少样本分类通用性预测的统计模型

本文提出了一种基于高斯模型的特征分布参数估计方法，通过估计类间条件密度之间的距离实现对于少样本分类任务中泛化误差的预测，并在实验中表明该方法优于 leave-one-out cross-validation 等传统方法。

Dec, 2022

邻域风险最小化原则的概括界限

本文研究了 vicinal risk minimization (VRM) 的泛化界限，结论表明 vicinity function 的选择对 VRM 的性能有影响，同时提供了控制 vicinity function 的复杂度的条件，这对于确定 VRM-based learning 的合适的 vicinity function 选取提供了新的理论支持。

Nov, 2018

寻求鲁棒的泛化测量方法

本文讨论了深度学习中的一项科学挑战，即解释归纳泛化问题，通过关注经验性评估方法，提出了将泛化度量评估纳入分布强健性框架的看法。

Oct, 2020

稳健验证：即使分布发生偏移，也能自信地做出预测

本文提出了一种建立在鲁棒性预测推断上的不确定性估计模型，使用 conformal inference 方法建立了准确覆盖测试数据分布的预测集，通过估计数据漂移量建立了鲁棒性，并在多个基准数据集上进行了实验证明了该方法的重要性。

Aug, 2020

黑盒函数的域外泛化认证

本研究提出了一种基于 Hellinger 距离的证明技术，可以用于证明黑盒模型和有界损失函数的分布健壮性和域外泛化。实验证明这种技术在大型神经网络和不同类型的损失函数下具有良好的可扩展性和灵活性。

Feb, 2022

量化分布漂移和不确定性，提升机器学习应用的模型鲁棒性

使用合成数据和统计度量来评估分布变化和模型不确定性，为实现机器学习应用在现实世界中的成功部署提供了重要方法和见解。

May, 2024

在线准确性：关于样本内外泛化的强相关性

通过对 CIFAR-10、ImageNet、FMoW-WILDS 和 iWildCam-WILDS 等模型和数据集的实证研究，我们展示了机器学习系统在未知、分布不同的环境中表现的强相关性，并提供了基于高斯数据模型的理论解释。

Jul, 2021

深度稳健学习 - 针对外部分布泛化

本文主要研究基于深度神经网络的方法在训练数据与测试数据分布不一致时的性能问题，并通过学习训练样本的权重以消除特征之间的依赖关系，从而提高深度模型的性能。通过在多个分布泛化基准测试上的实验，与同类研究相比，我们的方法取得了很好的效果。

Apr, 2021

分布式泛化：一种新的泛化类型

我们引入了一种新的泛化概念 ——Distributional Generalization，旨在研究分类器在训练和测试时的输出在 * 分布上 * 的相似性，本文给出了与此相关的形式上的猜想并提供了跨多个领域的实证证据。

Sep, 2020