关于校准和域外泛化

MMFeb, 2021

On Calibration and Out-of-domain Generalization

Yoav Wald, Amir Feder, Daniel Greenfeld, Uri Shalit

TL;DR本文提出了一种新颖的多域校准机制，该机制使分类器能够在未知领域中实现良好的泛化性能，实验证明通过训练或修改模型实现多域校准可以显著提高模型在未知测试域上的性能。

Abstract

Out-of-domain (OOD) generalization is a significant challenge for machine learning models. Many techniques have been proposed to overcome this challenge, often focused on learning models with certain invariance properties. In this work, we draw a link between OOD performance and model calibra

out-of-domain generalization machine learning multi-domain calibration model calibration spurious correlations

发现论文，激发创造

关于超出分布泛化的理论框架

本文第一次尝试对 OOD 问题的可学习性和扩张函数进行严格和量化的定义，并引入了一个新的扩张函数概念来量化不变特征的方差程度，进而证明了 OOD 泛化误差界，实验证明我们的模型选择标准相比基线有显著优势。

Jun, 2021

有限数据之外：通过外推实现无数据外域泛化

利用大型语言模型和文本到图像生成技术，我们介绍了一种领域外推方法，通过合成全新领域的高保真、逼真的图像来显著提高域泛化数据集的训练效果，实现了单一和多领域泛化任务上的显著改进，甚至在没有任何收集数据的条件下，超过了监督设置的表现。

Mar, 2024

重新思考领域泛化的评估协议

本文通过修改当前领域泛化协议，建议从头开始训练并使用多个测试域来更准确地评估泛化能力，并引入新的排行榜以鼓励未来的领域泛化研究。

May, 2023

利用因果不变转换实现对分布外的泛化

本研究提出了一种针对领域间泛化问题的新方法，通过使用修改非因果特征但不改变因果特征的转换方式，从而获得跨领域的最优模型，并且该方法只需要一个单一领域的数据即可实现，在实验中证明了该方法的有效性。

Mar, 2022

领域泛化：一份调查报告

本文综述了过去十年领域泛化方向的研究进展，包括领域泛化的定义，现有的方法和理论，并提供未来研究方向的见解和讨论。

Mar, 2021

DOMINO++：面向领域感知的深度学习泛化能力的损失规范化

本文介绍了 DOMINO++，这是一种面向 OOD 泛化能力的双引导和动态领域感知损失正则化方法，它整合了专家引导和数据引导的知识，通过对合成噪声、旋转数据以及不同磁共振成像扫描仪的真实数据进行综合评估，证明了 DOMINO++ 在真实临床数据上提高了可靠的 DL 部署性能。

Aug, 2023

领域泛化的因果平衡

采用平衡的小批量采样策略来消除数据中的错误相关性，提高机器学习模型在不同领域的泛化能力并以此训练贝叶斯最优分类器，通过实验证明该方法优于 20 种基准方法。

Jun, 2022

学习单域通用性

本篇文章介绍了一种名为对抗域增强的方法，用于在单一训练域情况下提高模型的泛化性能，通过使用元学习方案和 WAE 来松弛最坏情况限制，并在多个基准数据集上广泛实验，验证了该方法对于缓解单一域泛化问题的优越表现。

Mar, 2020

基于贝叶斯近似的领域外检测分布校准

本文提出了一种基于贝叶斯模型和 Monte-Carlo Dropout 技术的 OOD 检测框架，能够有效减少训练集和测试集分布的不匹配所导致的不确定性，从而提高 OOD 的 F1 得分。

Sep, 2022

在潜在空间中通过领域不变表示学习改善入侵检测

通过多任务学习，我们引入了一种两阶段表示学习技术，旨在从跨越多个领域的特征中培养一个潜在空间，包括原始和跨领域的特征，以增强在未见过的内部分布和外部分布领域的推理能力。此外，我们试图通过最小化先验和潜在空间之间的互信息来解耦潜在空间，从而有效地消除虚假特征之间的关联性。总体而言，这种联合优化将促进领域无关的特征学习。我们使用标准分类指标在多个网络安全数据集上评估模型的有效性，并将结果与当代领域泛化方法进行对比。

Dec, 2023