零样本学习中的类别分布变化：学习鲁棒表征

Nov, 2023

零样本学习中的类别分布变化：学习鲁棒表征

Class Distribution Shifts in Zero-Shot Learning: Learning Robust Representations

Yuli Slavutsky, Yuval Benjamini

TL;DR在这篇研究论文中，我们研究了一个隐藏变量引起的类别分布偏移的情景，针对零样本分类器在训练课程上学习的表示被应用于新的未见类别的情况，我们引入了一种算法用于学习在这种类别分布偏移下具有鲁棒性的数据表示。我们展示了我们的方法，将分层数据抽样与越域泛化技术相结合，能够改进在模拟和真实数据集中对多样的类别分布的泛化能力。

Abstract

distribution shifts between training and deployment data often affect the performance of machine learning models. In this paper, we explore a setting where a hidden variable induces a shift in the distribution of

distribution shifts machine learning models zero-shot classifiers data representations class distribution shifts

发现论文，激发创造

学习加权表示以实现跨设计通用化

提出了一个基于表示学习和样本重加权的误差界，针对因果推断和无监督域自适应问题，在设计转换下减少泛化误差的算法框架，与以往方法相比具有更好的效果并具有渐近一致性。

Feb, 2018

通过域不变表示估计分布转移下的泛化能力

本篇论文研究机器学习模型在不同测试分布的情况下表现不佳且过度估计它们的表现的问题，并提出一种基于领域不变性预测模型的方法来更好地估计模型在转移学习领域的性能，从而实现了领域自适应和对给定模型在分布转移情况下进行准确的目标误差估计，并可以用于模型选择、决定早期停机和错误检测。

Jul, 2020

先验转移下的分布鲁棒事后分类器

训练模型以适应由类先验或群组先验的分布变化引起的偏移问题并不容易，我们提出一种极其轻量级的事后方法，通过在验证集上求解约束优化问题并应用于模型，从而在测试时尽量减小选定目标分布周围的分布鲁棒性损失，并带有可证明的保证和实证的结果证明，表明我们的方法非常适用于分布鲁棒的事后分类器。

Sep, 2023

基于类别相关领域漂移的鲁棒分类

这篇论文探讨了一种特殊的数据集漂移，称为类依赖性领域漂移，提出了使用神经网络解决有信息论约束的优化问题的方法，并在玩具数据集上进行实验，证明了该方法能够学习到健壮分类器并能够推广到未知领域。

Jul, 2020

应对分布变化的稳健计算机视觉技术综述

人工智能应用越来越受到公众的关注，然而研究者在计算机视觉模型的理论假设与实际部署时面临一种被称为分布偏移的困境。本文讨论了识别这一突出差距的重要原因，探索了分布偏移的概念及其关键意义，并对数据中心领域用于解决这些问题的技术进行了深入概述。

Dec, 2023

远程学习：重新思考有限监督下的广义零样本学习

本文提出了基于产品专家公式和 A UD 模块的零样本和少量样本归纳学习框架，利用来自非数据类的未标记采样来提高任意数量学习的泛化能力，并证明了该模型适用于有限监督场景下的广义零样本模型。

Jul, 2021

基准测试低数据量下对自然分布变化的鲁棒性

本文研究了不同低样本情况下，自然分布偏移的鲁棒性，发现没有单一模型比其他模型更鲁棒，同时现有的干预手段在某些数据集上可能无法提高鲁棒性。

Apr, 2023

深度度量学习中针对带外分布偏移的泛化特征描述

该研究提出了一个称为 ooDML 的基准测试，旨在评估 Deep Metric Learning 算法在面对不同程度和难度的数据分布转移时的泛化性能，研究发现，在挑战性更多样的训练测试分布转移情况下，部分方法可以更好地保持性能，最后，提出 few-shot DML 方法以有效地提高泛化性能。

Jul, 2021

即使是微小的相关性和多样性变化也会导致数据集偏差问题

本文针对分布转移对深度学习模型性能和可靠性的影响，研究了两种类型的分布转移：多样性转移和相关性转移，并提出了一种综合协议来分析这两种转移。应用我们的方法到一个真实的皮肤癌分类问题，最终有三个发现：模型在低偏差情况下仍学习和传播与转移相关的内容；模型学习了强健的特征但仍使用其他的特征；多样性转移可以降低偏差模型对于与转移相关的特征的依赖性。

May, 2023

超越差异：对分布偏移理论的深入研究

在分布转移理论中，通过采用不变风险最小化（IRM）类似的假设连接分布，研究源分布到目标分布的分类器，揭示了源分布数据足够准确分类目标的条件，并讨论了在这些条件不满足时，只需目标的无标签数据或标记目标数据的情况，并提供了严格的理论保证。

May, 2024