Oct, 2021

分布偏移的细粒度分析

PDF
TL;DR本研究提出了一种框架来分析各种分布转移，并通过评估 19 个不同类别的方法，提供了当前最先进方法的整体分析。结果显示，与标准 ERM 基线相比，预训练和数据扩充（学习或启发式）在许多情况下都具有很大的优势，但不能很好地适应不同的数据集和转移。
machine learningrobustnessdistribution shiftspretrainingaugmentations
发现论文，激发创造
  • 稳健性的多重面貌：对于越界泛化的关键分析

    本研究介绍了四个新的现实世界分布变化数据集，重点探讨了先前提出的改进模型鲁棒性方法，并测试了它们的有效性。我们发现使用更大的模型和人工数据增强可以提高真实世界分布变化的鲁棒性，这与之前的研究不同。我们的研究结果表明，未来的研究必须同时研究多个分布变化，因为我们证明评估的方法不能始终提高模型的鲁棒性。

    Jun, 2020

  • 图像分类模型自然分布偏移鲁棒性测量

    本研究评估了 204 个 ImageNet 模型在 213 个不同的测试条件下的表现，发现大多数当前技术无法提供对真实数据中分布变化的健壮性，唯一例外的是在较大且更多样化的数据集上进行训练可以在多种情况下提高健壮性，并且我们的研究表明当前真实数据中的分布变化是一个开放的问题。

    Jul, 2020

  • 基准测试低数据量下对自然分布变化的鲁棒性

    本文研究了不同低样本情况下，自然分布偏移的鲁棒性，发现没有单一模型比其他模型更鲁棒，同时现有的干预手段在某些数据集上可能无法提高鲁棒性。

    Apr, 2023

  • 分布转移下的监督算法公平性：一项综述

    监督的公平感知机器学习在面临数据分布从源领域到目标领域的变化时，是一个新兴的领域，解决了在实现公正和无偏预测方面的挑战。本综述提供各种类型的分布变化的总结，并全面调查了现有方法，重点介绍了文献中常用的六种方法。此外，本综述列出了可用于经验研究的公开数据集和评估指标。我们进一步探讨了与相关研究领域的相互连接，讨论了重大挑战，并确定了未来研究的潜在方向。

    Feb, 2024

  • 量化分布漂移和不确定性，提升机器学习应用的模型鲁棒性

    使用合成数据和统计度量来评估分布变化和模型不确定性，为实现机器学习应用在现实世界中的成功部署提供了重要方法和见解。

    May, 2024

  • 机器学习模型在实际中的稳健性、评估与适应性

    通过培训算法来提高对于机器学习领域的可靠性，从而应对领域的变化，提高算法的性能，预测其表现并轻量级适应应用领域。

    Mar, 2023

  • 应对分布变化的稳健计算机视觉技术综述

    人工智能应用越来越受到公众的关注，然而研究者在计算机视觉模型的理论假设与实际部署时面临一种被称为分布偏移的困境。本文讨论了识别这一突出差距的重要原因，探索了分布偏移的概念及其关键意义，并对数据中心领域用于解决这些问题的技术进行了深入概述。

    Dec, 2023

  • 先验转移下的分布鲁棒事后分类器

    训练模型以适应由类先验或群组先验的分布变化引起的偏移问题并不容易，我们提出一种极其轻量级的事后方法，通过在验证集上求解约束优化问题并应用于模型，从而在测试时尽量减小选定目标分布周围的分布鲁棒性损失，并带有可证明的保证和实证的结果证明，表明我们的方法非常适用于分布鲁棒的事后分类器。

    Sep, 2023

  • 在不同程度的分布偏移下，鲁棒性可能比我们认为的更脆弱

    我们的研究探讨了分布偏移程度的更加微妙的评估设置，我们发现模型的稳健性在不同程度的分布偏移下可能相当脆弱和不一致，因此在从有限范围下的评估中得出结论时应更加谨慎。此外，我们观察到大规模预训练模型（如 CLIP）对于新颖下游任务的微小分布偏移也很敏感。这表明，尽管预训练表示可以帮助提高内分布性能，但在某些 OOD 场景中可能对泛化性能产生最小甚至负面影响，如果不正确使用。鉴于这些发现，我们鼓励未来的研究在可能的情况下进行更广泛范围的评估。

    Oct, 2023

  • 数据集转化诊断的统一框架

    介绍了使用统一框架来检测数据移位类型并量化其强度，以便改进预测方法，可用于分类和回归任务。

    May, 2022