ICMLJul, 2021

Mandoline: 模型在分布偏移下的评估

PDF
TL;DR本文提出了一种名为 Mandoline 的评估框架，该框架利用用户提供的切片函数通过重加权技术来解决源数据分布与目标数据分布存在偏移的问题，可以更准确地估算基于机器学习的模型在目标数据分布上的性能表现。
machine learningevaluation frameworkimportance weightingdistribution shiftperformance estimation
发现论文，激发创造
  • 量化分布漂移和不确定性，提升机器学习应用的模型鲁棒性

    使用合成数据和统计度量来评估分布变化和模型不确定性，为实现机器学习应用在现实世界中的成功部署提供了重要方法和见解。

    May, 2024

  • 评估分布偏移对强化学习性能的影响

    针对分布转换情况下的强化学习进行严格评估的方法研究。

    Feb, 2024

  • 通过指数倾斜方法，从训练数据视角理解新任务

    通过重新赋值训练数据的权重，我们提出了一种基于指数倾斜假设的分布转移模型，用于为目标任务学习训练数据的重要性权重，以最小化有标签的训练数据集与无标签的目标数据集之间的 KL 散度，并应用到水鸟和品种基准测试中展示了方法的有效性。

    May, 2022

  • 分布转移下的监督算法公平性：一项综述

    监督的公平感知机器学习在面临数据分布从源领域到目标领域的变化时，是一个新兴的领域，解决了在实现公正和无偏预测方面的挑战。本综述提供各种类型的分布变化的总结，并全面调查了现有方法，重点介绍了文献中常用的六种方法。此外，本综述列出了可用于经验研究的公开数据集和评估指标。我们进一步探讨了与相关研究领域的相互连接，讨论了重大挑战，并确定了未来研究的潜在方向。

    Feb, 2024

  • 机器学习模型在实际中的稳健性、评估与适应性

    通过培训算法来提高对于机器学习领域的可靠性，从而应对领域的变化，提高算法的性能，预测其表现并轻量级适应应用领域。

    Mar, 2023

  • 训练集之外：一种检测模型优化中分布偏移的直观方法

    通过训练二元分类器，我们提出了一种简单的方法来检测分布的变化，从而解决了在模型设计过程中的分布偏移问题，并通过验证其在实际应用中的有效性，证实了此方法可以提高设计的质量。

    Nov, 2023

  • 分布偏移的细粒度分析

    本研究提出了一种框架来分析各种分布转移，并通过评估 19 个不同类别的方法，提供了当前最先进方法的整体分析。结果显示，与标准 ERM 基线相比，预训练和数据扩充（学习或启发式）在许多情况下都具有很大的优势，但不能很好地适应不同的数据集和转移。

    Oct, 2021

  • 稳健验证：即使分布发生偏移，也能自信地做出预测

    本文提出了一种建立在鲁棒性预测推断上的不确定性估计模型，使用 conformal inference 方法建立了准确覆盖测试数据分布的预测集，通过估计数据漂移量建立了鲁棒性，并在多个基准数据集上进行了实验证明了该方法的重要性。

    Aug, 2020

  • 稻草堆中的针：极度类别不平衡下的标注效率评估

    本文提出了一种基于自适应重要性抽样的在线评估框架，该框架可通过自适应分布来标记物品，以最大化统计精度，并通过实验验证，利用 Dirichlet-tree 模型实现了比固定标签预算的最新技术平均 MSE 更高的结果。

    Jun, 2020

  • Shifts 2.0：扩展实际分布漂移数据集

    本文扩展了 Shifts 数据集，加入了两个来源于高风险工业应用的数据集，用于探索模型的鲁棒性和不确定性估计。新数据集包括 3D 磁共振脑图像中白质多发性硬化病变的分割和船舶功耗的估计，具有普遍分布转移和严格的安全要求。

    Jun, 2022