May, 2024

公正中心技术简报：分布偏移的定义和检测

PDF
TL;DR在机器学习任务中，分布偏移是一种常见情况，其表示训练模型使用的数据与实际应用模型的数据不同。本文旨在定义和检测教育环境中的分布偏移，关注标准预测问题，即学习一个以输入序列为输入（预测变量）X=(x_1,x_2,...,x_m) 并生成输出 Y=f (X) 的模型。
发现论文，激发创造
  • 分布转移下的监督算法公平性：一项综述

    监督的公平感知机器学习在面临数据分布从源领域到目标领域的变化时，是一个新兴的领域，解决了在实现公正和无偏预测方面的挑战。本综述提供各种类型的分布变化的总结，并全面调查了现有方法，重点介绍了文献中常用的六种方法。此外，本综述列出了可用于经验研究的公开数据集和评估指标。我们进一步探讨了与相关研究领域的相互连接，讨论了重大挑战，并确定了未来研究的潜在方向。

    Feb, 2024

  • Shifts 2.0：扩展实际分布漂移数据集

    本文扩展了 Shifts 数据集，加入了两个来源于高风险工业应用的数据集，用于探索模型的鲁棒性和不确定性估计。新数据集包括 3D 磁共振脑图像中白质多发性硬化病变的分割和船舶功耗的估计，具有普遍分布转移和严格的安全要求。

    Jun, 2022

  • 数据集转化诊断的统一框架

    介绍了使用统一框架来检测数据移位类型并量化其强度，以便改进预测方法，可用于分类和回归任务。

    May, 2022

  • 超越差异：对分布偏移理论的深入研究

    在分布转移理论中，通过采用不变风险最小化（IRM）类似的假设连接分布，研究源分布到目标分布的分类器，揭示了源分布数据足够准确分类目标的条件，并讨论了在这些条件不满足时，只需目标的无标签数据或标记目标数据的情况，并提供了严格的理论保证。

    May, 2024

  • 通过解释空间检测基于表格数据的分布转移

    本研究探讨在数据分布漂移时，机器学习模型的预测性能和模型解释特征如何受影响，以及这些关键指标如何相互关联，发现模型解释任务的建模是检测预测性能变化的更好指标。

    Oct, 2022

  • 论描述分布偏移的语言的必要性：在表格数据集上的应用举例

    在分布转移的研究中，$Y | X$ - 转移最为普遍，我们建立了一个经验测试平台 WhyShift，以评估算法和数据干预对协变量区域的影响，同时也强调未来建立如何处理分布差异的理解对于研究的重要性。

    Jul, 2023

  • 即使是微小的相关性和多样性变化也会导致数据集偏差问题

    本文针对分布转移对深度学习模型性能和可靠性的影响，研究了两种类型的分布转移：多样性转移和相关性转移，并提出了一种综合协议来分析这两种转移。应用我们的方法到一个真实的皮肤癌分类问题，最终有三个发现：模型在低偏差情况下仍学习和传播与转移相关的内容；模型学习了强健的特征但仍使用其他的特征；多样性转移可以降低偏差模型对于与转移相关的特征的依赖性。

    May, 2023

  • 一种信息理论方法应对分布转换

    从信息理论的角度，本文探讨了机器学习模型在实际应用中遭遇的数据偏移问题，比较了近期领域泛化与公正分类研究中一些最有前途的目标。根据我们的理论分析和实证评估，我们得出结论，模型选择过程需要根据观察到的数据、纠正因素和数据生成过程的结构进行认真考虑的指导。

    Jun, 2021

  • Shifts: 多个大规模任务中的真实分布转移数据集

    本研究提出了 Shifts 数据集，用于评估不确定性预测和对分布偏移的鲁棒性，并提供了基线结果和任务描述。

    Jul, 2021

  • 使用 TableShift 评估表格数据中的分布偏移

    TabularShift 是一个用于表格数据的分布转移基准，包含 15 个二分类任务，涵盖金融、教育、公共政策、医疗保健和市民参与等领域，并通过 TableShift API 可轻松访问。在该基准上，我们对多个最先进的表格数据模型进行了大规模研究，并与健壮学习和领域泛化方法进行了比较，结果显示（1）ID 和 OOD 准确性之间存在线性趋势；（2）领域健壮性方法可以缩小转移差距，但会降低 ID 准确性；（3）标签分布转移与转移差距之间存在密切关系。

    Dec, 2023