Jun, 2022

Shifts 2.0：扩展实际分布漂移数据集

PDF
TL;DR本文扩展了 Shifts 数据集，加入了两个来源于高风险工业应用的数据集，用于探索模型的鲁棒性和不确定性估计。新数据集包括 3D 磁共振脑图像中白质多发性硬化病变的分割和船舶功耗的估计，具有普遍分布转移和严格的安全要求。
发现论文，激发创造
  • Shifts: 多个大规模任务中的真实分布转移数据集

    本研究提出了 Shifts 数据集，用于评估不确定性预测和对分布偏移的鲁棒性，并提供了基线结果和任务描述。

    Jul, 2021

  • MetaShift：用于评估上下文分布变化和训练冲突的数据集合集

    本研究提出了 MetaShift—— 一个覆盖 410 个类别的 12,868 个自然图像的集合 —— 旨在通过对自然异质性的利用来对抗数据分布的变化与转移，并提出了关于不同数据集之间的独特性的显式解释以及度量分数。通过 MetaShift 的实验结果表明，当分布转移不是很大时，简单的经验风险最小化方法最佳；而在大的分布转移情况下，没有任何一种方法具有显著的优势。MetaShift 还可以帮助可视化模型训练过程中不同数据子集之间的冲突。

    Feb, 2022

  • 公正中心技术简报：分布偏移的定义和检测

    在机器学习任务中，分布偏移是一种常见情况，其表示训练模型使用的数据与实际应用模型的数据不同。本文旨在定义和检测教育环境中的分布偏移，关注标准预测问题，即学习一个以输入序列为输入（预测变量）X=(x_1,x_2,...,x_m) 并生成输出 Y=f (X) 的模型。

    May, 2024

  • 使用 TableShift 评估表格数据中的分布偏移

    TabularShift 是一个用于表格数据的分布转移基准，包含 15 个二分类任务，涵盖金融、教育、公共政策、医疗保健和市民参与等领域，并通过 TableShift API 可轻松访问。在该基准上，我们对多个最先进的表格数据模型进行了大规模研究，并与健壮学习和领域泛化方法进行了比较，结果显示（1）ID 和 OOD 准确性之间存在线性趋势；（2）领域健壮性方法可以缩小转移差距，但会降低 ID 准确性；（3）标签分布转移与转移差距之间存在密切关系。

    Dec, 2023

  • 即使是微小的相关性和多样性变化也会导致数据集偏差问题

    本文针对分布转移对深度学习模型性能和可靠性的影响，研究了两种类型的分布转移：多样性转移和相关性转移，并提出了一种综合协议来分析这两种转移。应用我们的方法到一个真实的皮肤癌分类问题，最终有三个发现：模型在低偏差情况下仍学习和传播与转移相关的内容；模型学习了强健的特征但仍使用其他的特征；多样性转移可以降低偏差模型对于与转移相关的特征的依赖性。

    May, 2023

  • WILDS: 极端分布变化的基准测试

    本文提出了一个新的 WILDS 基准测试集，其中包含 10 个数据集，反映了现实世界中自然产生的多种分布偏移。在研究中，通过多个数据集的实验表明，现有的方法不能解决分布偏移问题，更需要改进的方法来提高模型的鲁棒性。

    Dec, 2020

  • 数据集转化诊断的统一框架

    介绍了使用统一框架来检测数据移位类型并量化其强度，以便改进预测方法，可用于分类和回归任务。

    May, 2022

  • SHIFT: 连续多任务域适应的合成驾驶数据集

    本文介绍了用于自主驾驶的最大多任务合成数据集 SHIFT，其中包含多种可变特征，包括云量、雨和雾的密度、时间和车辆和行人密度，旨在促进开发连续适应策略以缓解这个问题并评估模型的鲁棒性和通用性。

    Jun, 2022

  • 量化分布漂移和不确定性，提升机器学习应用的模型鲁棒性

    使用合成数据和统计度量来评估分布变化和模型不确定性，为实现机器学习应用在现实世界中的成功部署提供了重要方法和见解。

    May, 2024

  • Wild-Time: 一个基于视野内时间变化的分布漂移测试基准

    本文介绍了机器学习领域中的分布漂移和时间漂移问题，通过时间戳元数据来增强模型学习能力，提出了一个包含五个数据集的基准测试，使用 13 种不同的方法进行系统评估，同时针对不同的实际应用场景设计了两种评估策略，发现现有的方法已经无法缩小在分布内和分布外数据间的性能差距。

    Nov, 2022