ICMLJul, 2023

朝着可行的顺序偏移检测器

PDF
TL;DR部署的机器学习模型性能受到分布转移的有害影响的认识日益增长。因此，在相关成本累积之前，检测这些转移的兴趣日益增长。然而，现有的研究往往忽视可行性的顶级部署序列转移检测器的重要需求，限制了它们的广泛采用。我们确定了三个这样的需求，强调了与之满足相关的现有工作，并为未来研究提出了有影响力的方向。
distribution shiftmachine learning modelssequential shift detectorsdesideratafuture research
发现论文，激发创造
  • 数据集转化诊断的统一框架

    介绍了使用统一框架来检测数据移位类型并量化其强度，以便改进预测方法，可用于分类和回归任务。

    May, 2022

  • 公正中心技术简报：分布偏移的定义和检测

    在机器学习任务中，分布偏移是一种常见情况，其表示训练模型使用的数据与实际应用模型的数据不同。本文旨在定义和检测教育环境中的分布偏移，关注标准预测问题，即学习一个以输入序列为输入（预测变量）X=(x_1,x_2,...,x_m) 并生成输出 Y=f (X) 的模型。

    May, 2024

  • 分布转移下的监督算法公平性：一项综述

    监督的公平感知机器学习在面临数据分布从源领域到目标领域的变化时，是一个新兴的领域，解决了在实现公正和无偏预测方面的挑战。本综述提供各种类型的分布变化的总结，并全面调查了现有方法，重点介绍了文献中常用的六种方法。此外，本综述列出了可用于经验研究的公开数据集和评估指标。我们进一步探讨了与相关研究领域的相互连接，讨论了重大挑战，并确定了未来研究的潜在方向。

    Feb, 2024

  • 特征偏移检测与校正的对抗学习

    利用对抗性学习的原则，结合主流的监督分类器和简单迭代启发式方法，本研究探索了利用多个辨别器的信息来检测和修复数据集之间特征变化，以消除特征变化所带来的分布偏移，优于当前的统计和神经网络技术。

    Dec, 2023

  • 通过解释空间检测基于表格数据的分布转移

    本研究探讨在数据分布漂移时，机器学习模型的预测性能和模型解释特征如何受影响，以及这些关键指标如何相互关联，发现模型解释任务的建模是检测预测性能变化的更好指标。

    Oct, 2022

  • 响亮地失败：检测数据集漂移方法的实证研究

    本文探讨机器学习系统在面对各类输入时，如何通过检测数据集漂移并量化其恶性，从而建立高鲁棒性的系统，同时提出使用预训练分类器的双样本测试法在多种数据集漂移情况下表现最佳，且判别方法有助于定性确定数据集漂移的影响。

    Oct, 2018

  • 用于无监督分布偏移检测的自组织聚类系统

    本文提出了一种持续学习框架，用于监测和检测数据分布的变化，通过自组织聚类和潜空间的统计方面探索这个问题，方法可以应用于有监督和无监督的环境中，并且通过比较高斯信号构建数据分布变化的评估，具有快速和稳健的特点，通过与其他无监督技术的比较实验证明了方法的潜力。

    Apr, 2024

  • 应对分布变化的稳健计算机视觉技术综述

    人工智能应用越来越受到公众的关注，然而研究者在计算机视觉模型的理论假设与实际部署时面临一种被称为分布偏移的困境。本文讨论了识别这一突出差距的重要原因，探索了分布偏移的概念及其关键意义，并对数据中心领域用于解决这些问题的技术进行了深入概述。

    Dec, 2023

  • 针对图像转换集的模型易受分布偏移漏洞的解决方案

    本研究探讨计算机视觉模型对分布变化的脆弱性，并通过组合优化问题和标准搜索算法寻求这些模型容易受到哪些图像转换的影响。我们通过新的数据增强方法，根据模型容易受到影响的图像变换来训练更加强健模型。实证评估表明，所设计的算法对保持图像内容的操作和分布变化等可以相对更强健。

    Mar, 2019

  • Shifts 2.0：扩展实际分布漂移数据集

    本文扩展了 Shifts 数据集，加入了两个来源于高风险工业应用的数据集，用于探索模型的鲁棒性和不确定性估计。新数据集包括 3D 磁共振脑图像中白质多发性硬化病变的分割和船舶功耗的估计，具有普遍分布转移和严格的安全要求。

    Jun, 2022