ICLRMar, 2022

Domino: 利用交叉模态嵌入发现系统错误

PDF
TL;DR本文介绍了面向高维输入的自动 SLICE 发现方法，以便于对机器学习模型进行更有针对性的优化，通过设计了一个基于数量的评估框架，发现了命名为 Domino 的自动 SLICE 发现方法，在三个输入领域中能够发现出大约 36% 的 SLICE, 这比以前的方法有了很大的改进，而且 Domino 还可以提供自然语言的 SLICE 描述。
machine learningslice discovery methodsimage classificationcoherent slicesevaluation framework
发现论文，激发创造
  • 自然语言处理的自动切片检测框架：发现、解释、改进

    本文介绍了一种 “发现，解释，改进” 的框架，以系统研究片段检测模型在自然语言处理中的量化评估，准确发现高错误率的数据点，提高模型性能。

    Nov, 2022

  • 模型性能低的位置在哪里？对切片发现算法的人类评估

    机器学习中的 slice discovery algorithm 对于模型表现下降等问题提供了一种新方法，相关的使用者研究表明这种方法比 naïve baseline 更好，但是在假设形成的环节上仍然存在挑战，因此在设计和评估新的工具时需要关注使用者。

    Jun, 2023

  • DOMINO: 多传感器时间序列数据的域不变高维分类

    DOMINO 是一种新型的 HDC 学习框架，用于处理嘈杂的多传感器时间序列数据中的分布偏移问题。通过在高维空间上进行高效且并行的矩阵运算，DOMINO 能够动态地识别和过滤出领域变异的维度，从而在多传感器时间序列分类任务中取得了较好的准确性和速度优势。此外，在从部分标记的和高度不平衡的数据中进行学习时，DOMINO 相比于 SOTA DNNs 提供了更高的稳健性，对硬件噪声有着更好的抵抗能力。

    Aug, 2023

  • 消除偏见：利用切片发现方法解释医学图像分析性能差距

    使用 Slice Discovery Methods (SDMs) 鉴别机器学习模型中的性能差异及其与患者群体之间的相互作用，并提出性别差异导致观察到的分类性能差距的解释。

    Jun, 2024

  • 通过聚类影响嵌入发现错误

    我们提出了一种识别测试例组的方法 —— 切片发现。我们将一致性定义为切片发现方法应该满足的一个关键属性，即同一切片内的错误预测应该有相同的原因。然后我们使用影响函数来推导一种新的切片发现方法 InfEmbed，它通过返回示例受相似训练数据影响的切片来满足一致性。InfEmbed 简单易用，通过将 K-Means 聚类应用于我们称为影响嵌入的新型表示方法。我们在两个基准测试中展示了 InfEmbed 的优越性，并且通过几个案例研究证明了其在模型调试中的有效性。

    Dec, 2023

  • 基于大数据和人工智能的模型验证自动数据切片方法

    该研究提出了一个交互式框架 Slice Finder，使用统计技术找到可解释的子集去诊断模型的问题，应用包括识别模型公平性和欺诈检测等。

    Jul, 2018

  • 使用语言诊断和修复视觉模型

    我们提出利用多模态嵌入空间的自然语言特点，在不需要视觉数据的情况下诊断视觉分类器，发现高错误数据片段、标识有影响力的属性并进一步纠正不良模型行为

    Feb, 2023

  • VLSlice: 交互式视觉与语言切片发现

    这篇论文介绍了 VLSlice，一个交互式系统，使用户能够引导性地发现与一致的视觉语言行为相关的连贯表征层次的子群体，称为视觉语言切片，从无标签的图像集中。我们展示了 VLSlice 在用户研究中（n=22）能够快速生成多样高一致性的切片，并公开发布该工具。

    Sep, 2023

  • DOMINO++：面向领域感知的深度学习泛化能力的损失规范化

    本文介绍了 DOMINO++，这是一种面向 OOD 泛化能力的双引导和动态领域感知损失正则化方法，它整合了专家引导和数据引导的知识，通过对合成噪声、旋转数据以及不同磁共振成像扫描仪的真实数据进行综合评估，证明了 DOMINO++ 在真实临床数据上提高了可靠的 DL 部署性能。

    Aug, 2023

  • 切片 Stein 差异的活跃切片

    提出使用有限随机切片方向来放宽核化 Sliced Stein 差异 (SSD) 的最优切片方向需求，并通过构造主动子空间和谱分解方法找到好的切片方向，从而达到了优于传统梯度下降方法 14-80 倍的拟合度和模型学习性能。

    Feb, 2021