Dec, 2023

通过聚类影响嵌入发现错误

PDF
TL;DR我们提出了一种识别测试例组的方法 —— 切片发现。我们将一致性定义为切片发现方法应该满足的一个关键属性，即同一切片内的错误预测应该有相同的原因。然后我们使用影响函数来推导一种新的切片发现方法 InfEmbed，它通过返回示例受相似训练数据影响的切片来满足一致性。InfEmbed 简单易用，通过将 K-Means 聚类应用于我们称为影响嵌入的新型表示方法。我们在两个基准测试中展示了 InfEmbed 的优越性，并且通过几个案例研究证明了其在模型调试中的有效性。
slice discoverycoherenceinfluence functionsinfembedmodel debugging
发现论文，激发创造
  • 模型性能低的位置在哪里？对切片发现算法的人类评估

    机器学习中的 slice discovery algorithm 对于模型表现下降等问题提供了一种新方法，相关的使用者研究表明这种方法比 naïve baseline 更好，但是在假设形成的环节上仍然存在挑战，因此在设计和评估新的工具时需要关注使用者。

    Jun, 2023

  • 自然语言处理的自动切片检测框架：发现、解释、改进

    本文介绍了一种 “发现，解释，改进” 的框架，以系统研究片段检测模型在自然语言处理中的量化评估，准确发现高错误率的数据点，提高模型性能。

    Nov, 2022

  • Domino: 利用交叉模态嵌入发现系统错误

    本文介绍了面向高维输入的自动 SLICE 发现方法，以便于对机器学习模型进行更有针对性的优化，通过设计了一个基于数量的评估框架，发现了命名为 Domino 的自动 SLICE 发现方法，在三个输入领域中能够发现出大约 36% 的 SLICE, 这比以前的方法有了很大的改进，而且 Domino 还可以提供自然语言的 SLICE 描述。

    Mar, 2022

  • InfFeed: 以影响函数作为反馈来提高主观任务的性能

    使用影响函数改进深度神经模型的性能并自动识别需要手动校正的数据点来提高模型性能，达到减少手动标注数据点数量的效果。

    Feb, 2024

  • DataInf: 在经过认证的 LLMs 和扩散模型中高效估计数据影响力

    我们提出了 DataInf，一种高效的影响力近似计算方法，可用于大规模生成型 AI 模型。通过利用易于计算的闭合形式表达式，DataInf 在计算和内存效率方面优于现有的影响力计算算法。我们的理论分析表明，DataInf 特别适用于 LoRA 等参数效率高的微调技术。通过系统的实证评估，我们表明 DataInf 准确地近似了影响力分数，并且比现有方法快几个数量级。在 RoBERTa-large、Llama-2-13B-chat 和 stable-diffusion-v1.5 模型的应用中，DataInf 能够比其他近似影响力分数更好地识别出影响最大的微调示例，而且可以帮助识别出错误标记的数据点。

    Oct, 2023

  • 序列标注模型的影响函数

    本文通过使用影响函数测度的方法，扩展了序列标注模型的可解释性。作者通过度量标注段之间的影响，确定训练中误差的位置，从而提高了模型的准确性。

    Oct, 2022

  • 由样本稳定性驱动的深度嵌入聚类

    通过样本稳定性驱动的深度嵌入聚类 (DECS) 算法，消除了对伪目标的需求，并在五个数据集上展示了超越现有聚类方法的优越性能。

    Jan, 2024

  • 无监督深度嵌入聚类分析

    本文提出了一种同时学习特征表示和聚类分配的深度神经网络方法 —— 深度嵌入聚类（DEC），该方法可将数据空间映射到低维特征空间，并在此优化聚类目标函数，实验结果表明，DEC 在图像和文本语料库方面的表现显著超过现有的最先进方法。

    Nov, 2015

  • 不变和扩散实例特征的无监督嵌入学习

    该研究主要探讨无监督嵌入学习问题，通过提出一种基于实例的 softmax 嵌入方法，直接在 softmax 函数上优化真实实例特征，旨在学习数据增强不变和实例分散特征，并在余弦相似性下实现了快速学习速度和更高的准确性。

    Apr, 2019

  • 消除偏见：利用切片发现方法解释医学图像分析性能差距

    使用 Slice Discovery Methods (SDMs) 鉴别机器学习模型中的性能差异及其与患者群体之间的相互作用，并提出性别差异导致观察到的分类性能差距的解释。

    Jun, 2024