Jan, 2024

AttributionScanner：一个基于数据分割验证的无元数据的可视分析系统

PDF
TL;DR通过分析数据切片来验证机器学习模型，使用可解释性人工智能技术提取解释性特征，设计了 AttributionScanner，一种用于数据切片验证的人机协同可视分析系统，通过可视化总结数据切片并使用神经网络正则化技术，验证模型并解决问题，旨在实现数据高效验证、提高模型可靠性。
data slice-findingattributionscannervisual analyticsexplainable aimodel validation
发现论文，激发创造
  • 基于大数据和人工智能的模型验证自动数据切片方法

    该研究提出了一个交互式框架 Slice Finder，使用统计技术找到可解释的子集去诊断模型的问题，应用包括识别模型公平性和欺诈检测等。

    Jul, 2018

  • 自然语言处理的自动切片检测框架：发现、解释、改进

    本文介绍了一种 “发现，解释，改进” 的框架，以系统研究片段检测模型在自然语言处理中的量化评估，准确发现高错误率的数据点，提高模型性能。

    Nov, 2022

  • VLSlice: 交互式视觉与语言切片发现

    这篇论文介绍了 VLSlice，一个交互式系统，使用户能够引导性地发现与一致的视觉语言行为相关的连贯表征层次的子群体，称为视觉语言切片，从无标签的图像集中。我们展示了 VLSlice 在用户研究中（n=22）能够快速生成多样高一致性的切片，并公开发布该工具。

    Sep, 2023

  • 模型性能低的位置在哪里？对切片发现算法的人类评估

    机器学习中的 slice discovery algorithm 对于模型表现下降等问题提供了一种新方法，相关的使用者研究表明这种方法比 naïve baseline 更好，但是在假设形成的环节上仍然存在挑战，因此在设计和评估新的工具时需要关注使用者。

    Jun, 2023

  • 消除偏见：利用切片发现方法解释医学图像分析性能差距

    使用 Slice Discovery Methods (SDMs) 鉴别机器学习模型中的性能差异及其与患者群体之间的相互作用，并提出性别差异导致观察到的分类性能差距的解释。

    Jun, 2024

  • 基于分片的学习：一种在关键数据分片中进行残差学习的编程模型

    本文提出了基于切片的学习方法，通过划分关键数据子集和引入注意力机制来针对性地提高机器学习模型在关键数据子集上的性能表现。在跨越语言理解、计算机视觉和生产规模工业系统的数据集上，该方法在保持参数有效性的同时，在切片和总体 F1-score 上分别提高 19.0 和 4.6 个百分点。

    Sep, 2019

  • Slice Tuner：一种用于准确和公平机器学习模型的选择性数据采集框架

    本文提出了利用切片优化数据采集的方法 Slice Tuner，通过维护学习曲线并使用凸优化来选择不同切片的数据量，以便在保证准确性和公平性的同时优化模型。在使用众包数据采集的真实数据集上评估了 Slice Tuner，并证明了其显著优于传统基线算法。

    Mar, 2020

  • EvalAttAI: 对鲁棒和非鲁棒模型中评估属性图的整体方法

    探索透视医学影像分类应用的影响映射方法和度量评估，提出 EvalAttAI 度量已有度量的局限并进行改进，结果显示：使用 Vanilla Gradient 方法的贝叶斯深度神经网络通常更具可解释性。

    Mar, 2023

  • 看见就信服

    我们的研究项目旨在提出三种可视化工具，以比较数据集统计和人工智能性能，进一步增加分割模型的可解释性。工具使用散点图和热图来编码相关性和特征，并通过对真实用户进行调查来研究其在计算机视觉和人工智能领域的实效性。

    Dec, 2023

  • 在医疗应用案例中使用 ScrutinAI 进行深度神经网络性能的视觉检查

    我们的可视化分析工具 ScrutinAI 支持人工分析师与模型性能和数据集进行互动研究。通过使用我们的可视化工具，我们分析了不同专家之间标签变异对模型性能的影响，并能够区分来自标签质量的变化或缺失的深度神经网络模型的缺陷和真实缺陷，以便在公开可用的数据集中全面检测颅内出血和不同类型之间的细微差别。

    Aug, 2023