基于大数据和人工智能的模型验证自动数据切片方法

Jul, 2018

基于大数据和人工智能的模型验证自动数据切片方法

Automated Data Slicing for Model Validation:A Big data - AI Integration Approach

Yeounoh Chung, Tim Kraska, Neoklis Polyzotis, Ki Hyun Tae, Steven Euijong Whang

TL;DR该研究提出了一个交互式框架 Slice Finder，使用统计技术找到可解释的子集去诊断模型的问题，应用包括识别模型公平性和欺诈检测等。

Abstract

As machine learning systems become democratized, it becomes increasingly important to help users easily debug their models. However, current data tools are still primitive when it comes to helping users trace model performance problems all the way to the data. We focus on the particula

machine learning model validation data slicing interpretable slices statistical techniques

发现论文，激发创造

AttributionScanner：一个基于数据分割验证的无元数据的可视分析系统

通过分析数据切片来验证机器学习模型，使用可解释性人工智能技术提取解释性特征，设计了 AttributionScanner，一种用于数据切片验证的人机协同可视分析系统，通过可视化总结数据切片并使用神经网络正则化技术，验证模型并解决问题，旨在实现数据高效验证、提高模型可靠性。

Jan, 2024

模型性能低的位置在哪里？对切片发现算法的人类评估

机器学习中的 slice discovery algorithm 对于模型表现下降等问题提供了一种新方法，相关的使用者研究表明这种方法比 naïve baseline 更好，但是在假设形成的环节上仍然存在挑战，因此在设计和评估新的工具时需要关注使用者。

Jun, 2023

自然语言处理的自动切片检测框架：发现、解释、改进

本文介绍了一种 “发现，解释，改进” 的框架，以系统研究片段检测模型在自然语言处理中的量化评估，准确发现高错误率的数据点，提高模型性能。

Nov, 2022

基于分片的学习：一种在关键数据分片中进行残差学习的编程模型

本文提出了基于切片的学习方法，通过划分关键数据子集和引入注意力机制来针对性地提高机器学习模型在关键数据子集上的性能表现。在跨越语言理解、计算机视觉和生产规模工业系统的数据集上，该方法在保持参数有效性的同时，在切片和总体 F1-score 上分别提高 19.0 和 4.6 个百分点。

Sep, 2019

Slice Tuner：一种用于准确和公平机器学习模型的选择性数据采集框架

本文提出了利用切片优化数据采集的方法 Slice Tuner，通过维护学习曲线并使用凸优化来选择不同切片的数据量，以便在保证准确性和公平性的同时优化模型。在使用众包数据采集的真实数据集上评估了 Slice Tuner，并证明了其显著优于传统基线算法。

Mar, 2020

支持弹性推理的复杂分析的模型切片成本和资源限制

本文提出一种称为模型切片的算法，通过将模型分割成多个组，使其能够在既定的计算资源预算内动态地提供预测结果，从而在有效地支持按需工作负载的基础上实现弹性推理成本。

Apr, 2019

消除偏见：利用切片发现方法解释医学图像分析性能差距

使用 Slice Discovery Methods (SDMs) 鉴别机器学习模型中的性能差异及其与患者群体之间的相互作用，并提出性别差异导致观察到的分类性能差距的解释。

Jun, 2024

机器学习模型分析的改进：可视化分析的视角

本研究论文系统地总结了交互模型分析的三大类任务：理解、诊断和改进，旨在帮助用户高效解决实际的人工智能和数据挖掘问题，同时探讨了相关未来研究机会。

Feb, 2017

使用切片知识的对话系统应对长尾查询

本文探讨了基于切片学习的方法来提高基础对话路由系统的性能，通过定义一组标签函数来生成针对尾部意图的弱监督数据，并将基线模型延伸至切片感知的体系结构，以监视和提高对选定尾部意图的模型性能。应用于商业对话 AI 系统中的非身份识别实时数据，实验结果显示，切片感知模型有助于提高尾部意图的模型性能同时保持整体性能。

Apr, 2021

切片感知神经排名

本文介绍了针对 IR 任务，如何通过错误分析来提高神经排序模型的效果。针对难以处理的实例，我们使用基于切片的学习来提高模型的效果，实验表明这种方法能够提高神经排名模型的效率 2% 左右。

Oct, 2020