ICMLFeb, 2018

预测过程中的错误分类

PDF
TL;DR使用拓扑数据分析中的 Mapper 算法，本文提出了一种名为 FiFa 的方法，用于分类预测过程的失败模式。在 MNIST 图像添加噪声的情况下，通过对高误差区域的群集分析，可得到预测过程的区别失败模式。本文还演示了两种使用失败模式分类的方法：一是产生一层校正层以通过失败模式的相似性来调整预测，另一种方法是检查失败模式的成员，以说明并调查每种失败模式的特点。
发现论文，激发创造
  • 基于人工和匿名训练的多分类器故障预测模型，确保数据隐私

    本文提出了一种新颖的非侵入式系统故障预测技术，该技术利用开发人员提供的信息和原始日志中的最小信息（而不是挖掘整个日志），并将数 据完全保留在数据所有者的管辖范围内。

    Sep, 2022

  • 未知故障模式下的退化建模与预测分析

    该研究提出了一种基于降维技术 UMAP 的故障模式诊断方法，通过将每个单元的退化轨迹投影和可视化到低维空间，并利用这些退化轨迹开发基于时间序列的聚类方法来识别训练单元的故障模式。最后，引入一种具有单调约束的预测模型，能够同时预测测试单元的故障模式标签和剩余寿命，并保持剩余寿命预测值在连续时间步长中的单调性。该模型通过飞机燃气涡轮发动机数据集进行了验证。

    Feb, 2024

  • PRIME：故障模式提取中的优先解释性

    我们研究了在训练图像分类模型中提供人类可理解的失败模式描述的挑战。通过研究现有方法的局限性，我们提出了一种新颖的方法，首先从数据集中获取人类可理解的图像概念（标签），然后根据这些标签的组合的存在与否分析模型的行为，以提高对失败模式的识别和生成与之相关的高质量文本描述的能力，这表明在理解模型失败中优先考虑可解释性的重要性。

    Sep, 2023

  • 在潜空间中提炼模型失败方向

    本文介绍了一种自动提取模型误差模式的方法：使用线性分类器来识别一致的错误模式，并将其表示为特征空间内的方向。使用此框架，结合扩散模型，能够自动发现训练数据集中具有挑战性的子人群，进而进行数据扩充，以改善模型失效的情况。

    Jun, 2022

  • 了解超出分布广义化的失效模式

    研究机器学习模型可能与标签具有虚假关联的导致测试准确度不高的基本因素，并通过理论研究和实验构建证明，认为数据中虚假相关性引起的几何偏差和统计偏差是两种互补且相对的失败模式。

    Oct, 2020

  • 通过鲁棒特征提取理解深度网络的故障

    本文介绍并研究了一种方法，旨在通过识别导致模型失败的视觉特征，对学习模型的传统评估方法进行补充，从而更好地表现重要和有益的失败模式。作者进一步提出了一种可视化方法用于帮助人们理解这些特征的含义，并在 ImageNet 数据集上进行了评估，结果表明：这种方法是发现重要的失败模式的有效方法，可视化技术有助于人们理解提取的特征，提取的洞见可以帮助工程师进行错误分析和调试。

    Dec, 2020

  • 失败是命中注定的，但可以淡化：关于大规模视觉语言模型中的不良行为的特征化和缓解

    通过使用深度强化学习方法，本研究通过有限的人类反馈探索和构建预训练的辨别模型和生成模型的失败模式，并展示了如何重构这些失败模式以更好地满足需求，从而解决大规模深度神经网络在准确性、社会偏见和与人类价值观的一致性等方面可能出现的问题。

    Jun, 2024

  • 多维数据中特征影响平衡评估的方法

    本文引入了 Feature Impact Balance 得分来衡量不同特征对误差向量的贡献度平衡度，并对其在不同数据集和模型中进行了实验，探讨其在单输出和多输出任务的模型选择中的可用性。

    Jul, 2022

  • 医疗领域中使用故障模式与影响分析（FMEA）进行治疗的自动计算

    通过将 FMEA 模型转化为马尔科夫决策过程，我们提供了一个正式的框架来实现自动计划和操作，不仅可以支持医学专家在建模过程中应用，还可以自动确定对患者治疗的最佳治疗方案。

    May, 2024

  • 医学图像分类中的故障检测：现实检验和基准测试

    本文研究了自动图像分类中的故障检测，通过对 6 个医学影像数据集的测试发现，现有的置信度评分方法无法准确检测分类模型的测试失败，建议今后加强研究，提高故障检测的准确性。

    May, 2022