Sep, 2023

PRIME：故障模式提取中的优先解释性

PDF
TL;DR我们研究了在训练图像分类模型中提供人类可理解的失败模式描述的挑战。通过研究现有方法的局限性，我们提出了一种新颖的方法，首先从数据集中获取人类可理解的图像概念（标签），然后根据这些标签的组合的存在与否分析模型的行为，以提高对失败模式的识别和生成与之相关的高质量文本描述的能力，这表明在理解模型失败中优先考虑可解释性的重要性。
failure modesimage classification modelshuman-understandable descriptionsinterpretable attributesinterpretability
发现论文，激发创造
  • 通过鲁棒特征提取理解深度网络的故障

    本文介绍并研究了一种方法，旨在通过识别导致模型失败的视觉特征，对学习模型的传统评估方法进行补充，从而更好地表现重要和有益的失败模式。作者进一步提出了一种可视化方法用于帮助人们理解这些特征的含义，并在 ImageNet 数据集上进行了评估，结果表明：这种方法是发现重要的失败模式的有效方法，可视化技术有助于人们理解提取的特征，提取的洞见可以帮助工程师进行错误分析和调试。

    Dec, 2020

  • 未知故障模式下的退化建模与预测分析

    该研究提出了一种基于降维技术 UMAP 的故障模式诊断方法，通过将每个单元的退化轨迹投影和可视化到低维空间，并利用这些退化轨迹开发基于时间序列的聚类方法来识别训练单元的故障模式。最后，引入一种具有单调约束的预测模型，能够同时预测测试单元的故障模式标签和剩余寿命，并保持剩余寿命预测值在连续时间步长中的单调性。该模型通过飞机燃气涡轮发动机数据集进行了验证。

    Feb, 2024

  • 在潜空间中提炼模型失败方向

    本文介绍了一种自动提取模型误差模式的方法：使用线性分类器来识别一致的错误模式，并将其表示为特征空间内的方向。使用此框架，结合扩散模型，能够自动发现训练数据集中具有挑战性的子人群，进而进行数据扩充，以改善模型失效的情况。

    Jun, 2022

  • 了解超出分布广义化的失效模式

    研究机器学习模型可能与标签具有虚假关联的导致测试准确度不高的基本因素，并通过理论研究和实验构建证明，认为数据中虚假相关性引起的几何偏差和统计偏差是两种互补且相对的失败模式。

    Oct, 2020

  • 自动基于概念的解释

    提出了概念解释的原则和求解算法 ACE，能够系统性地通过可视化概念提供对深度神经网络预测的重要性的人类可解释性解释。

    Feb, 2019

  • 学习的视觉特征到文本解释

    利用大型语言模型解释视觉模型的学习特征，通过训练神经网络建立图像分类器和语言模型之间的连接，生成大量的句子来解释分类器学习到的特征，并提取最频繁的词语，增强图像分类器的解释性和鲁棒性。

    Sep, 2023

  • 操纵与测量模型可解释性

    在高风险领域中，机器学习模型已经被广泛用于辅助决策，而开发可解释的模型的兴趣逐渐增加。然而，是否这些模型能实现预期的效果，我们缺乏实验研究来证明。本研究开展了一系列预先注册的实验，展示了具有不同要素的模型，以调查它们的可解释性。结果表明，模型越透明、特征越少，参与者越能成功地模拟模型的预测，但是参与者并没有更加倾向于紧密关注其预测，而拥有透明的模型却使参与者因信息过载难以检测和修正模型的重大错误。这些结果强调了开发可解释模型时实验测试的重要性。

    Feb, 2018

  • 基于大规模语言模型的可解释的多模态情感分析

    本研究提出了一种新方法，将非语言模态转化为文本描述，并使用大规模语言模型进行情感预测，从而提高情感分析的可解释性。在两个情感分析任务上的实验结果表明，该方法在维持或甚至提高了情感分析的效率的同时，使解释更为直接。

    May, 2023

  • 失败是命中注定的，但可以淡化：关于大规模视觉语言模型中的不良行为的特征化和缓解

    通过使用深度强化学习方法，本研究通过有限的人类反馈探索和构建预训练的辨别模型和生成模型的失败模式，并展示了如何重构这些失败模式以更好地满足需求，从而解决大规模深度神经网络在准确性、社会偏见和与人类价值观的一致性等方面可能出现的问题。

    Jun, 2024

  • 有意义的模型：利用概念结构提高机器学习的可解释性

    本文探讨如何利用概念和意义的构建方式来创建更易理解的机器学习模型，通过提出分类概念的新方法，即 “形式” 和 “功能”，阐明了意义的本质，并提出了提高模型可理解性的建议。

    Jul, 2016