- 通过可解释的 AI 提升边缘相机的公平性和性能
使用可解释人工智能(XAI)进行模型调试,通过专家驱动的问题识别和解决方案创建,发现训练数据集作为主要偏见源,并建议进行模型增强,以帮助识别模型偏见,实现公平和可信赖的模型。
- 通过聚类影响嵌入发现错误
我们提出了一种识别测试例组的方法 —— 切片发现。我们将一致性定义为切片发现方法应该满足的一个关键属性,即同一切片内的错误预测应该有相同的原因。然后我们使用影响函数来推导一种新的切片发现方法 InfEmbed,它通过返回示例受相似训练数据影 - 超越准确性:使用 IdentityChain 评估编程领域的大型语言模型的自一致性
Code Large Language Models (Code LLMs) are evaluated for their self-consistency and general accuracy using the IdentityC - 好看但缺乏忠诚:通过趋势测试理解局部解释方法
通过对传统的可解释性测试进行评估,发现在复杂数据方面存在随机优势问题。为了解决这个问题,我们提出了三种基于趋势的可信度测试,并通过实证研究证明新的趋势测试可以更好地评估图像、自然语言和安全任务的可信度。我们实施了评估系统并评估了十种常用的解 - 影响函数的理论和实践视角
通过理论分析和实验测试,我们发现影响函数在现代深度神经网络中存在参数发散的局限性,但仍可用于模型调试和纠正误预测。
- CVPR通过属性编辑实现神经网络稳健性的基准测试:ImageNet-E
本文通过在 ImageNet 数据集中进行模型调试,探索模型对不同物体属性的敏感性,并创建了一个对象编辑工具包和基准测试 ImageNet-E,以评估图像分类器的鲁棒性。研究发现大多数深度学习模型对属性更改敏感,背景的微小变化可以导致平均准 - 解读神经编码模型的因果理论探索
该论文介绍了一种特定于神经代码模型(NCMs)的可解释性方法 $do_{code}$,该方法能够解释模型预测。通过对两种常见深度学习结构和 9 个 NCMs 的案例研究,论文发现 NCMs 对代码语法的变化敏感,与代码块相关的标记(如括号、 - XMD: 一种端到端的交互式基于解释的自然语言处理模型调试框架
本研究提出 XMD:一种针对语言模型错误偏见的开源、端到端模型解释和调试框架。该框架可在线反馈用户的反馈,从而优化模型表现,提高其在文本分类任务中的 OOD 性能高达 18%。
- ICLRMultiViz: 多模型可视化与理解
本文介绍了一种名为 MultiViz 的方法,通过四个阶段的解构和分析实现了对多模态机器学习模型的内部机制进行可视化和理解,帮助用户进行模型预测仿真、特征的可解释性赋值、误差分析以及漏洞检测等任务。
- ICLR模型调试中的缺失偏差
本文研究了像素缺失对计算机视觉中的模型调试过程的影响,提出基于 transformer-based 架构实现缺失特征,从而避免传统方法引入的偏差,从而提高模型调试的可靠性。
- AAAI模型医生:一种用于诊断和治疗 CNN 分类器的简单梯度聚合策略
本篇论文提出了自动模型诊断和处理工具 Model Doctor,通过聚合梯度约束策略对稀疏和特定的卷积核进行自动优化,针对主流 CNN 分类器,通过广泛的实验验证,该方法能提高 16 个主流 CNN 分类器的精度 1%-5%。
- 评估文本分类输入显著性方法的忠实度协议:您能发现这些捷径吗?
本文提出了一种研究模型特征重要性的方法,并对四种标准输入明显性方法在文本分类和模型调试场景下的效果进行了深入分析,并建议针对每种新任务 - 模型组合采用该方法以找到找到最佳的快捷方式识别方法。
- ACLNLP 实例归因方法的实证比较
本文研究了深度模型的解释性和模型调试方法,对比了不同的实例归属性方法,发现简单的检索方法与梯度基础方法类似,但计算量更小。
- AAAI探索联邦学习中个体客户的影响
本文提出了一种新的概念 ——Fed-Influence,用于量化移动端设备对联合训练全局模型的影响力,并提出了一种有效的算法来估算这个指标,同时能够保证数据隐私不被泄露,并且适用于凸性和非凸性损失函数,在模型调试方面具有良好应用效果。