多维数据中特征影响平衡评估的方法
本研究旨在通过引入公平影响函数对数据集中的特征进行量化,分解分类器偏差成由各个单独特征和多个特征所组成的组成部分,以更好地评估其公平性,并提出了一个基于方差分解和本地回归的算法 FairXplainer,该算法可以更准确地捕捉分类器的偏差,实现更好的公平干预。
Jun, 2022
介绍了一种基于 Rashomon 集合的通用算法来计算特征交互得分(FIS),并提出了 Halo 图和 Swarm 图来分析 FIS,从而揭示了在不同任务上各种机器学习模型中特征交互的本质及其重要性。
May, 2023
本文提出了针对异构数据特征关系相互影响的两种新型方法:互济森林影响(MFI)和互济不纯性减少(MIR),并通过 p 值测试程序来选择相关和重要特征,在模拟数据集等应用中表现良好。
Apr, 2023
本文提出了一种可以用于任意机器学习方法 (包括核机器和深度学习) 的 feature importance(特征重要性)的度量方法,可以用于不同层面的算法解释,因此可以提供更好的机器学习预测结果。
Nov, 2016
本文提出了一个可参数化的归因框架 — 带权重的 M"obius 得分,用于解释黑匣子模型的预测(单一特征和特征间互动),并且发现了一些新的归因方法。通过研究归因方法的向量空间,我们的框架利用标准线性代数工具,并提供了在合作博弈理论和因果中介分析等各个领域的解释。我们通过在情感分析和思维链提示中应用归因方法来证明框架的多功能性和有效性。
May, 2023
本文介绍了一种名为 Feature Importance Ranking Measure(FIRM)的方法,通过回顾性分析任意学习机器,该方法能够达到优秀的预测性能和优越的解释性。与标准的原始特征加权不同,FIRM 考虑了特征之间的相关性结构。因此,它能够发现最相关的特征,即使它们在训练数据中的出现完全被噪声阻止。
Jun, 2009
本文表明了当评估生成模型时,目前常用的两个评估指标 FID 和 IS 是存在偏差的,偏差的程度还与受评估的模型有关系;同时,本文提出了一种修正偏差的方法,即使用 Quasi-Monte Carlo 积分方法求得准确的评估值,使用这种方法可以获得更为准确的评估结果,并且该方法可直接取代现有的评估指标。
Nov, 2019
使用拓扑数据分析中的 Mapper 算法,本文提出了一种名为 FiFa 的方法,用于分类预测过程的失败模式。在 MNIST 图像添加噪声的情况下,通过对高误差区域的群集分析,可得到预测过程的区别失败模式。本文还演示了两种使用失败模式分类的方法:一是产生一层校正层以通过失败模式的相似性来调整预测,另一种方法是检查失败模式的成员,以说明并调查每种失败模式的特点。
Feb, 2018
本文提出了一个新的大语言模型(LLMs)准确性检验基准,称之为 FIB(Factual Inconsistency Benchmark),并在 23 个 1B 到 176B 参数的不同模型家族中评估了其实用性。结果表明,现有的 LLMs 通常将更高的分数分配给事实上一致的总结,但如果不一致的总结在文档中出现,那么 LLMs 将会赋予这些不一致的总结比事实上一致的总结更高的分数。
Nov, 2022
提出了一种名为 iPFI 的有效的、模型无关的算法,用于在动态建模条件下估计特征边际化的增量特征重要性评估方法,包括概念漂移。实验证明,相比传统的批处理 PFI 方法,该方法具有良好的效果。
Sep, 2022