深度学习中的特征重要性排名
DeepLIFT(重要特征学习)是一种有效的神经网络重要性分数计算方法,可用于训练自然图像和基因组数据模型,并在梯度法方法上具有显着优势。
May, 2016
本研究提出了一种基于重要性采样的计算优化方案,该方案能够减少深度神经网络训练过程中冗余计算,提升模型的训练效果并有效降低损失。实验结果显示,该方案能够在相同的时间预算下,将训练损失降低一个数量级,并提高测试误差5%至17%。
Mar, 2018
本文提出了一种名为RISE的方法,它可以生成一张重要图来指示每个像素对于神经网络预测的重要程度。与基于梯度或其他神经网络状态估计像素重要性的白盒方法不同,RISE适用于黑盒模型。
Jun, 2018
本文提出了一种衡量深度神经网络特征重要性估计的近似准确性的经验方法,研究发现,在许多流行的可解释性方法中,只有某些集成方法,如VarGrad和SmoothGrad-Squared,才能胜任随机指定特征重要性的任务。
Jun, 2018
本文旨在探索利用基于注意力机制的神经网络对特征进行重要性排序以用于模型解释的方法,通过对十个数据集进行规模无关的特征重要性估计算法比较的研究,展示了利用自注意力网络(SAN)对特征进行排序与其他方法在高级别特征识别上的相似性,以及在某些情况下,SAN 对特征交互性的识别比现有基线方法更具优势。
Feb, 2020
本文提出了一种新的评估方法,使用合成数据集评估特征重要性得分,并构建了一个名为fseval的Python基准测试框架,该框架允许在HPC系统上并行和分布式地执行实验。通过与在线平台Weights and Biases集成,可以在实时仪表板上交互地探索图表。研究结论通过探索一种大规模实验来找出参与算法的优点和缺点。
Jul, 2022
该研究提出了一种基于重要性抽样的子集选择算法,能够在批处理环境中提高模型训练的性能,在可用数据批次中选择样本。该算法在七个公共数据集上的性能明显优于其他子集选择算法,并且在标签信息不可用的主动学习环境中具有竞争力。研究还对其重要权重方法进行了初步的理论分析,证明了泛化和采样率的限制。
Jan, 2023
提出了一种高效策略,利用大型模型传递的先前知识来减少超参数化深度神经网络的深度,从而减轻其计算负担,并在传统的图像分类设置上评估了方法的有效性。
Apr, 2024
本研究针对复杂机器学习模型在高风险决策情境中的解释问题,提出了充分性和必要性两种特征重要性的新概念。通过探索这两者之间的连续性,我们提出了一个统一的重要性概念,从而能够捕捉到先前方法可能遗漏的重要特征,显著提高了模型解释的全面性。
Sep, 2024