Oct, 2023

NPEFF：非负每样本费舍尔因式分解

PDF
TL;DR我们介绍了一个名为 NPEFF 的新的可解释性方法，可以应用于任何端到端可微分模型。使用 NPEFF，我们将每个示例的 Fisher 信息矩阵分解为非负和的组成部分，这些组成部分可以是非负向量或秩为 1 的半正定矩阵形式，通过实验证明 NPEFF 的组成部分具有可解释的调频。我们进一步展示了 NPEFF 在揭示模型实际处理策略的能力，并探索了它在发现和纠正模型中错误启发式方法的潜在应用。
发现论文，激发创造
  • 一种基于 NMF 的可解释神经网络的构建模块与持续学习

    我们的方法通过在 NMF 基础上结合监督神经网络训练方法，在保持 NMF 所具备的理想解释性的基础上，实现了高预测性能，并在小型数据集上验证了其具有与 MLP 相当的预测性能以及更好的解释性。

    Nov, 2023

  • 使用非负矩阵分解解决音频分类网络的可解释性问题

    本文针对音频处理网络的可解释性提出两个主要问题设置，后续解释和设计解释。其中，我们提出了一种新颖的解释器设计，结合正则化中间嵌入和预学习 NMF 字典来生成直观的基于音频的解释，以增强与网络决策相关的输入信号的最相关部分。该方法在各种分类任务（包括多标签数据，真实世界的音频和音乐等）中得到了应用。

    May, 2023

  • 一种改进的经验费歇近似方法用于自然梯度下降

    通过提出改进的经验 Fisher（iEF）方法，该论文研究了近似自然梯度下降（NGD）方法中经验 Fisher 信息矩阵的逆比例缩放问题，并在实验中评估了该方法的性能，在参数高效微调、深度学习优化等方面取得了较好的收敛性和拟合能力。

    Jun, 2024

  • 非负对比学习

    通过非负对比学习（NCL），我们提出非负矩阵分解（NMF）的新应用，旨在提取可解释的特征，在数学上与 NMF 目标保持一致，不仅在特征区分度、特征选择方面表现出众，而且在下游分类任务中表现优异。

    Mar, 2024

  • 通过非负矩阵分解和探测实现可解释的设计音频分割

    提出了一种基于非负矩阵分解的可解释性音频分割模型，该模型在性能和从非负矩阵中提取的潜在表示的深度分析方面取得良好结果，为评估可解释性表示提供了新的视角。

    Jun, 2024

  • 非负矩阵分解的原因和方法

    本文介绍了非负矩阵分解的稀疏特征提取功能，并探讨了如何解决通常情况下 NP 困难的 NMF 问题，介绍了一个称为近可分离 NMF 的问题子类，可以高效地解决一些在有噪声的情况下的 NMF 问题。最后简要描述了 NMF 在数学和计算机科学领域的若干相关问题。

    Jan, 2014

  • 贝叶斯均值参数化非负二进制矩阵分解

    本文提出了一种针对二元数据矩阵的基于贝叶斯平均参数非负矩阵分解的方法，并使用折叠吉布斯采样和折叠变分算法推断了因子的后验分布，同时将所提出方法拓展到非参数设置下，实现自动检测相关成分数量，实验证明该方法在词典学习和预测任务方面的性能优于现有技术。

    Dec, 2018

  • 通过数据预处理实现稀疏和唯一的非负矩阵分解

    本文介绍了一种基于 M 矩阵理论和非负矩阵分解的几何解释，通过对非负输入数据矩阵的预处理实现更为适合求解的 NMF 问题，其解具有更好的稀疏性和优化性，适用于多种图像数据集。

    Apr, 2012

  • 重新思考隐式神经表示的非负矩阵分解

    非负矩阵分解 (Non-negative Matrix Factorization, NMF) 是一种强大的用于分析规则采样数据的技术，本文将 NMF 表述为连续函数的形式，并展示 NMF 可以扩展到更多不需要规则采样的信号类别。

    Apr, 2024

  • 非负矩阵分解的深度展开及在突变特征分析中的应用

    通过发展 NMF 及其正则化变体的展开深度网络，我们在监督和无监督的情况下将其应用于不同的突变数据集以重建其基础突变特征以及暴露情况，实验证明与标准公式相比，我们的方法在分析模拟和真实突变数据方面具有更高的准确性。

    Aug, 2021