Feb, 2023

基于 Transformer 的多层注意力解释模型用于表格数据

PDF
TL;DR该研究提出了一种基于图的注意力机制解释方法用于表格数据，使用 Transformer 架构易于实现可解释性，通过对所有层的注意力矩阵进行建模，通过识别出影响模型预测的重要特征组，可以提供多层的基于注意力的解释。
graph-oriented attention-basedtabular dataexplainabilitytransformer architectureself-attention mechanism
发现论文，激发创造
  • 基于多项式的自注意力机制用于表格表示学习

    通过提出一种基于矩阵多项式的自注意力层作为替代，我们改善了 Transformer 在表格数据中存在的平滑问题，并展示该层能够提高表格数据的表示性能，胜过现有方法。

    Dec, 2023

  • GatedTabTransformer：表格建模的增强深度学习架构

    本文提出了多种改进的 TabTransformer 模型，其中包含注意力机制和多种激活函数以及线性投影，针对三个数据集的二分类任务取得了超过 1% 的 AUROC 收益。此外，我们还评估了训练过程中特定超参数的重要性。

    Jan, 2022

  • 超越注意力可视化的 Transformer 可解释性

    本研究提出了一种基于 Deep Taylor Decomposition 原则的计算 Transformer 网络相关性的方法，通过注意力层和跳跃连接进行传播，并通过基于图像分类和文本分类问题的测试表明其在解释性方面优于现有方法。

    Dec, 2020

  • TabTransformer：使用上下文嵌入建模表格数据

    TabTransformer 是一个基于自注意力变换器 (Transformer) 的深度表格数据建模架构，可应用于监督和半监督学习。经过在 15 个公开数据集上的广泛实验，我们展示了 TabTransformer 在表格数据的深度学习方法中的超越和匹配效果。同时，我们演示了从 TabTransformer 学习的环境嵌入具有高度的鲁棒性，可用于噪声和丢失形式的数据特征，提供更好的可解释性。最后，对于半监督场景，我们开发了一种无监督的预训练过程来学习数据驱动的上下文嵌入，使 AUC 平均提升 2.1%。

    Dec, 2020

  • 关系学习中的全面关注提升

    基于树模型的注意机制结合与 (tabular data) 表格数据在 (gradient boosting) 梯度提升训练环境中学习，被证明在多个领域与包含树模型和神经网络模型的现有技术相比具有竞争力。

    Feb, 2024

  • 一种新的关注视角：基于双层注意力的可解释主题建模用于新闻分类

    本文提出了一个新的深度学习框架，利用两级注意力体系结构来解决模型可解释性的问题，并在新闻文章分类任务中进行了实验，结果显示该模型在可解释性能力方面具有适当性并且与许多现有模型相比性能有竞争力。

    Mar, 2022

  • 文本分类中基于 Transformer 多重注意力解释的忠实仲裁：针对每个决策都有的注意力矩阵

    该文章提出了一种基于注意力的可解释性技术，可在维持模型性能和减少计算复杂度的同时提高模型的解释性。与此同时，还引入了一种更适用于 transformer 模型的忠实度度量标准，并在七组数据集中进行了定量和定性实验验证其实用价值。

    Sep, 2022

  • 分层 Transformer 中的细粒度注意力用于表格时间序列

    Tabular data is commonly used for recording historical events, and this research proposes a fine-grained hierarchical model that contextualizes fields at both the row and column levels to improve performance on regression and classification tasks.

    Jun, 2024

  • 通过点亮重要信息更好地解释 Transformers

    提出了一种在层间相关传播 (LRP) 方法的基础上通过细化信息流来突出重要信息并消除无关信息，实验结果表明，与八个基准方法相比，在分类和问答数据集上我们的方法始终表现出超过 3% 到 33% 的解释指标的提升，提供了更好的解释性能。

    Jan, 2024

  • TabNet: 关注可解释的表格学习

    本研究提出了一种新的、高性能和可解释的深度表格数据学习架构 TabNet，采用顺序注意方法在每个决策步骤中选择推理特征，实现了可解释性和更高效的学习。我们证明，在各种非性能饱和表格数据集上，TabNet 胜过其他神经网络和决策树变体，并提供了可解释的特征归因和对全局模型行为的深入认识。最后，我们首次在表格数据上展示了自监督学习，在未标记的数据丰富情况下显著提高了性能。

    Aug, 2019