ICMLJun, 2024

综合翻译聚焦特征解释：从表格数据中获取预测信号

PDF
TL;DR通过对注意力机制进行研究并将其建模为从 Gumbel-Softmax 分布中采样的潜在变量，我们提出了 InterpreTabNet，该模型通过 KL 散度正则化实现了注意力掩码中不同概念的学习，从而改善了预测结果的解释性和预测关键要素的确定性，并结合大型语言模型和提示工程方法来帮助解释我们模型中特征之间的相互依赖关系。在真实数据集上的综合实验表明，InterpreTabNet 在解释表格数据方面优于先前的方法，并同时保持了较高的准确性。
发现论文，激发创造
  • TabNet: 关注可解释的表格学习

    本研究提出了一种新的、高性能和可解释的深度表格数据学习架构 TabNet，采用顺序注意方法在每个决策步骤中选择推理特征，实现了可解释性和更高效的学习。我们证明，在各种非性能饱和表格数据集上，TabNet 胜过其他神经网络和决策树变体，并提供了可解释的特征归因和对全局模型行为的深入认识。最后，我们首次在表格数据上展示了自监督学习，在未标记的数据丰富情况下显著提高了性能。

    Aug, 2019

  • 可解释的图神经网络用于表格数据

    IGNNet 是一个解释性图神经网络，用于处理表格数据，通过表征学习的方式捕获特征交互，大规模的实证研究证明 IGNNet 与 XGBoost、Random Forests 和 TabNet 等最先进的机器学习算法在处理表格数据时表现相当，同时 IGNNet 的解释与特征的 Shapley 值一致而无需额外的计算开销。

    Aug, 2023

  • 稳定且可解释的表格数据深度学习：引入具有新型解释稳定度指标的 InterpreTabNet

    通过利用 TabNet 构架和改良的注意力模块，InterpreTabNet 既提高了分类准确性，又增强了可解释性；与其他解决方案相比，InterpreTabNet 在各种应用场景下对表格数据分析取得了更好的效果，为进一步研究创造既高精确又内在可解释的深度学习模型奠定了基础，并引入 InterpreStability 评估指标以便一致且严谨地衡量和比较模型可解释性。这些贡献潜在地有助于推动下一代可解释人工智能模型的设计原则和发展，扩大可解释人工智能解决方案在关键决策环境中的采用。

    Oct, 2023

  • 用于表格生物医学数据的局部稀疏神经网络

    本研究提出了一种适用于生物医学领域、intrinsically interpretable 的神经网络框架，采用局部稀疏网络和 gating 网络实现对样本的 sample-specific sparsity 预测，减少了对小样本数据的过拟合，提高了模型的可解释性，并证明了该模型在生物预测任务中的优越性。

    Jun, 2021

  • 提升预训练语言模型在表格预测任务中的性能

    TP-BERTa 是一种专门用于表格数据预测的预训练语言模型，通过将数值特征值转换为离散的高维标记，并使用内部特征注意方法将特征值与相应的特征名称相结合，TP-BERTa 在典型的表格数据领域中在表格 DNN 中表现卓越，并与梯度提升决策树模型具备竞争力。

    Mar, 2024

  • 使用预训练语言模型建模表格数据

    通过引入预训练语言模型（PTM）和三个处理阶段（MT、MF、CF），提出了一种新的名为 PTab 的框架，以将预训练模型用于建模表格数据，并取得比现有技术更好的分类效果。

    Sep, 2022

  • TabularNet: 一种理解表格数据语义结构的神经网络架构

    提出了一种名为 TabularNet 的新型神经网络结构，采用 CNN 模型来进行表格数据的空间编码，并且利用基于 WordNet 树的图构建方法来进行单元格之间复杂的关系编码，结果表明该方法有效提高了表格分类任务的精度.

    Jun, 2021

  • 学习表格数据的语义注释

    本研究采用深度学习方法，通过利用表格的上下文语义特征和知识库查询算法，实现了对没有元数据的表格的列类型预测，不仅在单独的表格集上表现良好，转移学习到其他表格集也有良好的性能。

    May, 2019

  • 关系学习中的全面关注提升

    基于树模型的注意机制结合与 (tabular data) 表格数据在 (gradient boosting) 梯度提升训练环境中学习，被证明在多个领域与包含树模型和神经网络模型的现有技术相比具有竞争力。

    Feb, 2024

  • 基于 Transformer 的多层注意力解释模型用于表格数据

    该研究提出了一种基于图的注意力机制解释方法用于表格数据，使用 Transformer 架构易于实现可解释性，通过对所有层的注意力矩阵进行建模，通过识别出影响模型预测的重要特征组，可以提供多层的基于注意力的解释。

    Feb, 2023