基于多项式的自注意力机制用于表格表示学习
该研究提出了一种基于图的注意力机制解释方法用于表格数据,使用 Transformer 架构易于实现可解释性,通过对所有层的注意力矩阵进行建模,通过识别出影响模型预测的重要特征组,可以提供多层的基于注意力的解释。
Feb, 2023
使用自监督学习的 TabTransformer 模型,通过描述一种新颖的表格数据训练方法,提高了对分类和数值特征的建模能力。通过对比传统机器学习模型和自监督学习方法,研究结果显示 TabTransformer 在表格数据上的性能优势。
Jan, 2024
通过对 transformer 中不同标记和 graph neural network 中不同节点在深层的相似性进行分析,我们提出了一个简单的修正项,它可以有效地消除过度平滑问题,在弱监督分割任务上表现优于通常基准方法,并且在非常深的图神经网络架构训练上显著提高了训练效果。
Jun, 2023
本文提出了一种新的自注意力机制 ——Linformer,该机制通过近似自注意力矩阵,将自注意力机制的时间和空间复杂度从 O (n^2) 降低为 O (n),从而显著提高了 Transformer 模型的内存和时间效率。
Jun, 2020
用基于图滤波的自注意力机制 (GFSA) 在 Transformer 模型中解决了过度平滑问题,提高了在计算机视觉、自然语言处理、图形模式分类、语音识别和代码分类等各领域的性能。
Dec, 2023
基于树模型的注意机制结合与 (tabular data) 表格数据在 (gradient boosting) 梯度提升训练环境中学习,被证明在多个领域与包含树模型和神经网络模型的现有技术相比具有竞争力。
Feb, 2024
TabTransformer 是一个基于自注意力变换器 (Transformer) 的深度表格数据建模架构,可应用于监督和半监督学习。经过在 15 个公开数据集上的广泛实验,我们展示了 TabTransformer 在表格数据的深度学习方法中的超越和匹配效果。同时,我们演示了从 TabTransformer 学习的环境嵌入具有高度的鲁棒性,可用于噪声和丢失形式的数据特征,提供更好的可解释性。最后,对于半监督场景,我们开发了一种无监督的预训练过程来学习数据驱动的上下文嵌入,使 AUC 平均提升 2.1%。
Dec, 2020
本文针对 Transformer-based models 中存在的过度平滑问题,从图的角度进行分析,发现标准化层在过度平滑问题中发挥了关键作用,提出了一种基于层次融合策略的方法以缓解该问题。
Feb, 2022