Dec, 2023

基于 Transformer 嵌入和层次感知 注意力结构的金融交易分层分类

PDF
TL;DR本研究提出了一种基于 Transformer 的 Two-headed DragoNet 模型，用于金融交易的分层多标签分类。我们的模型基于一系列 Transformer 编码层，从两个简短的文本描述（商家名称和业务活动）生成上下文嵌入，然后经过一个上下文融合层和两个输出头根据两级分类法（宏观和微观类别）对交易进行分类。最后，我们提出的基于分类法的注意力层修正了违反给定分类法定义的层次规则的预测。在基于卡片的数据集上，我们的提出方法在宏观类别分类的实验中表现优于传统的机器学习方法，达到了 93% 的 F1 分数；在活期账户数据集上达到了 95% 的 F1 分数。
发现论文，激发创造
  • 基于分层可扩展查询的融合 Transformer 增强分类

    本文提出了一种通过层次化方法和可学习的独立查询嵌入来提高细粒度分类的方法，结合转换块对特征图的不同尺度进行融合，使用 CAMP 模块帮助减少误差传播，与现有方法相比，精度提高了约 11%。

    Feb, 2023

  • 面向大规模多标签文本分类的层次化分类感知及关注图胶囊 RCNNs

    我们提出了一种新的层级分类感知和注意图胶囊递归卷积神经网络框架，以实现大规模多标签文本分类。

    Jun, 2019

  • TabTransformer：使用上下文嵌入建模表格数据

    TabTransformer 是一个基于自注意力变换器 (Transformer) 的深度表格数据建模架构，可应用于监督和半监督学习。经过在 15 个公开数据集上的广泛实验，我们展示了 TabTransformer 在表格数据的深度学习方法中的超越和匹配效果。同时，我们演示了从 TabTransformer 学习的环境嵌入具有高度的鲁棒性，可用于噪声和丢失形式的数据特征，提供更好的可解释性。最后，对于半监督场景，我们开发了一种无监督的预训练过程来学习数据驱动的上下文嵌入，使 AUC 平均提升 2.1%。

    Dec, 2020

  • 层级 Transformer 用于长文档分类

    该研究介绍了如何通过引入基于循环层或其他 Transformer 的单输出层对长文本进行 BERT 模型的微调，成功将其应用于客户电话满意度预测和话题分类任务中，并在两个任务中取得了显著的改进。

    Oct, 2019

  • 基于 Transformer 的多层注意力解释模型用于表格数据

    该研究提出了一种基于图的注意力机制解释方法用于表格数据，使用 Transformer 架构易于实现可解释性，通过对所有层的注意力矩阵进行建模，通过识别出影响模型预测的重要特征组，可以提供多层的基于注意力的解释。

    Feb, 2023

  • 大型图形表示中的 Transformer 简化与授权

    本文旨在提出一个简化的图结构 Transformers 算法架构 (SGFormer)，该架构基于一个简单的 attention 模型，可在处理大规模图结构时实现高效信息传播，同时在节点属性预测基准测试中取得了出色的表现。

    Jun, 2023

  • 基于 Transformer 的多方对话分层上下文学习与跨度问答

    本研究介绍了一种新颖的 transformer 方法，利用三种语言模型任务预训练 Transformer，并应用多任务学习进行精细调整，以实现基于跨度的问答，该方法在挑战性的 FriendsQA 数据集上表现得非常好。

    Apr, 2020

  • Attention 机制在欺诈检测中的图动态建模

    本研究提出了动态异构图神经网络及其变体 DyHGN，使用商业交易数据来构建动态异构图，并使用模型解释技术来理解 DyHGN-* 模型的行为，其发现表明建模带异构输入的图动态行为需要依赖于数据结构、分布和计算成本的 “关注”。

    Apr, 2022

  • 基于分层注意力机制的高效长文档分类探索

    本研究开发并发布了使用分段编码器，并将其与 Longformer 模型和部分预训练的 HAT 进行比较的完全预训练 HAT 模型，在多个长文档下游分类任务中，我们的最佳 HAT 模型在使用 10-20％ GPU 内存的情况下比同等大小的 Longformer 模型更快地处理文档并实现更好的性能。在消融研究中，发现 HAT 在整个模型中进行跨段上下文信息处理比其他配置的早期或晚期跨段上下文处理性能更好。

    Oct, 2022

  • 基于层级神经网络的长文档分类方法

    本文研究使用分层传递学习方法进行长文本分类，通过将数据分成块，然后传递到使用双向编码器表示的预训练通用句子编码器和 BERT 的基本模型，然后使每个块的输出表示通过包括 LSTMs 或 CNNs 的浅层神经网络来分类文本数据。使用此扩展方法对 6 个基准数据集进行评估，同时与多个深度学习算法进行比较，其中 Longformer 方法在大多数数据集上始终表现良好。

    Jan, 2022