Jan, 2024

基于知识图谱和改进注意力机制的文本分类

PDF
TL;DR为了解决文本中的语义模糊问题，我们提出了一个模型，创新地将知识图谱与改进的注意机制结合起来。该模型在字符和词级别上运作，通过集成概念来加深对文本的理解。我们首先采用信息增益选择重要词，然后采用编码器 - 解码器框架对文本及相关概念进行编码。本地注意机制调整每个概念的权重，在分类过程中减少不相关或噪声概念的影响。我们改进了本地自注意机制中注意分数的计算公式，确保文本中不同频率出现的词语获得更高的注意分数。最后，该模型采用了双向门控循环单元（Bi-GRU），从文本中提取特征以提高分类准确性。该模型在 AGNews、Ohsumed 和 TagMyNews 等数据集上达到了 75.1%、58.7% 和 68.5% 的准确率，展示了其在分类任务中的有效性。
semantic ambiguityknowledge graphattention mechanismencoder-decoder frameworkbi-gru
发现论文，激发创造
  • 基于知识图谱和循环注意网络的方面级情感分析

    本文提出了一种新方法，通过解决上下文特定词义的挑战来提高情感分析的效果。它结合了双向长短期记忆网络（Bi-LSTM）和知识图谱的同义词数据的优势，利用动态注意力机制开发出一种知识驱动的状态向量。为了对特定方面的情感进行分类，该方法构建了一个集成位置数据的存储库，然后使用多层门控循环单元（GRU）分析此数据以确定与特定方面词相关的情感特征。对三个广泛可用的数据集的测试结果表明，该方法在情感分类方面表现出优秀的性能。

    Dec, 2023

  • 利用知识关注力提高关系提取

    本文提出了一种新颖的知识 - 注意力编码器，并介绍了三种将知识 - 注意力与自注意力相结合的有效方法。提出的关系提取系统是端到端和完全基于注意力的，实验证明知识 - 注意力机制与自注意力相互补充，在 TACRED 上实现了最先进的性能，并且胜过了现有的 CNN、RNN 和自注意力模型。

    Oct, 2019

  • 以少胜多：利用超图注意力网络进行归纳文本分类

    本论文提出了一种基于超图注意力网络的模型 ——HyperGAT，旨在解决文本分类中词语高阶交互捕捉问题和处理大型数据集和新文档的问题，并在多个基准数据集上进行了广泛的实验证明了该方法的有效性。

    Nov, 2020

  • KI-BERT: 基于知识背景的语言和领域理解的增强

    通过对知识图谱进行多方位的知识语境注入，基于 BERT 的语言模型可以在微调期间解决概念和模糊实体的语境问题，从而在 GLUE 测试集的多个子任务中，KI-BERT-base 模型能够显著优于以 ERNIE、SenseBERT 和 BERT_CS 为代表的最新知识感知 BERT 变体，甚至比 BERT-large 模型在 SciTail 和 QQP、QNLI、MNLI 等领域特定任务方面表现更佳。

    Apr, 2021

  • 基于知识增强的双层注意力网络用于情感分析

    本研究提出了一种基于双向长短期记忆的新型两层注意网络，利用 WordNet 生成知识图嵌入来提高情感分析的预测能力，将其与基于支持向量回归和多层感知机网络的监督模型相结合，实验结果表明该模型在 SemEval 2017 上表现优于顶尖系统，分别将 Sub-tracks 1 和 2 的准确率提高了 1.7 和 3.7 个百分点。

    May, 2018

  • 将领域知识图融入多模态电影类型分类中的自监督关注和对比学习

    利用知识图谱从多个角度探索解决多模态电影类型分类的问题，包括未利用的元数据组关系、可靠的注意力分配以及不可区分的特征融合，通过准备元数据的领域知识图谱，整合不同模态数据，构建可靠的注意力分配和增强特征区分能力的框架，并在两个数据集上进行实验证明本模型优于现有方法。

    Oct, 2023

  • 一个语义分层图神经网络用于文本分类

    本文研究了基于图神经网络的文本分类任务，提出了一种新的分层图神经网络模型（HieGNN），其在词级别、句子级别和文档级别分别提取相应的信息。实验结果表明与几个基准方法相比，我们的模型能够从样本中获得更多有用的分类信息。

    Sep, 2022

  • 通过序列文本和知识图谱联合学习进行知识表示

    本论文提出一种基于顺序文本的知识表示学习方法，通过循环神经网络、注意力机制等实现对实体语义信息的编码和选取信息量高的语句，以及在三元组分类和链接预测任务中实现了优异的效果。

    Sep, 2016

  • 面向大规模多标签文本分类的层次化分类感知及关注图胶囊 RCNNs

    我们提出了一种新的层级分类感知和注意图胶囊递归卷积神经网络框架，以实现大规模多标签文本分类。

    Jun, 2019

  • 基于注意力机制 GRU 编码器 - 解码器的抽象文本摘要

    本篇论文中，采用了 GRU-based encoder 和 Bahdanau attention mechanism 对英语文本进行了自动摘要，使用 News-summary 数据集进行训练，其输出表现优异，可以用作报纸头条。

    Feb, 2023