Jul, 2024

基于超图的文档语义实体识别理解

HTML
PDF
TL;DR我们构建了一种新的超图注意力文档语义实体识别框架HGA，该框架同时关注实体边界和实体类别，可以对上游模型分析的文档文本表示进行更详细的分析，从而达到更好的语义信息性能。我们将该方法应用于GraphLayoutLM基础上构建了新的语义实体识别模型HGALayoutLM。在FUNSD、CORD、XFUND和SROIE上的实验结果表明，我们的方法能够有效提高基于原始模型的语义实体识别任务的性能。HGALayoutLM在FUNSD和XFUND上的结果达到了最新的最优结果。
发现论文，激发创造
  • 使用紧凑、代表性、相关的知识图谱丰富文档

    提出了一种基于知识图谱和实体关系子图的文档丰富方法，通过新的组合优化问题求解算法实现了紧凑、具有代表性和相关性的ERG，利用本体知识对ERG进行排序，实现了在有效丰富的同时保证了相关性和紧凑性。

    May, 2020

  • 以少胜多：利用超图注意力网络进行归纳文本分类

    本论文提出了一种基于超图注意力网络的模型——HyperGAT，旨在解决文本分类中词语高阶交互捕捉问题和处理大型数据集和新文档的问题，并在多个基准数据集上进行了广泛的实验证明了该方法的有效性。

    Nov, 2020

  • 基于本地超图的嵌套命名实体识别：基于查询的序列标记

    提出了一种基于本地超图的方法识别嵌套命名实体，使用查询构造本地超图，通过序列标记模块实现嵌套结构内部信息的可利用性，综合四个数据集的表现表明，该方法优于之前的方法，并在 ACE 2004 数据集上实现了新的最佳表现。

    Apr, 2022

  • 基于异构星型图的类型监督序列标注用于命名实体识别

    本论文研究了包含文本节点和类型节点的异构星型图的表示学习，修正了一种混合形式的图注意力机制，解决了传统序列标注方法中忽略嵌套实体的问题，并提出了一种多层标注策略，经实验验证，该方法在提取扁平和嵌套实体方面均达到了最先进的性能水平。

    Oct, 2022

  • 联合实体和关系提取：基于跨度修剪和超图神经网络

    我们提出了一种基于超图神经网络的PL-marker模型的Entity and Relation Extraction (ERE)方法，采用高召回修剪机制来减轻错误传播，并在建立的超图上运行超图神经网络进行高阶推理，实验结果显示在ERE任务上相较于之前最先进的PL-marker模型有明显的提升。

    Oct, 2023

  • HyperPIE：从科学出版物中提取超参数信息

    从科学出版物中自动提取信息对于使科学知识在大规模上可读化至关重要。本文将超参数信息提取（HyperPIE）形式化并解决为实体识别和关系提取任务，基于来自各种计算机科学学科的出版物创建了一个标记数据集，采用BERT等模型进行训练和评估，提出了一种关系提取方法，在有限调整模型上实现了29% F1值的改善。同时，利用YAML输出进行结构化数据提取的方法在实体识别上相对于JSON平均提高了5.5% F1值。通过最佳性能模型，我们从大量未标注的论文中提取了超参数信息，并分析了学科间的模式。

    Dec, 2023

  • DocGraphLM: 信息提取的文档图谱语言模型

    该研究论文介绍了一种名为DocGraphLM的新型框架，它结合了预训练语言模型和图形语义，通过使用联合编码器架构来表示文档，并采用一种新颖的链接预测方法来重构文档图。DocGraphLM通过采用图形特征，在信息提取和问答任务中持续改善了目标性能，并且提供了在训练过程中加速收敛的优点。

    Jan, 2024

  • 基于知识图谱和改进注意力机制的文本分类

    为了解决文本中的语义模糊问题，我们提出了一个模型，创新地将知识图谱与改进的注意机制结合起来。该模型在字符和词级别上运作，通过集成概念来加深对文本的理解。我们首先采用信息增益选择重要词，然后采用编码器-解码器框架对文本及相关概念进行编码。本地注意机制调整每个概念的权重，在分类过程中减少不相关或噪声概念的影响。我们改进了本地自注意机制中注意分数的计算公式，确保文本中不同频率出现的词语获得更高的注意分数。最后，该模型采用了双向门控循环单元（Bi-GRU），从文本中提取特征以提高分类准确性。该模型在AGNews、Ohsumed和TagMyNews等数据集上达到了75.1%、58.7%和68.5%的准确率，展示了其在分类任务中的有效性。

    Jan, 2024

  • 从实体中心的视角重新思考预训练的文本布局模型的评估

    我们介绍了一个用于评估PTLMs的信息提取能力的理想基准，并引入了EC-FUNSD，一个用于评估语义实体识别和实体链接的实体中心基准，该数据集包含多种文档布局格式和语义驱动实体及其关系的注释。实验结果表明，最先进的PTLMs在现有基准上存在过拟合趋势，去除数据集偏差后，它们的性能明显下降。

    Feb, 2024

  • HyperBERT: 在文本属性化超图上混合超图感知层与语言模型进行节点分类

    开发一种新的架构HyperBERT，结合了超图的关系结构和预训练BERT模型，用于解决节点分类问题，并在5个具有挑战性的文本属性超图节点分类基准测试中取得了最新的最佳结果。

    Feb, 2024