Feb, 2022

利用图变换网络对复杂文档布局中的文本语义进行建模

PDF
TL;DR本文提出了一种基于图形表示的模型，并演示了我们不仅可以跨文档检索语义相似的信息，而且我们生成的嵌入空间也捕获了有用的语义信息，类似于仅适用于文本序列的语言模型。
发现论文，激发创造
  • 使用单个卷积神经网络建模，可视化和摘要文档

    通过提出一种基于动态卷积神经网络的模型，在不需要特征工程的情况下，能够从低级别的词汇特征到高级别的语义概念逐级学习，从而有效地在文档建模任务中学习到文档的含义，同时提出一种新的可视化技术，能够提供有关文档网络学习过程的见解，产生一种引人注目的文本自动摘要系统。

    Jun, 2014

  • 图注意力网络实现的对比文档表征学习

    本文提出使用图注意力网络在可用的预训练 Transformer 模型之上来学习文档嵌入，并基于该模型设计简单的对比学习策略，在大量无标签语料库上预训练模型。经验证明，我们的方法在文档分类和文档检索任务中是有效的。

    Oct, 2021

  • 一个语义分层图神经网络用于文本分类

    本文研究了基于图神经网络的文本分类任务，提出了一种新的分层图神经网络模型（HieGNN），其在词级别、句子级别和文档级别分别提取相应的信息。实验结果表明与几个基准方法相比，我们的模型能够从样本中获得更多有用的分类信息。

    Sep, 2022

  • 使用图形 transformer 从知识图谱生成文本

    本文介绍了一种新型图形转换编码器，可处理知识图谱等非层次性图形的内容，应用于科学文本领域的图 - 文本生成，评价结果表明，该技术可以产生比竞争的编码解码方法更具信息量且结构更好的文本。

    Apr, 2019

  • GraphFormers: 融合 GNN 和 Transformer 的文本图卷积神经网络表示学习

    本文提出了一种基于文本图的表示学习方法 GraphFormers，该方法将语言模型的 Transformer 块与图神经网络嵌套在一起，将文本编码和图聚合融合到迭代的工作流程中，从全局视角准确地理解每个节点的语义。通过在三个大规模基准数据集上的广泛评估，GraphFormers 比 SOTA 基准模型具有相当的运行效率。

    May, 2021

  • 使用图卷积网络对文本建模用于跨模态信息检索

    本研究提出了一种基于图的文本建模方法和双向神经网络模型，用于跨模态信息检索，结合卷积神经网络和 Graph Convolutional Network，通过相似度度量，并采用成对相似度损失函数训练模型，在准确率提升了 17％的前提下，成为了最先进的方法。

    Feb, 2018

  • 通过布局结构建模增强视觉丰富文档的理解

    我们提出了 GraphLayoutLM 模型，它利用布局结构图的建模将文档布局知识注入模型，使得模型能够理解文本元素的空间排列，以提高文档的理解能力，并在 FUNSD、XFUND 和 CORD 等基准测试中取得了最先进的结果。

    Aug, 2023

  • 基于结构增强的文本表示学习用于高效的知识图谱补全

    本研究旨在整合知识图谱的图嵌入和文本编码技术，以提高自动完成知识图谱的性能，实现更精确的链接预测和结构学习。实验结果表明，该方法能实现与文本编码方法相比 1-2 个数量级的推理成本减少和最先进的性能表现。

    Apr, 2020

  • 面向抽取式文本摘要的多路复用图神经网络

    我们提出了一种 Multi-GCN 模型来解决文本摘要中的问题，该模型结合了句子和词语之间的不同类型关系，并根据此模型提出了一个 Multi-GraS 模型进行提取性文本摘要。

    Aug, 2021

  • PARAGRAPH2GRAPH: 基于 GNN 的布局段落分析框架

    本文提出了一种名为 Paragraph2Graph 的基于图神经网络（GNN）的模型，它能够处理多种语言，并表现出了在处理文档布局方面的出色能力，同时可以适应需要进行严格分离的业务场景。

    Apr, 2023