EMNLPOct, 2021

图注意力网络实现的对比文档表征学习

PDF
TL;DR本文提出使用图注意力网络在可用的预训练 Transformer 模型之上来学习文档嵌入，并基于该模型设计简单的对比学习策略，在大量无标签语料库上预训练模型。经验证明，我们的方法在文档分类和文档检索任务中是有效的。
pretrained transformersgraph attention networkdocument embeddingscontrastive learningdocument classification
发现论文，激发创造
  • 基于图注意力网络的多模态预训练在文档理解中的应用

    本文提出了一种基于多模态图注意力机制的图文结合的自动文档分析模型 (GraphDoc)，该模型利用文本、布局和图像信息进行多模态预训练，并通过门控融合层对每个节点进行多模态特征融合，通过图注意层建模每个节点之间的上下文关系，学习了仅使用 320k 未标注文档的通用表示， 在公共数据集上获得了最先进的性能。

    Mar, 2022

  • 基于预训练句子嵌入的长文档分类的注意力机制

    通过利用预训练的句子 transformers 对语义有意义的嵌入进行组合，结合文档长度线性扩展的小的注意力层，我们得到了与当前最先进模型竞争力的结果，特别是在冻结底层 transformers 的情况下，有助于避免完全微调。通过两个额外的实验进一步评估所研究的架构在比较简单的基线上的相关性。

    Jul, 2023

  • 预训练图循环网络用于语言表示

    本研究提出了一种基于图循环网络的语言模型预训练方法，其在性能、效率和生成多样性方面优于基于注意力机制的 Transformer，用于自监督学习的时候有较高的潜力。

    Sep, 2022

  • 利用图变换网络对复杂文档布局中的文本语义进行建模

    本文提出了一种基于图形表示的模型，并演示了我们不仅可以跨文档检索语义相似的信息，而且我们生成的嵌入空间也捕获了有用的语义信息，类似于仅适用于文本序列的语言模型。

    Feb, 2022

  • 基于图注意力网络的文档建模用于多粒度机器阅读理解

    本文提出了一种新的多粒度机器阅读理解框架，利用图注意力网络对文档的不同层次进行建模，以同时学习各个级别的表示，从而提取长答案和短答案并建模其之间的依赖关系，并通过联合训练来显著提高对两种类型答案的准确性。

    May, 2020

  • 神经机器翻译的文档图

    利用图形化表示法将文档作为全局语境，并将其整合到传统的变压器架构中，结合多种关系，包括邻接，句法依赖，词汇一致性和指代，能够显著提高神经机器翻译的性能。

    Dec, 2020

  • 利用全局注意力表示图神经网络的长距离上下文

    本篇论文提出了一种名为 GraphTrans 的算法，它将 Transformer 自注意力模块和标准的 GNN 模块相结合，并应用置换不变性的 Transformer 模块，从而解决了当前方法在表示长程依赖关系方面的不足。该算法在多个图分类任务上表现出色，说明纯粹的基于学习的方法可能适用于在图上学习高水平、长程的关系。

    Jan, 2022

  • DocGraphLM: 信息提取的文档图谱语言模型

    该研究论文介绍了一种名为 DocGraphLM 的新型框架，它结合了预训练语言模型和图形语义，通过使用联合编码器架构来表示文档，并采用一种新颖的链接预测方法来重构文档图。DocGraphLM 通过采用图形特征，在信息提取和问答任务中持续改善了目标性能，并且提供了在训练过程中加速收敛的优点。

    Jan, 2024

  • 基于线性关注力模型建模上下文，实现可扩展的文档级翻译

    本文研究了一种基于 Peng et al. (2021) 的线性注意力模型，并通过句子门促进最近归纳偏置，以提高文档级机器翻译的效能和翻译质量，并在 IWSLT 2015 和 OpenSubtitles 2018 上进行了评估和测试，结果表明该模型在长序列的解码速度方面有大幅提高，且翻译得分相似或更高，并展示了句子门进一步提高了 IWSLT 上的翻译质量。

    Oct, 2022

  • 基于 Transformer 建模图形结构以提升 AMR-to-Text 生成

    本文研究针对 AMR-to-text generation 的问题，提出了一种新颖的基于自注意力机制的模型，用于更好地模拟 AMR 图中间接连接概念之间的关系。通过实验在英语 AMR 基准数据集上展示了该模型明显优于现有模型的效果，成绩达到了该基准数据集的最好结果。

    Aug, 2019