AAAIFeb, 2020

全局表示增强的 Transformer 模型

PDF
TL;DR本文提出了一种在 Transformer 网络中显式地建模全局表示的新方法 —— 全局表示增强的 Transformer（GRET），并将其应用于机器翻译和文本摘要两个文本生成任务中，并通过实验证明其在自然语言生成方面的有效性。
transformerencoder-decoder frameworkglobal representationnatural language generationmachine translation
发现论文，激发创造
  • 在 Transformer 网络中利用层间和层内的全局表示来改进图像字幕生成

    该研究介绍了一种名为 GET 的全局增强变压器，能够提取更全面的全局表示，并自适应地引导解码器生成高质量的图像说明。

    Dec, 2020

  • 抽象式摘要全球编码

    本研究提出了一种全局编码框架，用于控制源上下文的全局信息并降低了重复现象，经过对 LCSTS 和英文 Gigaword 的评估，该模型优于基线模型。

    May, 2018

  • GTrans: 分组融合转换器层用于神经机器翻译

    该研究提出了一种名为 Group-Transformer 的模型，通过将编码器和解码器的多层表示分组，融合这些组特征来生成目标词，实现了在多语种翻译任务中的表现优于 Transformer 的一致收益。

    Jul, 2022

  • GRETEL: 面向长文本抽取式摘要的图形对比主题增强语言模型

    本文提出了图对比主题增强语言模型 (GRETEL)，该模型将图对比主题模型与预训练语言模型相结合，以充分利用全局和局部语境语义进行长文本提取式摘要。实验结果表明，该方法优于目前最佳方法。

    Aug, 2022

  • 图形转换器用于图形到序列学习

    本文提出了一种名为 “图变压器” 的模型，使用显式关系编码并允许两个远程节点之间的直接通信。与局部邻域信息交换的图神经网络不同，它提供了一种更有效的全局图结构建模方式，并在抽象意义表示文本生成和基于句法的神经机器翻译应用中表现出优异的性能。

    Nov, 2019

  • 一种通用、强大、可扩展的图变换器配方

    本研究提出了一种关于如何构建通用、强大、可扩展的图形 Transformer 的方案，其中包括位置 / 结构编码、本地消息传递机制、全局注意机制等主要条件，可适用于小规模和大规模图形，并在 16 项基准测试中取得高竞争力的结果。

    May, 2022

  • 高效遥感分割的生成对抗变换器

    通过一个高效的 Generative Adversarial Transfomer (GATrans)，采用深度学习方法和全局变换网络（GTNet）来实现高精度语义分割，在保持极高效率的同时，通过多层特征提取和结构相似性损失函数优化，获得了 90.17% 的平均 F1 得分和 91.92% 的总体准确率。

    Oct, 2023

  • GRIT: 文档级事件实体抽取的生成角色填充变换器

    使用生成式基于 Transformer 的编码器 - 解码器框架，以考虑文档级别上下文信息的方法来重新思考文档级别下的角色 - 实体抽取问题，并在 MUC-4 数据集上展示其优越性。

    Aug, 2020

  • GL-RG: 视频字幕生成中的全局与局部表示层级

    本文提出了一种全局 - 局部表示粒度框架（GL-RG）来生成视频字幕，通过显式利用来自不同视频范围的丰富视觉表示，设计了一个新颖的全局 - 局部编码器来产生丰富的语义词汇，以获得帧间视频内容的描述性粒度，采用增量训练策略组织模型学习，实验结果表明 GL-RG 在 MSR-VTT 和 MSVD 数据集上的性能显著优于最近的最先进方法。

    May, 2022

  • 使用图形 transformer 从知识图谱生成文本

    本文介绍了一种新型图形转换编码器，可处理知识图谱等非层次性图形的内容，应用于科学文本领域的图 - 文本生成，评价结果表明，该技术可以产生比竞争的编码解码方法更具信息量且结构更好的文本。

    Apr, 2019