Nov, 2018

多源 Transformer 解码器输入组合策略

PDF
TL;DR本研究针对 Transformer 架构的编码器 - 解码器注意力机制，提出了四种不同的输入组合策略 (serial, parallel, flat, and hierarchical) 用于多源多模态翻译和具有多个源语言的翻译任务，结果表明模型能够使用多个源，并且比单个源模型有显著提高。
multi-sourcesequence-to-sequenceattention mechanismtransformer architecturemultimodal translation
发现论文，激发创造
  • 多源序列到序列学习中的注意策略

    本研究提出了两种结合多源序列的注意力机制的方法，并在 WMT16 的多模态翻译和自动后编辑任务中进行了系统评估。结果表明，所提出的方法在两个任务上都取得了有竞争力的结果。

    Apr, 2017

  • 使用分层学习生成长源序列

    本研究设计并研究了一种新的分层注意力 Transformer 架构（HAT），在几个序列到序列任务中优于标准 Transformer，包括在 PubMed、arXiv、CNN/DM、SAMSum 和 AMI 上的四个摘要任务中取得了最新的 ROUGE 分数。该架构在 WMT20 英文到德文翻译任务中优于文档级机器翻译基线，并通过可视化分层编解码器注意力来研究了分层层次的理解，最后研究了编码器预训练上的分层学习并分析了其在分类任务上的性能。

    Apr, 2021

  • 总结系统编码器 - 解码器注意力中的稀疏性和句子结构

    研究表明摘要任务中有稀疏的句子结构，可以用部分输入句子来限制编码器 - 解码器注意机制，并保持系统性能。

    Sep, 2021

  • 基于 Transformer 的机器翻译中固定编码器自注意力模式

    使用简单固定的关注模式替换 Transformer 中编码器层的大多数注意力头对神经机器翻译的质量没有影响，并且在资源匮乏的情况下，甚至可以将 BLEU 评分提高 3 个点。

    Feb, 2020

  • 神经机器翻译中基于 Transformer 的异构编码器扩展

    通过多种异构方法的整合，设计了多编码器 Transformer，以提高翻译质量，特别对于低资源语言表现出最大 7.16 BLEU 的提升。

    Dec, 2023

  • 注意力全是你需要的

    本文提出一种基于注意力机制的 Transformer 模型，优于使用循环或卷积神经网络的现有机器翻译模型，且可并行训练、训练时间更短，使得 BLEU 评分得以显著提高，并成功将该模型应用于英语句法分析等任务。

    Jun, 2017

  • 编码期间调制和关注源图像改进了多模式翻译

    提出了一种新的、全面的端到端方法，使用条件批量归一化来调制整个视觉输入处理，计算我们任务的最信息图像特征；此外，提出了一种源文本编码器表示条件下的注意机制，详述了我们的模型和图像分析管道，报告了在三个不同测试集上的最新的成果。

    Dec, 2017

  • 自适应双向注意力：探索多粒度表示进行机器阅读理解

    本文介绍了自适应双向注意力（Adaptive Bidirectional Attention）模型用于机器阅读理解（Machine Reading Comprehension）中，通过利用不同层次的源表示来提高预测的精度并且在 SQuAD2.0 公开数据集上的实验表明，相比于之前的最先进模型，此方法的准确度提高了 2.5％EM 和 2.3％F1 分数。

    Dec, 2020

  • 交叉编织多模态编码器

    本文提出了一种新的多模态语音和文本输入结构，使用多头交叉注意力结合预训练语音和文本编码器，并在目标问题上联合微调。所得的编码器可用于连续的令牌级别分类或对同时文本和语音进行话语级别的预测，并高效地捕获声学 - 韵律和词汇信息。

    Apr, 2022

  • 快速 Transformer 解码：仅需要一个写头

    本文提出了一种多查询关注机制，使用这种机制可以降低增量解码的内存需求，并通过实验验证了这种关注机制可以使解码速度更快，同时只会导致较小的质量损失。

    Nov, 2019