May, 2019

序列生成的通用框架及其在无向序列模型中的应用

PDF
TL;DR提出使用序列生成的方法来解决从无向神经序列模型（如 BERT）中生成序列的问题，并将其与定向的序列模型进行统一，从而能够使用原来专门为定向序列模型开发的解码算法在无向序列模型中进行机器翻译。在 WMT'14 英德翻译任务上，提出的方法取得了类似于线性时间翻译结果的恒定时间结果，并且与最先进的方法相媲美。
undirected neural sequence modelssequence generationbertdecoding algorithmsmachine translation
发现论文，激发创造
  • 无向序列模型生成顺序的学习和分析

    通过强化学习训练预训练的无向翻译模型的生成顺序，从而实现了比从左到右或学习自 Mansimov 等人 (2019) 学习的顺序得到的输出 BLEU 分数更高的翻译结果。

    Dec, 2021

  • 序列生成：从两端到中间

    提出了一种同步双向序列生成模型，利用双向注意力网络实现从两个方向同时预测输出，解决了自回归解码方式生成长句时效率低，以及和未来内容关联性不足等问题，在神经机器翻译（英德、中英和英罗）以及文本摘要任务上，相比于自回归 Transformer，提高了生成质量且显著提升了解码速度。

    Jun, 2019

  • 序列对序列模型可直接翻译外语

    我们提出一种递归编码器 - 解码器深度神经网络架构，直接将一种语言中的语音转换为另一种语言中的文本，通过多任务训练序列到序列的语音翻译和识别模型通过共享编码器网络来提高性能。

    Mar, 2017

  • 将多语言理解模型推广为多语言生成器

    这篇论文介绍了如何通过一种 SEMANTIC-GUIDED ALIGNMENT-THEN-DENOISING (SGA) 方法将一个多语言编码器 (XLM-R) 转化成一个强大的生成模型，实验结果表明改进的模型在机器翻译、问题生成和故事生成等任务中的表现均优于现有的方法。

    May, 2023

  • 使用适配器将 BERT 整合到并行序列解码中

    本研究提出了一种通过加入轻量级适配器模块在 BERT 编码器和解码器之间 fine-tuning 来应对语言生成任务的问题，并在神经机器翻译任务上验证了该方法的有效性。

    Oct, 2020

  • 门控图神经网络实现的图到序列学习

    提出了一种新的神经网络模型结合 Gated Graph Neural Networks 和输入转换解决了线性化启发式和参数爆炸问题，可以对 AMR 图和基于语法的神经机器翻译进行生成，实验结果表明该模型优于强基线模型。

    Jun, 2018

  • 序列模型的快速结构化解码

    非自回归序列模型为了减少推理时间，通常会假定每个单词的生成过程彼此独立，但这会导致结果不一致。本文提出了一种结构化推理模块，使用高效的 CRF 近似算法来建模动态转换技术，以提高翻译的一致性，并在不影响推理速度的前提下，显著提高了翻译性能。

    Oct, 2019

  • 分层短语基序列到序列学习

    本研究提出一种基于神经网络的译码器，结合层次短语作为训练的归纳偏差和显式约束，在维持标准序列到序列 (seq2seq) 模型的灵活性的同时。通过训练一个基于括号转录文法的判别式解析器，以层次化地对齐源和目标语短语，并使用一个神经 seq2seq 模型逐个地翻译这些对齐短语。该模型提出两种推理模式：一种只依赖于 seq2seq 模型进行序列级别的翻译，另一种则结合了解析器和 seq2seq 模型。研究结果表明，在小规模机器翻译基准测试中，该方法与对照方法相比表现良好。

    Nov, 2022

  • FlowSeq：基于生成流的非自回归条件序列生成

    提出一种使用生成流的非自回归序列生成模型，以提高非自回归序列生成的效率。在三个神经机器翻译基准数据集上进行了评估，与最先进的非自回归神经机器翻译模型性能相当且几乎不随序列长度而变化。

    Sep, 2019

  • 思考性解码：利用现成语言模型实现双向生成

    本文提出了一种名为 “Reflective Decoding” 的新型无监督算法，可将单向的语言模型应用于非顺序生成任务，如释义和文本填充。实验证明，相较于基线方法，该算法在多个指标上表现更优秀，甚至超越了多个基于监督学习的基线模型。

    Oct, 2020