ACLJun, 2023

多语言编码器和 Seq2Seq 模型的顺序预训练配方

PDF
TL;DR本研究通过将基于编码器和基于序列到序列模型初始化来提高预训练效率，并展示了这种双阶段方法可以获得多语言编码器和序列到序列模型的表现，同时减少了总计算成本约 27%。
pre-trained modelsencoder-onlysequence-to-sequencecomputational efficiencymultilingual encoder
发现论文，激发创造
  • 无监督预训练用于序列到序列学习

    本文提出了一种通用的无监督学习方法，用于改善序列到序列模型（seq2seq）的准确性；其主要是通过使用两个语言模型的预训练权重对 seq2seq 模型的 encoder 和 decoder 进行初始化，并使用标记数据进行微调，最后将其应用于机器翻译和抽象概述中。研究结果表明，预训练可以提高 seq2seq 模型的泛化性能，进而取得了 WMT 英德翻译任务的最新的最佳 BLEU 分数，其人工评估结果也得到有力佐证。

    Nov, 2016

  • 编码增强的序列到序列预训练模型用于语言理解与生成

    本文研究了现有的 seq2seq 预训练模型中存在的问题，提出了一种基于编码器自监督学习的预训练策略 E2S2，并通过在多个自然语言理解和生成任务中的实验证明了其可行性及有效性。

    May, 2022

  • 多语言序列到序列语音识别：架构，转移学习和语言建模

    本文提出使用多语言数据建立先前模型，结合迁移学习的方法，通过在 10 个 BABEL 语言中训练 seq2seq 模型来改进音频识别，同时在解码时加入循环神经网络语言模型 (RNNLM) 来进一步提高模型的表现，实验结果表明，将先前的多语言模型应用于 4 种其他 BABEL 语言可以有效提高识别的准确度，并且加入 RNNLM 辅助也可以带来显著的性能提升。

    Oct, 2018

  • 充分利用 Seq2Seq 模型作为强大的少样本学习器

    在广泛的任务范围内，通过在 - context 学习中的两种方法：目标对齐提示和基于融合的方法，我们提出了一种比传统的 seq2seq 模型在各种设置下表现更好的方法，它将比传统的 seq2seq 模型更有效地引出函数序列到序列模型的学习能力，并且通过正确的配置和提示设计，它在各种应用领域中可以成为高效的 Few-shot 学习器。

    Jul, 2023

  • Wav2Seq：使用伪语言预训练语音到文本编解码模型

    Wav2Seq 是第一个用于预训练语音数据的自监督方法，采用了伪语言作为紧凑的离散表示，并制定了自监督伪语音识别任务 - 将音频输入转录为伪子词序列。

    May, 2022

  • 仅解码器还是编码器 - 解码器？将语言模型解释为规则化的编码器 - 解码器

    本文通过对传统 encoder-decoder 和 decoder-only language model 结构的对比分析，揭示了 decoder-only language model 存在的注意力退化问题，并提出了 partial attention language model 来解决这一问题。

    Apr, 2023

  • 序列对序列模型可直接翻译外语

    我们提出一种递归编码器 - 解码器深度神经网络架构，直接将一种语言中的语音转换为另一种语言中的文本，通过多任务训练序列到序列的语音翻译和识别模型通过共享编码器网络来提高性能。

    Mar, 2017

  • 给白板上色：预训练赋予序列到序列模型分层归纳偏置

    本文通过使用预训练的 seq2seq 模型，探究其是否能够在句法变换中进行层次化泛化，同时还证明了从未经注释的自然语言文本中可以学习到分层句法信息，_SEQ2SEQ 模型具有句法泛化能力，但需要比人类学习者接收更多的语言数据才能达到该能力_。

    Mar, 2022

  • 利用预训练语言模型嫁接的多语言翻译

    本文提出了 Graformer 模型，将预训练的 BERT 和 GPT 结合起来，分别作为编码器和解码器用于机器翻译，得到了比同等规模的多语言 Transformer 更好的翻译结果。

    Sep, 2021

  • 半监督序列学习

    本文提出两种方法用于使用未标记的数据改善序列学习。第一种方法是预测序列中的下一个元素，第二种方法是使用序列自编码器。通过这两种算法的无监督训练，我们可以训练出更稳定且泛化性能更好的长短时记忆网络，并在诸如 IMDB、DBpedia 和 20 Newsgroups 等文本分类任务中获得强大的性能。

    Nov, 2015