May, 2024

重新思考编码器层与解码器层之间的自适应关系

PDF
TL;DR该论文探讨了编码器层和解码器层之间的适应性关系，使用 Helsinki-NLP/opus-mt-de-en 这一最先进模型将德语翻译为英语。具体方法是在编码器和解码器之间引入一个无偏差的全连接层，并对该层的权重进行不同的初始化，观察微调与重新训练的结果。总共进行了四个实验，结果表明直接修改预训练模型结构进行微调效果不佳，然而，观察重新训练实验的结果后，这种结构调整显示出了显著的潜力。
adaptive relationshipencoder layersdecoder layersfine-tuningpre-trained model structure
发现论文，激发创造
  • 预训练编码器和解码器之间的有效连接，用于语音翻译

    本研究提出了一种互连机制，通过加权求和来聚合语言预训练模型的每一层信息并输入到解码器中，从而提高了 BLEU 大约 2 分，在冻结语言预训练模型时加入了 2K 的参数。此外，我们通过可视化层权重，发现每个语言的每层的贡献是不同的。

    May, 2023

  • 利用深度表示进行神经机器翻译

    本文提出了一种新的神经机器翻译方法，采用层聚合和多层注意力机制，通过引入辅助正则化项促进不同层捕获多样化信息，实验结果表明该方法在 WMT14 英德和 WMT17 中英数据上具有普适性与有效性。

    Oct, 2018

  • 关于语言编码器的手术微调

    为适应新任务，研究发现只对神经语言编码器的部分层进行微调就足以获得接近甚至更好的性能，提出一种基于 Fisher 信息矩阵对候选层进行选择的高效度量指标，并通过在不同语言编码器和任务上的实验证明该指标能够有效选择层以获得强大的下游性能。

    Oct, 2023

  • 使用适配器将 BERT 整合到并行序列解码中

    本研究提出了一种通过加入轻量级适配器模块在 BERT 编码器和解码器之间 fine-tuning 来应对语言生成任务的问题，并在神经机器翻译任务上验证了该方法的有效性。

    Oct, 2020

  • 不要总是看向右边：探究基于解码器的大型语言模型在序列标注中的能力

    提前训练的语言模型能够通过改进序列标记任务的表现，优于基于自回归语言模型的编码器，并通过去除因果掩码在信息提取任务中取得了与前沿模型相媲美的性能。

    Jan, 2024

  • Transformer 模型的简单有效的自我去偏见框架

    本文提出了一种基于 Current Transformer 的 NLU 的自校正框架，该框架可以减少来自数据集偏见的干扰，从而提高对 Out of Distribution 数据的处理能力。

    Jun, 2023

  • 探讨语言模型架构的扩展与迁移在机器翻译中的应用

    该研究论文探讨了语言模型和编码器 - 解码器模型在机器翻译中的性能影响，结果表明：语言模型在小规模下的表现差，但随着参数数量的增加，其性能逐渐接近于编码器 - 解码器模型，语言建模和原因屏蔽会对翻译质量产生不利影响，而当与全局可视屏蔽相配合时，语言模型在受监督的双语和多语言翻译任务中能够与编码器 - 解码器模型持平，并且在零翻译方向上表现得更好。

    Feb, 2022

  • Transformer 解码器的子层功能

    本研究通过开发一种通用的探测任务来分析 Transformer-based 解码器中的每个模块如何传递信息，并针对三个主要翻译数据集进行了广泛实验。通过分析发现，Transformer 解码器中每个模块对应的不同的源信息和目标语前缀的使用方式。同时，通过实验得出，每层解码器中的残差前馈模块可以被取消，而不影响性能，从而极大地降低了计算量和参数数量，提高了培训和推理速度

    Oct, 2020

  • 浅层至深层训练用于神经机器翻译

    本文研究了通过浅层模型堆叠训练深度编码器的浅层到深层的方法对神经机器翻译模型进行改进，并通过实验表明该方法可以显著提高翻译质量，并在 WMT'16 和 WMT'14 的任务中取得了 30.33 和 43.29 的 BLEU 分数。

    Oct, 2020

  • 探究语音自监督模型中的 ' 自编码器行为 ': 以 HuBERT 的预训练为重点

    自我监督学习在语音识别中取得了巨大成功，然而已观察到微调学习模型的所有层相对于重设顶层会导致性能下降，这种现象被归因于 "自编码器" 行为：顶层包含更接近于输入的信息，对于需要语言信息的任务（例如语音识别）不太适用。为了更好地理解这种行为，我们提出从预训练中研究模型内部的高级信息的演变，重点关注表现出较少 "自编码器" 行为的 HuBERT 模型。通过实验探索可能产生影响的各种因素，我们旨在改善训练过程并增强 HuBERT 的顶层以进行高级任务。此外，我们的实验证明这些训练过程的改进导致更快的收敛速度和在下游任务上具有竞争力的性能。

    May, 2024