自适应调整 Transformer 网络：提高低资源机器翻译的速度、效率和性能

Oct, 2019

自适应调整 Transformer 网络：提高低资源机器翻译的速度、效率和性能

Auto-Sizing the Transformer Network: Improving Speed, Efficiency, and Performance for Low-Resource Machine Translation

Kenton Murray, Jeffery Kinnison, Toan Q. Nguyen, Walter Scheirer, David Chiang

TL;DR本文介绍的机器翻译模型基于 Transformer，通过自动调整网络架构和超参数来提高 BLEU 分数，其中引入了自动调整网络大小的正则化方法，能够在删除网络中的神经元的同时减少模型的参数数量。

Abstract

neural sequence-to-sequence models, particularly the transformer, are the state of the art in machine translation. Yet these neural networks are very sensitive to architecture and hyperparameter settings. Optimiz

neural sequence-to-sequence models transformer architecture search auto-sizing bleu scores

发现论文，激发创造

为低资源神经机器翻译优化 Transformer

本文研究了神经机器翻译中低资源语种的问题，通过在 IWSLT14 数据集上的实验发现，在优化超参数设置的情况下，Transformer 模型在低资源情况下的翻译质量可以提高 7.3 个 BLEU 分数。

Nov, 2020

自适应神经网络：应用于 n-gram 语言模型

本文介绍一个通过正则化方法对神经网络进行自动调整的算法，此算法可以用于选择神经网络中隐藏层单元的数量，同时用于语言模型和机器翻译中保持了困惑度，使得更小的神经网络可以维持 unpruned 版本的显著改进。

Aug, 2015

AutoTinyBERT：用于高效预训练语言模型的自动超参数优化

本文提出一种名为 AutoTinyBERT 的方法，采用一次神经结构搜索技术来自动搜索 BERT 架构的超参数，为各种延迟约束提供自适应和高效的超小型 PLMs 开发方式，并在 GLUE 和 SQuAD 基准测试中表现出优异的性能。

Jul, 2021

神经机器翻译的高效推断

该论文通过深度编码器和浅层解码器结构、多头注意力修剪以及将解码器自注意力替换为简化的循环单元等方法，可以在不降低翻译质量的情况下，在 CPU 和 GPU 上分别获得高达 109% 和 84% 的加速，并将参数数量减少 25%。

Oct, 2020

LiteTransformerSearch: 用于高效语言模型的无需训练的神经结构搜索

本文提出了一种名为 “轻量 Transformer 搜索（LTS）” 的新型网络自动设计算法，利用解码器参数作为感性代理，不需要任何模型训练，直接在目标设备上运行，方便快捷地制定任务性能与硬件成本间的 Pareto 前沿方案，应用到自回归语言模型中可获得高的准确率，同时摆脱了数百个 GPU 小时训练的碳足迹。

Mar, 2022

大型语言模型预训练的高效参数搜索和并行性扩展研究

研究项目侧重于并行和分布式机器学习算法的开发，特别是优化数据处理和预训练一组包括 5 个编码解码器 LLM（从 5.8 亿到 130 亿个参数不等）。我们进行了一项细致的研究，以量化三种机器学习并行性方法之间的关系，特别是探索了微软 DeepSpeed Zero Redundancy Optimizer (ZeRO) 阶段。

Oct, 2023

Transformer 模型的训练技巧

本文介绍了使用 Tensor2Tensor 框架和 Transformer 序列到序列模型进行神经机器翻译的实验。研究比较了影响最终翻译质量、内存使用、训练稳定性和时间的一些关键参数，并给出了一些实用建议，包括扩展到多个 GPU 的方法、对批处理大小、学习率、预热步数、最大句子长度和检查点平均值的改进建议。希望本文的观察对其他研究人员有所帮助。

Apr, 2018

机器翻译加权变形器网络

本篇论文提出基于注意力机制的神经机器翻译新架构，采用自注意力和前馈神经网络层来避免递归和卷积，但是需要大量的参数和训练才能收敛。同时又提出了加权 Transformer 模型，通过修改注意力层架构，更快地提高 BLEU 得分表现，同时在英译德和英译法机器翻译任务中表现最优。

Nov, 2017

训练大模型，压缩小模型：重新思考 Transformers 的高效训练与推断模型大小

研究表明，即使较小的 Transformer 模型在每次迭代中执行更快，较宽且较深的模型在明显更少的步骤中收敛。此外，大型模型比小型模型更 robust，因此，高度压缩的大型模型实现比轻度压缩的小型模型更高的准确性

Feb, 2020

自然语言处理的增强 Transformer 架构

本文提出了一种新型 Transformer 结构，其特点是全层归一化、加权残差连接、利用强化学习的位置编码和零屏蔽自注意力。通过使用 Multi30k 翻译数据集进行双语评估替代，验证了所提出的增强型 Transformer 模型。结果显示，增强型 Transformer 的 BLEU 分数比原始 Transformer 模型高出了 202.96%。

Oct, 2023