ACLMay, 2023

TranSFormer：用于机器翻译的慢速 - 快速 Transformer

PDF
TL;DR本文提出了一种 Slow-Fast 双流学习模型 ——TranSFomer，将细粒度字符级特征与多尺度 Transformer 结合，显著提高了机器翻译 BLEU 指标。
multiscale transformermachine translationfine-grained character-level featuresslow-fast two-stream learning modelbleu
发现论文，激发创造
  • 通过微调子词系统实现合理大小的基于字符级别的 Transformer NMT

    实现字符级别的 Transformer 架构通常需要非常深的架构，难以训练。本文提出一种通过在模型中将分词与字元结合进行初步训练，然后在字符级别上调整，从而实现不需要分词的神经机器翻译模型的方法，并且展示了这种方法更好地捕捉了语言形态现象和更加健壮，训练的代价相对较小。

    Apr, 2020

  • Charformer: 基于梯度的子词分词加速字符变换器

    该研究提出了使用渐变学习的子单词标记模块（GBST）作为深度 Transformer 模型 Charformer 的一部分来进行端到端学习，以在自然语言处理中改进字节级模型的性能。在英语 GLUE、多语言和噪声文本数据集上的结果表明，Charformer 在速度上快于标准字节级和子单词级 Transformers 28-100％，同时保持了有竞争力的质量。

    Jun, 2021

  • 多尺度变形器模型的序列生成学习

    本文提出了一种基于不同语言单元（包括子词、单词和短语）之间的关系建立多尺度 Transformer 模型 ——Universal MultiScale Transformer（UMST），实验证明它在几个测试集上都可比存在的流行基准模型获得更好的性能表现，且不影响效率。

    Jun, 2022

  • 基于字符级 Transformer 的神经机器翻译

    本文针对机器翻译中常用的子词级神经网络模型提出了基于字符级翻译的 Transformer 模型，实验证明所提出的模型在训练效率和翻译质量方面是优于先前的字符级模型且与子词级模型相当的，代码和模型已经公开发布。

    May, 2020

  • Fastformer：加性注意力足矣

    本文介绍了 Fastformer 模型，这是一种基于加法注意力的高效 Transformer 模型，与现有的 Transformer 模型相比，它可以更有效地建模长文本，并且具有线性复杂度。

    Aug, 2021

  • Speechformer：减少直接语音翻译中的信息损失

    提出了 Speechformer 的架构，该架构通过减少注意层中的内存使用，避免了初始的失真压缩，并根据更具信息的语言标准仅在较高级别上聚合信息，该架构在三种语言对 (en->de/es/nl) 上的实验表明了其有效性。

    Sep, 2021

  • FastFormers: 高效 Transformer 模型的自然语言理解

    本研究提出了 FastFormers 来加快基于 Transformer 模型的 NLU 任务的推理效率，可以通过运用知识蒸馏、结构剪枝和数值优化等方法，将预处理模型在 CPU 和 GPU 上的速度提高至 9.8-233.9 倍，节省成本的同时降低能耗。

    Oct, 2020

  • Pathformer: 适应性路径的多尺度变压器模型用于时间序列预测

    该论文介绍了一种名为 Pathformer 的多尺度 Transformer 模型，通过自适应路径进行多尺度建模，以提高预测准确性和泛化能力，实验证明其在真实数据集上表现出优越的性能和泛化能力。

    Feb, 2024

  • PartialFormer：建模部分而非整体

    本论文介绍了 PartialFormer—— 一种参数有效的 Transformer 架构，利用多个较小的前馈神经网络来减少参数和计算量，同时保持重要的隐藏维度，并通过一个多头注意力系统实现有效的协同工作。还介绍了一种定制的头缩放策略和改进 PartialFormer 深度扩展的注意力计算方法，对 9 个翻译任务和 1 个抽象摘要任务的大量实验验证了 PartialFormer 方法的有效性。

    Oct, 2023

  • Transformers 高效分层化化学图学习器

    SubFormer 是一种图变换器，通过消息传递机制对子图进行操作，减少了标记数量，增强了学习长距离交互的能力。在预测分子属性和化学结构方面，SubFormer 与最先进的图变换器相比，在计算成本的一小部分情况下保持着竞争力，并且在消费级显卡上进行训练的时间仅为几分钟。我们通过对化学结构的注意权重进行解读，展示了 SubFormer 表现出有限的过度平滑和避免了传统图神经网络常见的过度压缩问题。

    Oct, 2023