Oct, 2023

稀疏通用变压器

PDF
TL;DR提出了 Sparse Universal Transformer (SUT)，利用稀疏专家混合（SMoE）和基于断裂棒的动态终止机制来减少 UT 的计算复杂性，同时保持其参数效率和泛化能力。实验证明，SUT 在 WMT'14 上仅使用一半的计算和参数与强基准模型实现相同性能，并在形式语言任务（逻辑推理和 CFQ）上获得强大的泛化结果。新的终止机制还在推理过程中实现了大约 50% 的计算减少，而在形式语言任务上的性能降低非常小。
universal transformercompositional generalizationparameter efficiencysparse universal transformersparse mixture of experts
发现论文，激发创造
  • 通用变压器

    Universal Transformer 是一种并行自我关注循环序列模型，它将前馈序列模型（例如 Transformer）的并行性和全局感受野与递归的归纳偏差相结合，解决了在某些简单任务中标准 Transformer 失败的问题，并取得诸多算法和语言理解任务上优越的表现。

    Jul, 2018

  • 适应性和模块化：高效泛化多样性任务

    通过引入新的任务，我们调查了 transformers 在不同难度的问题上的泛化效应，并通过结果表明，标准 transformers 在解决这些任务时面临挑战。我们提出了基于适应性和模块化计算机制的 Hyper-UT 架构，它通过从超网络生成动态函数和从通用 transformers 中获得适应性深度来学习需要对计算步骤数量（即计算图的深度）进行泛化的任务。该模型表现出更高的准确性和对于更高数量的计算步骤的公平的计算资源分配。我们得出结论，适应性深度和模块化机制相互补充，从而提高了关于示例复杂性的高效泛化效应。此外，我们还说明了我们发现的广泛适用性，通过证明在标准图像识别任务中，Hyper-UT 模型的性能与 ViT 模型相匹配，但计算要求显著降低（通过有效使用较少的层达到平均节省 70%）。

    Oct, 2023

  • SpeechUT：基于编码器 - 解码器的语音 - 文本预训练中隐藏单元的桥接

    本文提出了 SpeechUT 单一模态语音单元与文本预训练模型，使用隐藏单元对齐语音和文本，并分别使用未配对的语音和文本数据进行联合预训练。该方法在自动语音识别和语音翻译任务中取得了最先进的性能。

    Oct, 2022

  • VUT: 面向多模态多任务用户界面建模的通用 UI Transformer

    本研究提出了一种 VUT 多任务模型，可以同时完成 UI 镜像和结构编码、UI 对象检测、问题回答和命令接地等 5 个不同的任务。实验结果表明，VUT 在减少多任务模型数量和占用空间的同时，准确度也不逊于单独训练的基准模型。

    Dec, 2021

  • ST-MoE: 设计稳定且可转移的稀疏专家模型

    本文关注自然语言处理中的训练不稳定和模型精确性问题，研究提出一种设计指南，通过将一个稀疏模型扩展到 269B 参数实现了全面的迁移学习，成为第一个在各类任务中达到最先进水平的稀疏模型 (ST-MoE-32B)。

    Feb, 2022

  • 低资源口语理解的瓶颈低秩变换器

    本文介绍了如何使用变形器结构并应用群稀疏技术实现拥有较高精度、更小规模 SLU 模型的生成，从而避免使用预先训练的参数较多的大型模型。

    Jun, 2022

  • 统一 Transformer 物体跟踪器

    该论文介绍了一种名为 Unified Transformer Tracker (UTT) 的模型，通过该模型，研究者们可以在同一框架下解决不同场景下的目标跟踪问题。该模型可以同时进行单目标跟踪（Single Object Tracking）和多目标跟踪（Multiple Object Tracking），并通过端到端训练来优化模型的表现。

    Mar, 2022

  • 多对多口语翻译通过统一语音和文本表征学习与单元翻译

    我们提出了一种方法，通过单一模型学习多语言语音和文本的统一表示，特别关注语音合成的目的。我们使用语音单元表示多语言语音音频，这是从自我监督语音模型编码的语音特征的量化表示。因此，我们可以将语音视为伪文本，并构建语音和文本的统一表示。然后，我们提出在多语言数据上通过单位到单位翻译 (UTUT) 目标训练编码器 - 解码器结构模型。通过使用源语言标记来确定编码器，使用目标语言标记来确定解码器，该模型被优化为将口语语言翻译为目标语言的翻译模型。因此，该模型可以建立口语语言的理解方式，并将其与不同语言相关联。单个经过预训练的 UTUT 模型可以用于各种多语言语音和文本相关任务，如语音到语音翻译 (STS)、多语言文本到语音合成 (TTS) 和文本到语音翻译 (TTST)。我们通过包含各种语言的综合实验验证了所提出方法的有效性。此外，我们展示了 UTUT 可以执行先前在文献中未探索的多对多语言 STS。样例可在此网址获取：https://URL

    Aug, 2023

  • Switch Transformers: 使用简单高效的稀疏性扩展至万亿级参数模型

    通过 Switch Transformer 和降低精度格式，本文展示了如何简化 MoE 路由算法，降低信息交流和计算成本，以及解决训练不稳定问题，并在多语言领域提高了预训练速度并推动了现有语言模型的规模扩大，以 trillion 参数为例，实现了超过 4 倍的速度提升。

    Jan, 2021

  • 缩放 Transformers 中的稀疏已足够

    本研究提出了一种用于构建下一代 Transformer 模型的方法，即利用稀疏层进行有效缩放和高效执行非批量解码。结果表明，这种模型在拥有相同参数数量的情况下，可以获得与标准 Transformer 相同的效果，并且在长文本摘要方面表现优异。

    Nov, 2021