May, 2023

关于仅解码变压器语言模型计算能力的研究

PDF
TL;DR本文从理论上评估解码器型 Transformer 模型的计算普适性，证明单层单注意头的解码器型 Transformer 架构在合理假定下是图灵完备的，同时揭示词嵌入的稀疏性 / 可压缩性是图灵完备性持有的必要条件。
decoder-only transformer modelscomputational universalitytheoretical evaluationturing completenessword embedding
发现论文，激发创造
  • 关于 Transformer 的计算能力及其对序列建模的启示

    这篇论文研究了变形金刚网络的计算能力与图灵完备性，得出了只有通过位置掩蔽而没有位置编码的变形金刚同样具有图灵完备性，而某些残差连接是必需的结论，并通过机器翻译和合成任务的实验说明了结果的实际应用。

    Jun, 2020

  • 基于 Transformer 的语言模型内部工作原理初探

    这篇论文提供了对 Transformer-based 语言模型内部工作进行解释的当前技术的简明技术介绍，重点讨论生成式只解码器架构。我们最后总结了这些模型实现的已知内部机制的综合概述，揭示了该领域中流行方法和活跃研究方向之间的联系。

    Apr, 2024

  • Transformer 需要眼镜！语言任务中的信息过度压缩

    研究信息在解码器单独的 Transformer 模型中的传播，发现了表示崩溃现象和对特定标记的敏感性丧失，并提供了简单的解决方案。

    Jun, 2024

  • Small-E：用线性注意力实现高效语音合成的小型语言模型

    最近关于文本到语音合成（TTS）的研究表明，使用语言模型驱动的 TTS 展示了卓越的能力，能够实现自然度和零样本声音克隆。本文提出使用新兴递归架构替代变压器，并引入专门的交叉关注机制以减少重复和跳跃问题。结果，我们的架构能够在长音频样本上高效训练，并在相同规模的基准模型上实现最先进的零样本声音克隆。

    Jun, 2024

  • 评估仅编码器 Transformer 模型的逻辑推理能力

    本文研究了仅编码器变换器语言模型在逻辑规则推理方面的能力，并通过多个数据集的实验结果表明，这些语言模型在确定逻辑有效性上取得了合理的程度，但在迁移能力方面存在困难，可能是学习了特定数据集的特征而不是一般的能力，同时通过分层探测实验证明假设分类任务主要是通过较高层解决的。

    Dec, 2023

  • 朝着更小、更快的只解码 Transformer：架构变体及其影响

    本研究引入了三种变体（ParallelGPT、LinearlyCompressedGPT 和 ConvCompressedGPT）来修改解码器专用的 Transformer 架构，这些变体在代码生成任务中取得了可比较的性能，同时具有模型尺寸较小和训练时间更快的优势。

    Apr, 2024

  • 仅解码器还是编码器 - 解码器？将语言模型解释为规则化的编码器 - 解码器

    本文通过对传统 encoder-decoder 和 decoder-only language model 结构的对比分析，揭示了 decoder-only language model 存在的注意力退化问题，并提出了 partial attention language model 来解决这一问题。

    Apr, 2023

  • 关于语音到文本和大型语言模型集成的仅解码器架构

    该研究介绍了 Speech-LLaMA，一种将声学信息有效地整合到基于文本的大型语言模型中的新方法，并进一步探索了仅解码器架构在语音处理任务中的应用。

    Jul, 2023

  • Transformer 在思维链条中的表达能力

    研究表明，通过允许 transformer 在回答问题之前生成和依赖于中间令牌的序列，可以提高其推理能力，增加中间生成的数量将显著扩展 transformer 解码器的计算能力，进而使其能够识别所有正则语言，保持上下文敏感语言，并解决多项式时间可解问题。

    Oct, 2023

  • 基于公共语音识别语料训练的仅解码器模型的极限探索

    本文研究了使用公共英语 ASR 语料库训练仅解码器模型（DOTA）相比于基于编码器 - 解码器的开源复制模型（OWSM）和 Whisper 的大型语言模型（Whisper large-v3），在几乎所有英语 ASR 基准测试集上取得更好的性能，并在 15 个测试集中的 7 个上超过了 Whisper。我们在宽松许可下发布了我们的代码库和模型检查点。

    Jan, 2024