Feb, 2024

有效的 Transformer 是否真的节省计算量？

PDF
TL;DR我们研究了基于 Transformer 的语言模型，特别关注了 Sparse Transformer 和 Linear Transformer 的推理能力，并发现它们对一类动态规划问题更加有效。
transformer-based language modelsefficient transformerssparse transformerlinear transformerreasoning capability
发现论文，激发创造
  • 揭示思维链背后的谜团：理论视角

    研究表明 Chain-of-Thought 提示可以显著改善大型语言模型的性能，特别是在涉及数学或推理的复杂任务中。本文首先对这些问题的潜在机制进行了理论方面的探讨， 然后通过构建的方式证明了带有 CoT 的自回归机器人可以解决基本算术方程问题和决策制定问题，并且具有动态编程方面的潜在应用。

    May, 2023

  • 自然语言处理中 Transformer 的效率综述

    该论文通过对 NLP 的演变及其应用的准确性和效率的评论，以及提出和硬件考虑下对基于 transformer 模型的效率进行改进的研究贡献的调查，旨在确定当前 NLP 技术对可持续社会的贡献，并为未来研究奠定基础。

    May, 2024

  • CoTFormer：更多的注意力机制可以弥补深度不足

    利用 Chain-of-Thought 和 CoT 方法在 transformer 模型中，提出了 CoTFormer，通过隐式 CoT 机制实现了与更深层次模型相当的能力，并在实证研究中证明了其在下游效果明显优于更大的标准 transformers。

    Oct, 2023

  • 高效 Transformer：综述

    本研究总结了多个领域的最新端到端基于 Transformer 模型的 X-former 模型，强调了计算和内存效率

    Sep, 2020

  • 语言模型效率研究的定量综述

    本文对一系列高效 Transformer 和状态空间模型进行了元分析，系统地回顾了语言模型效率研究的现状，并对未来研究提出了建议。

    May, 2023

  • 缩放 Transformers 中的稀疏已足够

    本研究提出了一种用于构建下一代 Transformer 模型的方法，即利用稀疏层进行有效缩放和高效执行非批量解码。结果表明，这种模型在拥有相同参数数量的情况下，可以获得与标准 Transformer 相同的效果，并且在长文本摘要方面表现优异。

    Nov, 2021

  • 思维链串联变压器解决本质上串行的问题

    通过表达能力的角度，本文从理论上解释了串行思维链（CoT）对仅解码器的变压器的增强作用，通过对中间步骤（即 CoT）的生成模型进行指导，可以显著提高大型语言模型在算术和符号推理任务上的准确性。

    Feb, 2024

  • 利用紧凑型 Transformer 逃离 “大数据” 范式

    本论文提出了一种名为紧凑型 Transformer（CCT）的方法，并证明使用恰当的大小和卷积记号化技术，可以在小型数据集上避免过度拟合并优于现有卷积神经网络（CNNs）的表现，从而使得 Transformer 在应对较小的数据集、资源受限和数据效率方面有了新的突破。

    Apr, 2021

  • 长程变压器的自然语言处理任务效率

    比较研究了多种 Transformer 模型的性能，发现长序列的改进版本在内容选择和查询引导解码方面有优势，但在处理远距离的信息和近似误差上有欠缺的地方。

    Feb, 2022

  • 基于深度学习的大规模语言模型在自然语言处理任务中的效率优化

    通过理论分析大规模语言模型的内部结构和操作机制，探讨 Transformer 及其派生体结构如何在捕获长期依赖时限制计算效率，深入挖掘训练阶段的效率瓶颈，并详细评估自适应优化算法（如 AdamW）、大规模并行计算技术和混合精度训练策略对加速收敛和减少内存占用的贡献，同时系统地回顾了模型压缩技术的最新进展，侧重于量化、修剪和知识蒸馏等策略，通过比较这些技术的理论框架及其在不同应用场景中的效果，展示了它们在显著减小模型规模和推理延迟、同时保持模型预测准确性方面的能力，并且对当前效率优化方法的局限性（如过拟合风险、压缩后性能损失控制以及算法通用性问题）进行了批判性审查，提出了未来研究的一些展望，最终为理解大规模语言模型的效率优化提供了全面的理论框架。

    May, 2024