Nov, 2023

Transformers 作为正规语言的识别器：表达能力调查

PDF
TL;DR通过将问题视为形式语言，研究人员在调查变压器能够解决和不能解决的理论问题方面取得了显著进展，这有助于比较变压器与其他模型以及不同变压器变体在各种任务中的性能，并提供了一个统一的框架来协调看似矛盾的研究结果。
transformersnatural language processingformal languagesresearchersvariants
发现论文，激发创造
  • 论 Transformer 识别形式语言的能力和限制

    本文系统研究了 Transformers 模型在模拟正则语言和反计数语言中的能力，并探讨了其中各组件的作用，发现相比于 LSTMs，在某些行为建模上有一定优势，同时也揭示了自我注意机制和位置编码对模型学习和泛化能力的影响。

    Sep, 2020

  • 语音处理中的 Transformer：一项调查

    本文综述了 transformers 在语音技术各领域中的应用，旨在为研究者提供宝贵的资源，提供解决 transformers 在语音处理中面临的挑战的可行方法。

    Mar, 2023

  • Transformers 综述

    本文综述了各种 X-formers，包括 Transformer 的变体，提出了一个新的分类法并从结构修改、预训练和应用三个方面介绍了各种 X-formers，并提出了未来研究的一些潜在方向。

    Jun, 2021

  • Transformer 对于回归问题是否表达能力足够？

    Transformers 在自然语言处理中变得至关重要，在机器翻译和摘要等应用中取得了显著成功。然而，与现有观点相反，本研究发现 Transformers 在可靠地逼近连续函数方面存在困难，依赖于具有较大区间的分段常数逼近。通过理论分析和实验证据，我们全面调查了这一问题并揭示了 Transformers 的限制根源，凸显了对其能力的精确理解的重要性。

    Feb, 2024

  • 高效 Transformer：综述

    本研究总结了多个领域的最新端到端基于 Transformer 模型的 X-former 模型，强调了计算和内存效率

    Sep, 2020

  • 变形金刚何时能够通过抽象符号进行推理？

    调查了 Transformer 大型语言模型在涉及抽象符号的关系推理任务中的能力。对于 (i) 回归任务，我们证明了 Transformer 在训练时具有泛化性，但需要大量的训练数据；对于具有符号标签的 (ii) 下一个令牌预测任务，我们展示了一种 “反比例尺律”：随着嵌入维度的增加，Transformer 无法泛化。针对 (i) 和 (ii) 这两种情况，我们提出了微妙的 Transformer 修改，通过每个头部添加两个可训练参数来减少所需的数据量。

    Oct, 2023

  • 转换器与语言模型在表格理解中的应用：扫描文档分析综述

    本文综述了关于扫描文档中形式理解的研究工作，深入探讨了最近在该领域的进展和突破，强调了语言模型和转换器在解决这一具有挑战性的任务中的重要性。通过对过去十年的流行文档和形式理解趋势进行深入分析，我们能够提供宝贵洞察力，阐述这一领域的演化。我们重点介绍了前沿模型，展示了转换器如何推动该领域前进，革新形式理解技术。我们的探索包括对最先进的语言模型进行广泛研究，这些模型旨在有效应对嘈杂扫描文档的复杂性。此外，我们还概述了最新和最相关的数据集，这些数据集是评估所选模型性能的重要基准。通过比较和对比这些模型的能力，我们旨在为研究人员和实践者在选择最合适的解决方案方面提供有用的指导。

    Mar, 2024

  • 自然语言处理中 Transformer 的效率综述

    该论文通过对 NLP 的演变及其应用的准确性和效率的评论，以及提出和硬件考虑下对基于 transformer 模型的效率进行改进的研究贡献的调查，旨在确定当前 NLP 技术对可持续社会的贡献，并为未来研究奠定基础。

    May, 2024

  • Transformer 简介：自然语言处理视角

    介绍了 Transformer 基本概念，描述了标准 Transformer 架构，包括一系列模型细化和常见应用，主要关注有助于理解 Transformer 及其变体的概念和对该领域产生影响的关键思想，从而揭示了这些模型的优势和局限性。

    Nov, 2023

  • 时间序列中的 Transformers: 一项综述

    本文系统地回顾了 Transformer 在时间序列建模中的运用，总结了其优点、局限性以及在网络结构、应用方面的适应性和修改，并对常见的时间序列任务进行了分类，包括预测、异常检测和分类。通过实证分析，研究了 Transformer 在时间序列中的表现，并提出了未来研究方向。这是第一篇全面系统地总结 Transformer 近期在时间序列数据建模领域进展的论文。

    Feb, 2022