Transformers 综述
本文综述了 transformers 在语音技术各领域中的应用，旨在为研究者提供宝贵的资源，提供解决 transformers 在语音处理中面临的挑战的可行方法。
Mar, 2023
本文通过详细调查从 2017 至 2022 年间提出的 Transformer 模型，分析了其在自然语言处理、计算机视觉、多模态、音频和语音处理以及信号处理等领域中的应用及其对应的任务，并提供了一种分类法，以期为进一步研究及其未来的应用提供参考。
Jun, 2023
本文系统地回顾了 Transformer 在时间序列建模中的运用，总结了其优点、局限性以及在网络结构、应用方面的适应性和修改，并对常见的时间序列任务进行了分类，包括预测、异常检测和分类。通过实证分析，研究了 Transformer 在时间序列中的表现，并提出了未来研究方向。这是第一篇全面系统地总结 Transformer 近期在时间序列数据建模领域进展的论文。
Feb, 2022
介绍了 Transformer 基本概念，描述了标准 Transformer 架构，包括一系列模型细化和常见应用，主要关注有助于理解 Transformer 及其变体的概念和对该领域产生影响的关键思想，从而揭示了这些模型的优势和局限性。
Nov, 2023
本次研究对变压器模型在计算机视觉方面的应用进行了全面的回顾，包括自我关注、大规模预训练和双向编码等基础概念及其在图像分类、视频处理等多个领域的广泛应用。研究比较了不同技术在架构设计及实验价值方面的优缺点，并提出了未来的研究方向。
Jan, 2021
该论文通过对 NLP 的演变及其应用的准确性和效率的评论，以及提出和硬件考虑下对基于 transformer 模型的效率进行改进的研究贡献的调查，旨在确定当前 NLP 技术对可持续社会的贡献，并为未来研究奠定基础。
May, 2024
本质量分析了 Transformer 神经网络架构在医疗保健中的应用，以及在医学图像、电子健康记录和生理信号等多种形式的数据分析方面所发挥的积极作用，并概述了一些使用该架构的优点和局限性，包括计算成本、模型可解释性、公平性、与人类价值观的一致性、伦理和环境影响。
Jun, 2023
本文综述了超过一百种不同的视觉 Transformer 根据三个基本的计算机视觉任务和不同的数据流类型，提出了一个分类法来组织代表性的方法，评估和比较所有这些现有的视觉 Transformers 在不同的配置下，并揭示一系列的重要但未开发的方面，最后指出了三个有前途的研究方向。
Nov, 2021
通过将问题视为形式语言，研究人员在调查变压器能够解决和不能解决的理论问题方面取得了显著进展，这有助于比较变压器与其他模型以及不同变压器变体在各种任务中的性能，并提供了一个统一的框架来协调看似矛盾的研究结果。
Nov, 2023