Oct, 2019

HuggingFace 的 Transformers：最先进的自然语言处理

PDF
TL;DR自然语言处理的进展主要归功于模型架构和预训练的进步，Transformer 架构为构建更高性能的模型提供了便利，预训练使得这些模型能够在各种任务中被有效利用。Transformers 是一个旨在向更广泛的机器学习社区推广这些进展的开源库，库中包含一系列经过精心设计的 Transformer 架构和社区制作和提供的预训练模型，并且旨在为研究人员提供可扩展性、为从业者提供简便性、为产业部署提供快速和稳健性。
发现论文，激发创造
  • 生成预训练变压器：启用技术、潜在应用、新兴挑战和未来方向的全面评估

    本文综述了生成式预训练转换模型，包括它的架构、工作流程、训练程序、相关技术以及对各种应用的影响，并探讨了潜在的挑战和解决方案。

    May, 2023

  • 大型预训练语言模型在自然语言处理中的最新研究进展：综述

    本文介绍了使用预训练和微调、提示或文本生成方法解决 NLP 任务的大型预训练基于 transformer 的语言模型，以及使用预训练语言模型生成数据进行训练或其他目的的方法，并讨论未来研究的限制和建议方向。

    Nov, 2021

  • Transformer 简介：自然语言处理视角

    介绍了 Transformer 基本概念，描述了标准 Transformer 架构，包括一系列模型细化和常见应用，主要关注有助于理解 Transformer 及其变体的概念和对该领域产生影响的关键思想，从而揭示了这些模型的优势和局限性。

    Nov, 2023

  • 自然语言处理的增强 Transformer 架构

    本文提出了一种新型 Transformer 结构，其特点是全层归一化、加权残差连接、利用强化学习的位置编码和零屏蔽自注意力。通过使用 Multi30k 翻译数据集进行双语评估替代，验证了所提出的增强型 Transformer 模型。结果显示，增强型 Transformer 的 BLEU 分数比原始 Transformer 模型高出了 202.96%。

    Oct, 2023

  • 自然语言处理中 Transformer 的效率综述

    该论文通过对 NLP 的演变及其应用的准确性和效率的评论，以及提出和硬件考虑下对基于 transformer 模型的效率进行改进的研究贡献的调查，旨在确定当前 NLP 技术对可持续社会的贡献，并为未来研究奠定基础。

    May, 2024

  • 大型语言模型的概念与实施调查

    基于 Transformer 架构的大型语言模型（LLMs）的近期进展在自然语言处理（NLP）应用领域展示了显著的拓宽范围，超越了其在聊天机器人技术中的初始应用。本文探究了这些模型的多方面应用，重点关注 GPT 系列，对人工智能（AI）驱动工具在改变编码、问题解决等传统任务上起到的转变性影响进行了研究，同时开辟了在不同行业中进行研究和开发的新方向。从代码解释和图像描述到便于构建交互式系统和推动计算领域的发展，Transformer 模型展示了深度学习、数据分析和神经网络设计相结合的协同作用。本调查报告深入了解了 Transformer 模型的最新研究，突出了其多功能性和在实际应用领域中转型的潜力，从而为读者提供了对 Transformer-based LLMs 在当前和未来实际应用领域的全面理解。

    Mar, 2024

  • 语言的黑暗面：预训练变形器在 DarkNet 中的应用

    通过对 DarkNet 语料库上的分类任务探索，研究比较了不同预训练自然语言理解模型的表现，结果发现句法和词汇神经网络在适应新颖语义时优于预训练 Transformer 模型。

    Jan, 2022

  • 自然语言处理的基础模型 - 集成媒体的预训练语言模型

    本书提供了基础模型的研究和应用的综述，介绍了预训练语言模型 BERT、GPT 和序列到序列变换，并讨论了改进这些模型的不同方法，以及 20 个应用领域中表现最佳的模型。

    Feb, 2023

  • 高效 Transformer：综述

    本研究总结了多个领域的最新端到端基于 Transformer 模型的 X-former 模型，强调了计算和内存效率

    Sep, 2020

  • 神经语言模型解剖

    通过简洁明了的数学框架和清晰的图示，详细解释了神经语言模型的主要类型，包括 BERT 和 GPT2，同时讨论了在计算机视觉和时间序列应用中的转化及与自然语言处理的对比。

    Jan, 2024