Oct, 2022

LittleBird：高效、更快、更长的问答 Transformer 模型

PDF
TL;DR提出了一个新模型 LittleBird，它是基于 BigBird 的改进版本，使用 Attention with Linear Biases（ALiBi）的更灵活、高效的位置表示方法，维护了准确性的同时，在速度和内存占用方面进行了优化。实验证明，LittleBird 在各种语言中表现良好，在特定的 KorQuAD2.0 数据集中，在长段落问答任务中取得了高精度
nlpbertlongformerlittlebirdalibi
发现论文，激发创造
  • 大鸟：面向更长序列的 Transformer

    本文介绍了基于 Transformers 模型 (BERT) 的缺点，提出了一种新模型 BigBird，该模型采用稀疏注意机制以线性方式减少了模型中由全面关注机制导致的二次依赖性 (主要是内存)，能够处理比以前长 8 倍长度的序列。因其能够处理更长的上下文，BigBird 在各种 NLP 任务上都实现了大幅度的性能提升。

    Jul, 2020

  • 临床长序列变压器：Clinical-Longformer 和 Clinical-BigBird

    该研究介绍了一种基于 Transformer 的语言模型，通过使用稀疏的注意机制来扩展最大输入序列长度，从而取得了在多项基准任务中超越 ClinicalBERT 和其他短序列变压器的显著成果。

    Jan, 2022

  • 韩 Bird 大型：基于 Transformer 的韩语语言理解转换

    本研究介绍了一种名为 KoBigBird-large 的大规模韩语 BigBird 模型，它能够在韩语语言理解方面实现领先水平并处理长序列。通过采用作者提出的锥形绝对位置编码表示（TAPER），无需进一步预训练，只需改变架构和扩展位置编码。实验证明，KoBigBird-large 在韩语语言理解基准测试中表现出类似的领先水平，并在长序列上的文档分类和问题回答任务中展现了与竞争基准模型相比更好的性能。本研究在此公开发布了我们的模型。

    Sep, 2023

  • 文本生成模型的鸟瞰变压器

    本文提出了一种名为 Bird-Eye Transformer（BET）的新架构，通过重新加权自我注意力以鼓励其更多关注重要的历史信息，进一步提高了变压器的性能，并在多个文本生成任务中进行了实验，包括机器翻译和语言模型，在所有数据集上都比基线变压器结构表现更好。

    Oct, 2022

  • 使用带线性偏置的注意力机制实现输入长度的外推：训练时短、测试时长

    本文提出 Attention with Linear Biases (ALiBi) 方法，拟合模型课以推广到更长的序列，并比多种其他方法在 WikiText-103 基准测试上表现更好。

    Aug, 2021

  • 长上下文 NLP 模型中效率与准确性的权衡特征

    本文对自然语言处理中的长文本序列建模技术进行了深入的研究，通过使用两种常见的长序列模型 ——LED 和 Big Bird，实验分析了模型大小、输入序列长度等因素对其性能表现的影响。发现在精准性、速度和能耗之间存在着权衡，其中 LED 模型在较低的能耗代价下达到了更好的精确度，且模型的性能表现受到超参数的影响。同时，当模型大小和输入序列长度发生变化时，我们还发现了在文本摘要和问答场景下不同的性能优化策略。

    Apr, 2022

  • 视觉大鸟：全注意力的随机稀疏化

    基于 Big Bird 的 Transformers 模型，提出了一种用于 Vision Transformers 的稀疏注意机制，该模型在常见的视觉任务中展现了竞争力。

    Nov, 2023

  • LongT5: 高效的长序列文本转换器

    本文介绍了一种新模型 LongT5，该模型将长输入变换（ETC）的注意力机制和摘要预训练（PEGASUS）的预训练策略整合到可扩展的 T5 架构中，取得了更好的自然语言摘要和问答系统结果。

    Dec, 2021

  • 基于预训练语言模型的长篇临床文本比较研究

    本研究提出了两种经过预训练的基于长序列 Transformer 模型的临床语言模型，它们能够有效地处理临床文本中的长期依赖关系，相较于传统短序列的模型，在十项基准测试任务中均取得了最先进的成果；该研究还提供了源代码和预训练的模型。

    Jan, 2023

  • EarlyBERT: 早鸟抽奖票优化 BERT 训练

    本篇论文提出了 EarlyBERT，这是一种通用的计算高效的训练算法，可用于大规模语言模型的预训练和微调，通过对自注意和全连接子层进行精简，第一次在 BERT 训练的早期阶段中发现了结构优质的 winning tickets，实验结果表明，与标准 BERT 相比，EarlyBERT 能够在 35-45％的训练时间内实现相当的性能。

    Dec, 2020