sequence length | BriefGPT - AI 论文速递

关键词sequence length

搜索结果 - 11

线性时间变压器的潜在注意力
在传统的 transformer 模型中，标准的 attention 机制的时间复杂度随着序列的长度呈二次方增长。本研究提出了一种基于潜在向量定义注意力的方法，将时间复杂度降低为随序列长度线性增长。我们的 “Latte Transforme
PDF4 months ago
预训练中去除异常值是一餐免费午餐吗？
通过引入一个新的 softmax 函数，该方法通过处理异常值，使模型适配量化，且能成功预训练因果语言模型。
PDF4 months ago
EMNLP多词标记化用于序列压缩
我们提出了一种名为 MWT 的多词标记器，它通过将频繁出现的多词表达式表示为单个标记，从而超越词边界。MWT 产生更紧凑高效的标记化，从而提供两个好处：（1）在固定序列长度和预算的情况下，提高性能，因为能够更全面地覆盖输入数据；（2）通过减
PDF5 months ago
超越极限：大型语言模型中扩展上下文长度的技术综述
本文调查了扩展序列长度的技术和方法，包括架构修改和注意机制的改变等多种方法，并讨论了当前方法的局限性和未来研究方向建议，强调了序列长度对大型语言模型进一步发展的重要性。
PDF5 months ago
Mamba：具有选择性状态空间的线性时间序列建模
基于 Transformer 架构的基础模型凭借其核心注意力模块，驱动着深度学习中大部分令人兴奋的应用。我们发现这种模型的一个关键弱点是其无法进行内容导向的推理，并对此进行了改进，通过让结构状态空间模型（SSMs）参数成为输入的函数来解决离
PDF7 months ago
使用深度学习的机器生成文本检测
我们的研究重点是辨别大型语言模型生成的文本与人类生成的文本之间的关键挑战，这在各种应用中具有重要意义。通过评估我们的模型在多个数据集上的性能，包括 Twitter 情感、足球评论、项目古腾堡文库、PubMedQA 和 SQuAD，我们提供了
PDF7 months ago
基于注意力的语音识别系统需要多少上下文？
使用超过 30 秒的声学上下文来训练语音识别模型在文献中很少见，并且缺乏深入研究。本文通过对超长的声学和语言模型进行训练和评估的序列长度进行了研究，结果表明使用大约 80 秒的声学上下文进行训练可以相对提高 14.9% 的性能，并且与当前最
PDF8 months ago
LongNet: 将 Transformer 扩展到 10 亿个标记
LongNet 是 Transformer 的一种变体，引入了扩张注意力（dilated attention）来扩展序列长度，使其能够处理超过 10 亿个标记的序列，同时不会牺牲短序列的性能表现。
PDFa year ago
随机位置编码增强 Transformer 的长度泛化
本研究发现，Transformers 在固定上下文长度的任务中表现出快速泛化的特性。但是，它们不能在任意长度序列上泛化，即使是像复制字符串这样的简单任务也不行。本文介绍了一种新的位置编码方案，可以解决长序列位置编码失效的问题，并通过大规模实
PDFa year ago
ICML使用辅助损失学习 RNN 中的长期依赖关系
通过增加自监督辅助损失，提高循环神经网络对长期依赖关系的识别能力，可应用于序列长度达 16,000 的图像分类和实际文档分类任务中，具有竞争基线模型无法比拟的良好性能和资源效率。
PDF6 years ago
ICML在线序列预测中的专家学习
本文介绍一种在线学习算法，利用先前观察到的数据训练一组有效的专家，以在短序列上进行点击预测。
PDF12 years ago