autoregressive transformers | BriefGPT

关键词autoregressive transformers

搜索结果 - 11

Sparser 更快且更简洁：用于长程 Transformer 的高效稀疏注意力机制
通过引入 SPARSEK Attention，将自注意机制的计算和内存障碍降到最低，提供线性时间复杂度和恒定的内存占用，实现了更高效的长序列处理和管理。
PDF8 days ago
ROME 的倒台：对 LLMs 在模型编辑中崩溃的理解
尽管模型编辑方法取得了显著进展，但在实际场景中应用仍然具有挑战性，因为它们经常导致大型语言模型发生崩溃。本文研究了这种崩溃的根本原因，并通过广泛的分析，确定了导致崩溃的两个主要因素。为了验证我们的分析，我们提出了一种简单而有效的方法：在编辑
PDF15 days ago
CVPR掩蔽自动编解码器是一种有效的多任务视觉通才
通过引入双向注意力机制、并行解码框架和掩码序列建模方法，设计了一种名为 MAD 的多任务视觉通用模型，用于统一各种视觉任务，实验证明 MAD 在性能和推理效率方面优于自回归模型，并在与任务专用模型相比获得竞争力的准确性。
PDF4 months ago
ACL机器翻译中的马尔可夫性质再考察
在这篇论文中，我们重新审视了神经机器翻译中的马尔可夫性质，并设计了一个马尔可夫自回归变压器（MAT），并对其在四个 WMT 基准测试上的性能进行了全面评估。我们的研究结果表明，拥有大于 4 阶的 MAT 能够生成与传统自回归变压器相媲美的质
PDF5 months ago
SPOT: 自身训练的基于补丁顺序置换的自回归 Transformer 的物体中心学习
非监督式物体中心学习中引入了两个新技术：一种基于注意力的自我训练方法，通过从解码器到编码器提取出优越的基于槽的注意力掩码来增强物体分割；一种创新的自回归变换器中的补丁顺序排列策略，加强了槽向量在重构中的作用。这些策略的有效性在实验证明了该方
PDF7 months ago
大型语言模型隐式学习将神经句子轨迹纠正为自然语言的预测性表示
用于预测的自回归变换器的预测表示通过逐渐变得更加直线化来实现更好的语言建模性能，并与句子的惊异程度之间存在一致的关系。
PDF8 months ago
面向高效和可解释的自回归转换器的动态上下文剪枝
本文提出一种采用动态修剪机制的 Autoregressive Transformers 方法，可以在保持模型表现力不变的同时，减少生成过程中上下文信息的存储和计算负担，有效地解决了推理成本过高的问题。实验证明，该方法可以高效地修剪 80%
PDFa year ago
MEGABYTE: 使用多尺度 Transformer 预测百万字节序列
我们提出了 Megabyte 模型，它是一种多尺度解码器结构，可以对超过一百万字节的序列进行端到端的微分建模，从而使自我注意力的时间复杂度进一步缩小，大量扩展了前馈层，实现了更好的并行处理能力，更高的性能和更低的成本，证明了无标记符自回归序
PDFa year ago
通过缩放实现更好的语音合成
本文介绍了一种将图像生成领域的进展应用到语音合成的方法，旨在创造出一种具有表现力和多音色的文本朗读系统 TorToise。
PDFa year ago
基于自回归变换器的文本驱动矢量图标合成
IconShop 是一种使用自回归变换器的文本引导矢量图标合成方法，通过将 SVG 路径（和文本描述）串行化和分词为一个唯一可解码的命令序列，实现各种图标合成和操作任务，它优于现有的基于图像和基于语言的方法，在图标合成性能（使用 FID 和
PDFa year ago
RITA：扩展生成蛋白质序列模型的研究
本文提出了 RITA: 一套自回归的生成模型，用于蛋白质序列，具有高达 12 亿个参数，训练了超过 2.8 亿个属于 UniRef-100 数据库的蛋白质序列。我们首次系统性研究了自回归变压器在蛋白质领域中的能力随着模型大小的发展，我们评估
PDF2 years ago