decoder-only transformer | BriefGPT

关键词decoder-only transformer

搜索结果 - 5

一个单层解码器 Transformer 就是一个双层循环神经网络：应用于认证鲁棒性
这篇论文揭示了一个关键的见解，即一个单层的解码器 - only Transformer 相当于一个两层的循环神经网络（RNN）。基于这个见解，我们提出了 ARC-Tran，一种用于验证仅有解码器的 Transformer 对任意扰动空间鲁棒
PDFa month ago
基于公共语音识别语料训练的仅解码器模型的极限探索
本文研究了使用公共英语 ASR 语料库训练仅解码器模型（DOTA）相比于基于编码器 - 解码器的开源复制模型（OWSM）和 Whisper 的大型语言模型（Whisper large-v3），在几乎所有英语 ASR 基准测试集上取得更好的性
PDF5 months ago
Transformer 在思维链条中的表达能力
研究表明，通过允许 transformer 在回答问题之前生成和依赖于中间令牌的序列，可以提高其推理能力，增加中间生成的数量将显著扩展 transformer 解码器的计算能力，进而使其能够识别所有正则语言，保持上下文敏感语言，并解决多项式
PDF9 months ago
ICLRTransformer-VQ: 基于向量量化的线性时间 Transformer
Transformer-VQ 是一种仅有解码器的 Transformer 模型，通过向量量化的键和新颖的缓存机制实现了线性时间内的高效 softmax 密集自注意力计算。在大规模实验中，Transformer-VQ 在质量方面表现出强大的竞
PDF9 months ago
DTrOCR：解码器专用的 Transformer 用于光学字符识别
通过使用 Decoder-only Transformer 作为生成式语言模型，本研究提出了一种相对简单而有效的文本识别方法 DTrOCR，实验结果表明 DTrOCR 在识别印刷、手写和场景文本方面比当前的最先进方法表现出更好的性能。
PDF10 months ago