decoding time | BriefGPT - AI 论文速递

关键词decoding time

搜索结果 - 7

COLING以 LLM 为基础通过并行解码词汇单元实现思考速度解码
通过引入词汇单元解码（LUD）方法，本文在不牺牲输出质量的情况下加速解码过程，有效减少生成速度而仍保持生成质量，并提出 LUD 可能为未来的语言模型定义一种新的解码范式，提升其应用的适用性。
PDFa month ago
预打包：大语言模型快速预填和增加吞吐量的简单方法
使用 Prepacking 方法优化 transformer-based 大型语言模型的 prefilling 计算，通过将不同长度的输入 prompt 组合成一个序列，并使用 bin-packing 算法将多个序列打包成一个紧凑的批次，从
PDF3 months ago
通过标记消除优化检索增强阅读模型
通过分析检索到的段落对阅读器模型性能的贡献和必要性，以及在令牌级别上消除一些可能对答案生成过程没有贡献的检索信息，我们证明了我们的方法能够在最多减少 62.2% 运行时间的同时，只有 2% 的性能下降甚至在某些情况下提高性能结果。
PDF9 months ago
ICML非自回归机器翻译中的分离上下文 Transformer
本研究提出了一种基于注意力掩码的非自回归式 DisCo Transformer 神经网络模型，并结合并行的 Easy-first 推断算法，旨在同时生成所有标记并减少翻译延迟。相关实验证明该模型在非自回归机器翻译上比现有技术性能相当甚至更好
PDF4 years ago
采用图表示法导航，快速可扩展解码神经语言模型
提出一种名为 Fast Graph Decoder (FGD) 的 softmax layer 近似算法，可快速识别给定上下文中最可能出现的 K 个单词，从而减少解码时间并保持接近全 softmax 基线准确率，在神经机器翻译和语言建模任务
PDF6 years ago
编码稀疏矩阵乘法
本文提出了一种名为 “sparse code” 的新的编码计算策略，旨在在大规模分布式矩阵乘法问题中处理分布式计算过程中的延迟问题和极高的计算损耗，实验结果证明了该策略比传统编码策略和未编码情况下的方法效果更好。
PDF6 years ago
COLING相关语言之间基于子词级短语的 SMT 的更快解码
本文研究了基于短语的统计机器翻译框架中不同解码器参数和数据格式的选择对解码时间和翻译准确性的影响，并建议了最佳设置，显著提高解码时间，对翻译准确性影响较小。
PDF8 years ago