decoding speed | BriefGPT - AI 论文速递

关键词decoding speed

搜索结果 - 7

ACL基于 CTC 的非自回归式无文字语音翻译
通过结合预训练、知识蒸馏和先进的非自回归训练技术，如 glancing training 和 non-monotonic latent alignments，基于 CTC 的非自回归模型在直接语音到语音翻译中实现了与自回归模型相当的翻译质量
PDF23 days ago
IJCAI超越投机游戏：大型语言模型中投机执行调查
通过引入推测执行的概念，对大型语言模型进行推理加速，提升解码速度，该研究综述了当前推测执行在大型语言模型中的应用，并提出了关键挑战和未来发展方向。
PDF2 months ago
基于质心的高效最小贝叶斯风险解码
采用基于质心的最小贝叶斯风险解码方法可提高解码速度，并在翻译质量上超过标准的最小贝叶斯风险解码方法。
PDF5 months ago
佩戴披风的 GliDe：一种简便的加速推测式解码方法
该研究介绍了两种改进的解码模型，GliDe 和 CaPE，以进一步提高冻结 LLM 的解码速度，并通过大量实验证明 GliDe 可以显著降低期望的解码延迟。
PDF5 months ago
EMNLP半自回归神经机器翻译
本论文提出一种用于快速序列生成的新型模型：半自回归 Transformer (SAT)，该模型在保持全局自回归属性的同时减轻了本地自回归属性，从而能够在每个时间步骤同时产生多个连续的词。在英德翻译和中英翻译任务上进行的实验证明，SAT 实现
PDF6 years ago
神经机器翻译的束搜索策略
本文提出了通过改进灵活的 beam-search decoder 来加速神经机器翻译的方法，并测试表明，该方法可以提高速度，同时不影响翻译质量。
PDF7 years ago
ACL使用贝叶斯优化的速度限制调整在统计机器翻译中的应用
本文基于贝叶斯优化的思想，提出了一种有效调整机器翻译中速度相关参数的方法，使翻译速度达到预设要求且 BLEU 分数最大化。在三种语言和两种速度约束条件下进行实验，结果显示相比于网格搜索和随机搜索，算法总体优化时间有所减少，此外本方法还可以解
PDF8 years ago