generation speed | BriefGPT

关键词generation speed

搜索结果 - 6

COLING以 LLM 为基础通过并行解码词汇单元实现思考速度解码
通过引入词汇单元解码（LUD）方法，本文在不牺牲输出质量的情况下加速解码过程，有效减少生成速度而仍保持生成质量，并提出 LUD 可能为未来的语言模型定义一种新的解码范式，提升其应用的适用性。
PDFa month ago
Calo-VQ: 卡路里计模拟中的向量量化两阶段生成模型
我们引入了一种新颖的机器学习方法，用于快速模拟量能器探测器响应，采用了矢量量化变分自动编码器（VQ-VAE）。我们的模型采用两阶段生成策略：首先将具备几何感知的量能器数据压缩成离散的潜空间，然后应用序列模型来学习和生成潜在标记。在 Calo
PDF2 months ago
CLLMs：一致性大型语言模型
通过改进 Jacobi 解码方法，使其能够在单次迭代中准确预测多个令牌，并在任何状态下快速收敛到固定点，从而实现了在生成速度和生成质量上的显著提升。
PDF4 months ago
使用词汇缩减的大型语言模型推理
大型语言模型的推理对计算和内存要求较高，因此我们通过词汇筛选改进了其性能，可以显著减少内存使用并提高生成速度。然而，我们也发现了此类词汇选择方法的局限性，并提出了未来研究的方向。
PDF8 months ago
ICMLOMS-DPM: 模型进度优化扩散概率模型
本文提出使用多个模型并按照设计的模型时间表模拟生成过程，从而优化生成速度和质量，同时介绍了一种新的基于 OMS-DPM 的模型优化算法，以此在多个数据集上证明该方法的有效性。
PDFa year ago
FastFit: 通过多个 STFT 代替 U-Net 编码器，实现实时迭代神经声码器
本文介绍了一种新的神经声码器架构 FastFit, 其使用多个短时傅里叶变换 (STFT) 来替换 U-Net 编码器，从而实现更快的生成速度，而不会牺牲样品质量。通过客观和主观的评估，我们证明了该模型提高了将近两倍的基准迭代声码器的生成速
PDFa year ago