decoding latency | BriefGPT

关键词decoding latency

搜索结果 - 6

Pointsoup：用于大规模点云场景的高性能和极低解码延迟的学习几何编解码器
Pointsoup 是一种高性能、极低解码延迟的高效基于学习的几何编解码器，通过将皮肤特征通过基于注意力的编码器嵌入到本地窗口中并引入扩张窗口作为跨尺度先验来推断量化特征的分布，实现了快速的特征细化，然后使用基于折叠的点生成器以相当快的速度
PDF3 months ago
DistillSpec: 通过知识蒸馏改善推测解码
通过运用知识蒸馏将草稿模型与目标模型更好地对齐，然后应用 SD（Speculative decoding），我们提出 DistillSpec，从而在一系列标准基准测试中实现了 10-45% 的加速；此外，将 DistillSpec 与损失
PDF9 months ago
ICML预测管道解码：实现精确 LLM 解码的运算延迟平衡
本文提出了一种名为 “预测管线解码（PPD）” 的方法，该方法采用额外的计算资源来并行化当前令牌解码期间下一个令牌解码的启动，从而加快了大型语言模型的贪婪解码速度，并降低了解码延迟。
PDFa year ago
ICML有向无环 Transformer 模型用于非自回归机器翻译
通过将隐藏状态表示成有向无环图，在非自回归的情况下同时捕获多个翻译，并促进快速预测，DA-Transformer 在 WMT 基准测试的原始训练数据上实验表明，DA-Transformer 比以前的 NATs（非自回归 transform）
PDF2 years ago
稀疏图上的极化解码与深度学习
本文提出了一种基于置信传播和深度学习的稀疏神经网络解码器 (SNND)，用于极化码的解码，取得了与复杂的累加 - 乘算法相近的性能，尤其在解码延迟方面显著降低。
PDF6 years ago
MM5G 新无线电中极化码的设计
介绍了 5G 标准采用的极化码编码过程，着重探讨了极化码系列的设计、速率灵活性和低译码延迟等方面，最终得出了一个应用新编码技术提供实心通道编码的复杂架构。
PDF6 years ago