BriefGPT.xyz
Ask
alpha
关键词
domino
搜索结果 - 1
准确引导 LLMs 的快速非侵入式约束生成
为了确保大型语言模型生成的文本符合预期格式,本论文提出了一种名为 DOMINO 的创新解码算法,能够以完全子词对齐的方式执行约束,同时利用预计算和推测解码来几乎不增加开销,有时甚至实现接近 2 倍的速度优化,从而在很大程度上胜过现有方法。
PDF
5 months ago
Prev
Next