greedy decoding | BriefGPT - AI 论文速递

关键词greedy decoding

搜索结果 - 6

通过期望值计算改进生成式语言模型的阅读理解能力中未使用信息的词汇概率分布
LLM 文本解码是感知 LLM 质量的关键组成部分。我们展示了两个实验，证明通过操纵记号概率可以改进解码方法。首先，我们在 SummEval 摘要评分数据集上测试了几个 LLM，以衡量阅读理解能力。我们将得分与下一个记号分布的预期值进行比较
PDF25 days ago
标签循环：转录器的高效解码
该论文介绍了一种高效的贪婪解码算法，用于转导推断，通过使用 CUDA 张量表示批量中的部分假设来支持并行化的假设操作，在解码过程中，我们的算法通过采用嵌套循环设计最大化 GPU 并行性，其中内循环处理所有空白预测，而非空白预测在外循环中处理
PDFa month ago
RNN-T 语音识别模型在 GPU 上的光速准确贪婪解码
使用 CUDA 图形条件节点，优化了 RNN-T 模型的解码过程，将其速度提升 2.5 倍，同时可以应用于其他解码算法获得 1.7 倍至 1.4 倍的速度优化，使得高吞吐量推理中的 RNN-T 模型性能接近 CTC 模型。
PDFa month ago
一种更好的自举式序列训练变体
本论文介绍了一种改进的自我监督时序训练思想，通过在 REINFORCE 算法中改变基准函数的选择来提高性能，与贪婪解码基准相比没有额外的成本。
PDF4 years ago
EMNLP注意力机制对中文分词的影响
本研究采用贪婪解码算法，侧重于进一步加强中文分词模型本身，在保持更高速、更准确性的情况下，提出了一个基于变型 Transformer 和双仿生注意力评分器构建的编码器模型，以及高速分词的轻量化解码器模型。实验结果表明，该模型在语义切分速度最
PDF5 years ago
ACL更好、更快、更强的序列标注成分解析器
本文提出一种有效的方法来使 constituent parsing 更加准确，通过学习切换标记方案、降低标签集的稀疏性、并细化多任务学习以减少错误传播，加上辅助损失和策略梯度句子级微调等技术，成功优化了英文和中文 Penn Treebank
PDF5 years ago