beam search decoding | BriefGPT

关键词beam search decoding

搜索结果 - 6

GenTranslate：大型语言模型是生成式跨语音和机器翻译器
利用大型语言模型的丰富语言知识和强大的推理能力，我们提出了一种新的生成式翻译范式 ——“GenTranslate”，可以从 N 个候选译文中生成更高质量的翻译结果，并且在各种语音和机器翻译基准测试中明显优于现有模型。
PDF5 months ago
使用多个 softmax 上的注意力的流式双语端到端自动语音识别模型
本文介绍了一种新颖的双语端到端模型，通过共享编码器和预测网络，并通过自注意机制组合语言特定的联合网络，实现了单一神经模型对多种语言的识别和支持语言之间的动态切换，相比传统双语基线模型，该方法在印地语、英语和混合代码测试集上分别降低了 13.
PDF5 months ago
空白坍塌：压缩 CTC 发射以实现更快的解码
本文分析了 CTC 束搜索中的空白标签并提出了一种简单的方法来减少计算量，提高解码速度，实验和理论都证明了该方法的有效性，并且发现该方法在模型准确率更高时效果更加明显，适用于 ASR 领域。
PDF2 years ago
校准序列似然改进条件语言生成
本文介绍了序列可能性校准（SLiC）的方法，在序列生成过程中较大束搜索大小时生成质量会下降，通过使用 SLiC 可以不用启用启发式方法，从而显著提高候选解的生成质量。与传统的 MLE 模型相比，我们在许多生成任务中都获得了更好的结果。
PDF2 years ago
标签平滑对 Beam Search 解码呈现的隐式长度偏差
在神经机器翻译中，标签平滑虽然在模型训练过程中提供了所需的正则化效果，但本文演示其对波束搜索解码过程产生长度偏差。我们还证明，对于完全优化的标签平滑模型，翻译长度受到独立于输入的固定常量的隐含上限约束。通过在推理时应用一个简单的修正函数来恢
PDF2 years ago
提高非自回归机器翻译的流畅度
本文对非自回归机器翻译模型进行了改进，通过使用额外的特征来提高连接时序分类（CTC）下的模型表达流畅性，并将其与波束搜索解码相结合，仍能保持高速解码能力，具有与自回归模型相媲美的 BLEU 分数。
PDF4 years ago