beam search algorithm | BriefGPT

关键词beam search algorithm

搜索结果 - 13

基于块状关注掩码的高效非自回归解码
该论文提出了一种新颖的非自回归（NAR）基于块的注意力掩码解码器（AMD），用于平衡 Conformer ASR 系统的性能效率权衡，实现在输出标签的连续块内并行 NAR 推理，通过使用注意力掩码隐藏，同时在块之间进行左到右的 AR 预测和
PDF18 days ago
结合语言模型的专业领域研究：一种多彩的方法
将领域特定语言模型与通用语言模型相结合，通过为每个词标记或 “上色” 来指示它与通用模型或领域特定模型的关联，以优化的算法有效处理带有上色词的推理，实现将领域特定术语融入到语言任务中并降低错误率。
PDF8 months ago
利用微调和最小前瞻波束搜索改善 Whisper
在低资源语言方面，Whisper 的性能仍然不够完善。为了解决这些问题，我们在额外数据上对 Whisper 进行了微调，并提出了一种改进的解码算法。在越南语上，使用 LoRA 对 Whisper-Tiny 进行微调可以将 WER 相对于零
PDF9 months ago
依约束的自回归生成：带有覆盖保证的束搜索
通过引入根据符合性预测的束搜索算法的两个新扩展，我们可以生成带有理论覆盖保证的序列集合。首个方法非常简单且建议动态大小的束搜索结果子集，但与典型的符合性预测过程不同，其可行保证取决于事后校准测量。我们的第二个算法将符合性集预测过程引入解码过
PDF10 months ago
转录器快速并行解码
本文提出了一种带有约束的传递损失，以学习两个序列之间的严格单调对齐，同时优化了标准的贪婪搜索和 beam search 算法，并限制在解码时每个时刻可以传出的符号数，使传感器解码更有效率；作者们还提出了基于有限状态自动机的并行 beam s
PDF2 years ago
通过层聚合增强语音识别解码
本文对几种语音识别模型进行了实验，发现使用顶层预测的逻辑可以阻碍光束搜索算法实现最佳结果；然后，进行了层分析，提出了一种汇聚前 M 层的预测方法，通过束搜索解码来展示方法的有效性，并在 Librispeech 测试集中实现了 WER 和 C
PDF2 years ago
ACLNeuralLog: 使用联合神经和逻辑推理的自然语言推理
提出了一个融合符号与深度学习方法的推理框架 NeuralLog，通过结合单调性逻辑推理引擎和神经网络语言模型进行短语对齐，并使用 beam search 算法解决 NLI 任务，实验证明该联合推理系统在 NLI 任务上提高了准确性，并可在
PDF3 years ago
块同步束搜索流式 Transformer 自动语音识别
本文提出一种基于块处理编码器的流式 E2E Transformer ASR 的新型分块同步束搜索算法，并在多项实验中的表现均优于传统的在线方法，特别是在使用知识蒸馏技术时。
PDF4 years ago
EMNLP神经生成修辞结构分析
本文提出了第一个用生成模型进行 RST 解析的文档级 RNN 语法，通过一种新的 beam search 算法，在而不展示左分支的偏差下，在未标注和标注的 F1 值上分别提高 6.8 和 2.9，超越了所有不使用额外训练数据的最新复制研究中
PDF5 years ago
EMNLP神经文本生成的最优光束搜索（以光束大小为模）何时结束？
本文提出了一种可证明为最优的波束搜索算法，该算法可用于神经文本生成中，如神经机器翻译、摘要和图像字幕生成，通过引入有界长度奖励机制，避免了短假设的问题并提高了 BLEU 分数。
PDF6 years ago
场景文本识别的视觉注意力模型
本文提出了一种无词典的场景图像文本识别方法，该方法基于一种基于 LSTM 的软视觉注意模型，该模型从卷积特征中学习。通过导出与图像不同区域对应的中间卷积层的一组特征向量，实现了对空间信息的编码，从而使框架能够学习如何选择性地聚焦于图像的不同
PDF7 years ago
神经机器翻译的后期最小贝叶斯风险解码
本研究提出使用最小贝叶斯风险编解码技术 (MBR) 来消除基于 beam search 算法的模型自信度导致的输出错误，并使用 GPU 批量计算贝叶斯风险值以加速解码，并在机器翻译中验证后期 MBR 解码的优越性。
PDF7 years ago
神经生成的简单快速多样解码算法
该论文提出了一种简单快速的解码算法，在神经生成过程中促进多样性，评估结果表明，多样性解码有助于各种任务，特别是在需要重新排名的任务中，并进一步提出了一种能够自动调整不同输入的多样性解码速率的变化，通过强化学习技术实现，观察到进一步的性能提升
PDF8 years ago