Nov, 2023
基于模型的最小贝叶斯风险解码
Model-Based Minimum Bayes Risk Decoding
Yuu Jinnai, Tetsuro Morimura, Ukyo Honda, Kaito Ariu, Kenshi Abe
TL;DR在文本生成任务中,我们提出了基于模型的 MBR(MBMBR)方法,它使用模型概率本身作为概率分布的估计值,通过理论和实验证明模型估计优于蒙特卡洛估计,并且在多个文本生成任务中,包括编码 - 解码模型和大型语言模型中,MBMBR 表现优于 MBR。