Feb, 2024
EBBS：具有双层束搜索的零样本机器翻译集成
EBBS: An Ensemble with Bi-Level Beam Search for Zero-Shot Machine Translation
Yuqiao Wen, Behzad Shayegh, Chenyang Huang, Yanshuai Cao, Lili Mou
TL;DR我们通过一个新颖的双层束搜索算法，提出了 EBBS，一种集成方法，在下层每个集成组件逐步探索自己的预测，而在上层通过一种 “软投票” 机制进行同步，结果在两个流行的多语言翻译数据集上显示，EBBS 始终优于直接和转换翻译以及现有的 ensemble 技术，此外，我们可以将 ensemble 的知识返还到多语言模型，提高推断效率，深入研究后发现，基于 EBBS 的蒸馏能在不牺牲甚至提高翻译质量的情况下实现。