Aug, 2023

SOTASTREAM: 机器翻译训练的流式方法

TL;DR许多机器翻译工具包利用数据准备步骤将原始数据转换为可以直接由训练器使用的张量格式。我们提出了一种替代方法,将数据的生成与使用分离,通过生成原始训练数据的无限排列流,并通过一组可自定义的操作符进行实时修改,从而提高训练效率、灵活性和模型的准确性,同时降低了实验管理复杂性和磁盘空间需求。