Mar, 2024

从无标签数据中学习语言建模的规划

TL;DR通过自我监督学习目标,我们训练了一个用于规划未来写作流程的模块,通过生成的潜在计划的条件,在无监督的方式下扩展了成功的语言模型公式,提升了语言建模性能,特别是在文本结构方面。