Jun, 2022

DIRECTOR:用于监督语言建模的生成器 - 分类器

TL;DR本文介绍了一个新的基于统一生成器 - 分类器框架的 Director 语言模型,该模型结合语言建模和分类学习,并使用包括有利和不利序列标记的数据进行训练,实验证明该模型相较于标准语言模型可以大幅减少毒瘤响应、重复性、矛盾等问题,在保持生成质量的同时,训练和解码速度也相对较快。此外,该模型在准确性和效率方面均优于现有的模型指导方法。