Sep, 2020

GeDi: 生成式判别器引导序列生成

TL;DR本论文提出了一种名为 GeDi 的方法,通过引入更小的 LM 作为生成鉴别器以指导在大型 LM 上更安全和可控的生成。GeDi 计算每个标记的分类概率,以便于实现对生成的控制,并且可以使 GPT-2 在不影响语言质量的情况下显著降低毒性,同时还能够使用较少的主题进行控制生成。