Dec, 2023

关于语言模型水印可学习性的研究

TL;DR通过水印技术对语言模型生成的文本进行统计检测,有助于在语言模型的负责部署中应用,文章提出了水印蒸馏的方法,通过训练学生模型模仿使用解码器水印技术的教师模型,研究发现模型能够学会生成高可检测性的水印文本,但也存在一些限制。