Jan, 2024

大型语言模型的交叉注意力水印技术

TL;DR语言模型的语言水印技术通过交叉注意力机制在输出文本中嵌入信息,保持其可读性和原始含义,本文提出了两种使用交叉注意力的方法,最小化对预训练模型性能的影响。研究了优化水印技术的不同训练策略以及在实际应用中的挑战和影响,阐明了水印鲁棒性和文本质量之间的权衡,高熵句子的水印选择显著影响生成的输出,这种主动水印技术在未来模型开发中具有潜在的应用。