Oct, 2022
通过交替教学减少语言模型中意外记忆
Mitigating Unintended Memorization in Language Models via Alternating Teaching
Zhe Liu, Xuedong Zhang, Fuchun Peng
TL;DR提出了一种新的交替教学方法来减少语言模型在训练集中记忆罕见或独特序列而导致泄漏用户数据的现象，该方法采用多个教师模型对各自独立的训练集进行训练，并以教师模型预测结果作为学生模型的监督信号，实验结果表明这种方法达到了比其他方法更好的隐私保护效果，而当训练数据充足时对整体效果损失很小。