Oct, 2022
语言模型防止机械背诵,误导隐私保障
Preventing Verbatim Memorization in Language Models Gives a False Sense of Privacy
Daphne Ippolito, Florian Tramèr, Milad Nasr, Chiyuan Zhang, Matthew Jagielski...
TL;DR通过 Bloom 过滤器与 ALL-CAPITAL text 跨越数据记忆的问题,阐述了训练数据的记忆问题与风险,并讨论了针对神经语言模型中数据记忆的潜在替代定义和本质难题。