BriefGPT.xyz
Mar, 2022
自然语言处理记忆化的实证研究
An Empirical Study of Memorization in NLP
HTML
PDF
Xiaosen Zheng, Jing Jiang
TL;DR
本文利用三种不同的NLP任务来验证长尾理论是否成立，实验结果表明，对于具有代表性的训练实例进行记忆比任意剔除训练实例更具有影响力，同时，还开发并实现了内部原因归因方法，具备较高程度的可信度。
Abstract
A recent study by Feldman (2020) proposed a
long-tail theory
to explain the
memorization behavior
of
deep learning
models. However, memori
→