BriefGPT.xyz
Ask
alpha
关键词
memorisation
搜索结果 - 6
ACL
记忆曲线的因果估计
该研究提出了一种新的、有原则的、高效的方法来估计语言模型中的记忆化，该方法利用经济学中的差异法设计，通过在训练过程中观察模型在一小部分实例上的行为，刻画了模型的记忆化特征，并发现较大模型的记忆化更强、更持久，受数据顺序和学习率的影响，并且较
→
PDF
a month ago
大型语言模型中的记忆痕迹对于代码的影响
大语言模型在编程领域备受瞩目，然而其数据源可能面临被攻击者利用数据提取攻击进行窃取的风险，本研究对大语言模型进行了代码和自然语言两方面的对比研究并发现其对数据提取攻击存在漏洞，建议进一步研究并采取相应措施来缓解此问题。
PDF
7 months ago
小型语言模型是通过记忆还是泛化来回答上下文问题的？
使用语言模型进行问题回答的过程中，我们提出了一种基于输入和标签之间的语义相似性的方法，用于区分模型对评估样本的直接记忆和通过一些泛化方法预测标签的能力。通过应用该方法，我们在评估数据集的无法记忆子集中观察到了显著的性能改善。
PDF
8 months ago
EMNLP
记忆地图：在神经机器翻译中绘制记忆 - 推广连续体
通过使用反事实记忆度量标准，建立了一个资源，将 500 万条神经机器翻译数据点放置在一个记忆 - 泛化地图上，并展示了数据点的表面特征和模型的训练信号如何预测神经机器翻译中的记忆，以及该地图的子集对神经机器翻译系统性能的影响。
PDF
8 months ago
机器学习中的记忆化
在这项研究中，我们统一了关于机器学习中记忆化的定义和观点，讨论了它们与模型泛化的相互作用以及这些现象对数据隐私的影响，并系统化了允许从各种机器学习学习设置中检测记忆化发生或量化记忆化的方法。最后，我们讨论了记忆化在隐私攻击、差分隐私和对抗性
→
PDF
8 months ago
大型图像分类器记忆了什么？
现代神经网络的成功引发了对记忆和泛化之间关系的研究：过参数化的模型能够很好地进行泛化，尽管它们能够完美地拟合（记忆）完全随机的标签。本文通过对图像分类基准上 ResNet 的记忆度量进行实证计算，全面分析了神经模型大小对记忆能力的影响，结果
→
PDF
9 months ago
Prev
Next