data memorization | BriefGPT

关键词data memorization

搜索结果 - 7

衡量 RLHF 中的代码完成功能的记忆化
通过分析训练数据记忆在强化学习过程中如何表现和传播的方式，研究发现强化学习与人类反馈对齐方式相比直接微调数据对齐方式，更少地导致训练数据的记忆，但已经在微调阶段记忆的样本在 RLHF 过程中仍然保持记忆的情况居多，这对于保护隐私可能会带来潜
PDF19 days ago
差分隐私线性模型在高维数据上的综述
通过综合评估不同的优化方法，本研究对高维度差分隐私线性模型的优化方法进行了广泛的回顾，并表明稳健且坐标优化的算法表现最佳，从而为未来的研究提供了重要参考。
PDF3 months ago
EraseDiff: 擦除传播模型中的数据影响
通过在扩散模型中引入一种取消学习算法，以解决与数据遗忘和隐私保护相关的问题。我们将取消学习问题建模为一个双层优化问题，并采用一阶方法来解决该问题，从而在保留模型效用的同时清除与忘记数据相关的信息。在实验证明我们的算法能够有效地移除两个广泛使
PDF6 months ago
关于尖锐感知极小化的记忆和隐私风险
我们通过数据存储在过参数化模型中的方式来研究寻求更平坦的神经网络损失优化算法如何导致更好的泛化性能，我们提出了新的指标来帮助我们确定哪些数据点在与普通 SGD 相比寻求更平坦最优解的算法中表现更好。我们发现了 Sharpness Aware
PDF9 months ago
大规模语言模型中的紧急类比推理
作者在最近的《自然・人类行为》一文中论述大语言模型在具备模拟推理能力方面的鲜明特点，但我们的实验证明，GPT-3 无法解决最简单的变体问题，因此对于类似零样本推理的人类推理能力，需要更切实的证据以排除数据记忆的可能性。
PDF10 months ago
揭示生成模型评估指标的缺陷及其不公平对待传播模型
本研究旨在系统研究各种基于图像的生成模型，通过在人类感知上度量图像逼真度，发现现有指标与人类感知存在巨大差距；同时也发现现有指标无法适当检测到模型对数据的记忆现象；针对这些问题，我们提出了一种更可靠的特征提取器，并且释放了全部生成的图像数据
PDFa year ago
语言模型防止机械背诵，误导隐私保障
通过 Bloom 过滤器与 ALL-CAPITAL text 跨越数据记忆的问题，阐述了训练数据的记忆问题与风险，并讨论了针对神经语言模型中数据记忆的潜在替代定义和本质难题。
PDF2 years ago