Oct, 2023

探索微调语言模型中的记忆化

PDF
TL;DR本文研究了 LLMs 在 pre-training 和 fine-tuning 阶段的记忆化行为及其对隐私和版权的影响，并通过对不同任务的实验验证了 fine-tuned 记忆化在任务间的差异性，进一步提出了多任务 fine-tuning 作为缓解记忆化问题的潜在策略。
llmsmemorizationprivacycopyrightfine-tuning
发现论文，激发创造
  • 自然语言处理 Fine-tuning 方法中的记忆化

    本论文通过成员推断和提取攻击实证研究了不同调参方法（如全模型微调、模型头微调和适配器微调）的记忆化风险，发现微调头部的风险最高，而微调较小的适配器则较不容易受到已知提取攻击的影响。

    May, 2022

  • 通用大型语言模型中的记忆化

    大型语言模型在记忆方面的挑战和机会，包括隐私、安全、版权等问题，并提出目前的研究方向。

    Oct, 2023

  • 神经语言模型记忆能力量化

    这篇研究论文描述了大语言模型 (LMs) 如何通过增加模型容量、重复数据示例次数以及提示模型的上下文数量等因素持续增长来记忆其训练数据的程度。然而，该记忆过程会导致隐私泄露、降低数据质量并且存在不公平性问题，因此有减轻该问题的必要，尤其随着模型的规模持续增长，需要采取积极的对策。

    Feb, 2022

  • 大型语言模型记忆机制的多角度分析

    大语言模型（LLMs）在各个领域展示了前所未有的性能，但其特殊行为之一 —— 记忆化 —— 仍缺乏解释，本研究通过多个角度全面探讨记忆化现象及其动态，并通过实验证实了模型大小、连续大小和上下文大小之间的记忆化关系，以及不同记忆化得分下句子的嵌入分布和解码动态，揭示了当模型开始生成记忆化或非记忆化句子时的边界效应，最后通过训练 Transformer 模型预测不同模型的记忆化，证明了通过上下文预测记忆化的可行性。

    May, 2024

  • 大型语言模型中的紧急和可预测记忆

    通过对 Pythia 模型套件的记忆行为进行度量和分析，发现中间检查点是模型记忆行为的更好预测因素，同时提供了有关模型和数据记忆得分分布的新颖发现

    Apr, 2023

  • 大型语言模型中实体级记忆的量化与分析

    大型语言模型通过精心设计的提示可以提取出其训练数据，这也带来了隐私风险。为了评估潜在的隐私风险，需要量化语言模型的记忆能力。本文提出了一个细粒度、基于实体级别的定义来量化记忆，并提供了一种从自回归语言模型中高效提取敏感实体的方法。实验结果显示，语言模型在实体级别上具有较强的记忆能力，并能够在部分泄露情况下重新生成训练数据。这些发现要求语言模型的训练者在模型记忆方面更加谨慎，采用记忆减轻技术以防止隐私侵犯。

    Aug, 2023

  • 回忆和学习：用更少的忘却对深度预训练语言模型进行微调

    本论文提出了一种召回和学习机制，它采用了多任务学习的思想，联合学习预训练任务和下游任务，通过先简单地回忆预训练任务的知识，然后逐渐关注下游任务的学习，以实现减少忘记的微调。实验表明，该方法在 GLUE 基准上实现了最新的性能，并为 NLP 社区提供了开源的 RecAdam 优化器。

    Apr, 2020

  • 对齐的大型语言模型连续预训练中的遗忘现象研究

    连续预训练中灾难性遗忘现象对于已经经过微调的大规模语言模型的影响及重复问题的挑战。

    Jan, 2024

  • 揭示了细调的大型语言模型的泛化能力

    这篇论文研究了大型语言模型（LLMs）和它们经过微调后的变体之间的差异，尤其关注微调对 LLMs 内在泛化能力的影响。通过在不同任务和数据集上进行广泛的实验，研究发现微调应用于生成任务和分类任务的模型在泛化到不同领域和任务时表现出不同的行为，并且在生成任务的微调中整合上下文学习策略可以增强模型的泛化能力。通过这一系统性研究，旨在为 LLMs 的微调实践做出有价值的贡献。

    Mar, 2024

  • 揭开潜在记忆：评估大型语言模型中的数据泄露和记忆模式

    该研究通过评估训练数据的统计特征对模型中的记忆编码产生的影响，重现了重复次数对记忆序列遗忘概率的对数标度关系，并发现即使没有后续接触，经过多次训练的数据仍然可以在训练过程中被揭示。由于这些潜在的记忆序列可能隐藏在模型的最终检查点上，这对数据隐私具有挑战性。为此，我们开发了一种通过考虑交叉熵损失来揭示这些潜在记忆序列的诊断测试。

    Jun, 2024