Jul, 2023

使用 OpenAI API 来微调 GPT-3 是否会泄露个人身份信息？

PDF
TL;DR本研究使用 OpenAI 的 fine-tuning API 对 GPT-3 进行隐私攻击，以确定是否可以从该模型中提取出个人身份信息（PII）。发现在针对两种任务的 fine-tuning GPT-3 中，模型会记忆和泄露从底层 fine-tuning 数据集中获取的关键的个人身份信息。
发现论文，激发创造
  • Janus 界面：大型语言模型中的微调如何放大隐私风险

    利用微小的个人可识别信息数据集完成 GPT-3.5 的微调，可以导致大量隐藏的个人信息被揭示。

    Oct, 2023

  • 利用创新的 GPT-4 API

    通过灰盒访问 API，文章发现了 GPT-4 APIs 的三个新功能：微调、函数调用和知识检索，揭示了这些功能的潜在漏洞，包括消除核心保护、执行任意函数调用和操纵知识检索。

    Dec, 2023

  • 自然语言处理 Fine-tuning 方法中的记忆化

    本论文通过成员推断和提取攻击实证研究了不同调参方法（如全模型微调、模型头微调和适配器微调）的记忆化风险，发现微调头部的风险最高，而微调较小的适配器则较不容易受到已知提取攻击的影响。

    May, 2022

  • 从数据泄露和遗忘中对法律的启示

    大型语言模型（LLMs）在隐私方面存在关注，因为它们会记忆训练数据（包括个人可识别信息（PII）如电子邮件和电话号码），并在推理过程中泄露。现有工作关注度较低，本研究表明精调模型不仅会泄露其训练数据，还会泄露在预训练阶段记忆的预训练数据（和 PII）。通过精调模型来进行预训练数据的遗忘和泄露使新的数据点变得容易被提取，给使用 LLMs 提供服务的公司带来了重大的隐私和法律问题。我们希望本研究能够在人工智能和法律界引发跨学科讨论，并针对这些问题制定相应的政策。

    Jul, 2023

  • TMI！微调的模型从其预训练数据中泄露私人信息

    使用细调模型的特征泄漏来进行成员推断攻击，并在视觉和自然语言任务中评估其效果。

    Jun, 2023

  • ChatGPT 多步越狱隐私攻击

    本研究探讨了 OpenAI 和 New Bing API 应用中集成的大型语言模型对隐私的威胁，通过实验支持了对应用集成的 LLM 可能带来比以前更严重的隐私威胁的观点。

    Apr, 2023

  • 从微调和差分私有微调的 BERT 模型中提取命名实体的研究

    本文研究从语言模型中提取个人信息风险，并探讨 Differentially Privacy 对 fine-tuned BERT 模型文本生成能力的影响，结果表明，BERT 不太可能泄露个人或隐私敏感的命名实体，并指出这些结果重要理解 BERT-based 服务易受到训练数据提取攻击的程度。

    Dec, 2022

  • 通过提示微调控制大型语言模型中已记忆数据的提取

    本文采用提示调参的方法控制大型语言模型的记忆内容的提取率，通过基于 GPT-Neo 家族模型的公共基准测试，展示了我们的攻击和防御策略的有效性，实现了相对于基线的提取率增加和减少，最多可以相对于基线降低 97.7% 的提取率，附加的困惑度增加了 16.9%。

    May, 2023

  • 使用人类反馈训练语言模型遵循指令

    本篇论文提出通过人类反馈进行微调以增进语言模型与用户意图更好地对齐的方法，并展示了基于该方法得到的 InstructGPT 模型在排名、输出质量、真实性等方面皆优于规模更大的 GPT-3 模型，并最终得出该方法为改进语言模型对齐的一个有前途的方向。

    Mar, 2022

  • 用大型语言模型（GPT）自动化编程作业反馈

    本实验研究使用 OpenAI 的 GPT-3.5 模型在一个自动化的评估平台上生成学生编程作业的个性化提示，实验小组依赖平台反馈较少但在启用 GPT 提示时表现得更好。

    Jun, 2023