Sep, 2023

隐藏与寻找（HaS）：一种轻量级的提示隐私保护框架

PDF
TL;DR许多公司已开始提供基于大型语言模型（LLM）的服务，如 ChatGPT，这不可避免地引起了隐私问题，由于用户的提示暴露给了模型提供者。先前针对使用多方计算（MPC）进行安全推理的研究已被证明在 LLM 应用中不切实际，因为其耗时且通信密集。虽然轻量级的匿名化技术可以通过替代或掩盖方式保护提示中的私人信息，但却无法恢复在 LLM 生成的结果中替换的敏感数据。在本文中，我们通过训练一个小型本地模型来扩展匿名化技术的应用场景，以以最小的计算开销解除 LLM 返回的结果的匿名化。我们引入了 HaS 框架，其中 “H (ide)” 和 “S (eek)” 分别代表其两个核心过程：用于匿名化的隐藏私有实体和用于解匿名化的寻找私有实体。为了定量评估 HaS 的隐私保护性能，我们提出了黑盒和白盒对抗模型。此外，我们进行了翻译和分类任务的实验以评估 HaS 的可用性。实验结果表明，HaS 框架在隐私保护和实用性之间实现了最优的平衡。
large language modelsprivacy concernsanonymization techniqueshas frameworkprivacy protection
发现论文，激发创造
  • 火焰窃贼也是守护者：平衡提示中的可用性与隐私

    为解决在线语言模型应用中的隐私问题，本文介绍了一种名为 ProSan 的端到端提示隐私保护框架，它可以产生去除上下文隐私的匿名提示，同时保持任务可用性和人类可读性。ProSan 还能够灵活调整其保护目标和强度，适应不同的计算资源条件，确保即使在计算能力有限的移动设备上也能提供隐私保护。实验证明，ProSan 在各种任务中，包括问题回答、文本摘要和代码生成，有效去除私人信息，并仅对任务性能产生最小的影响。

    Jun, 2024

  • 语言理解任务中的数据隐私问题

    本研究提出了一种名为 TextHide 的方法，它可以在不影响训练效率或准确性的情况下有效地减少分布式或联邦学习中的隐私风险，通过简单地添加加密步骤来防止窃听攻击者恢复私人文本数据，该方法能够与预训练语言模型的微调框架很好地契合，并在 GLUE 基准测试中取得了良好的效果，可以有效抵御共享梯度和表示的攻击，并仅平均准确率降低了 1.9%。

    Oct, 2020

  • 教导大型语言模型忘记隐私

    Prompt2Forget (P2F) 是第一个针对大型语言模型的本地隐私挑战的框架，通过教授大型语言模型遗忘信息的方法，实现模型对敏感信息的遗忘性。实验结果表明 P2F 具有强大的能力，可以模糊大型语言模型的记忆，达到 90％的遗忘性，而无需牺牲其效用。这一发现对于隐私保护领域中的大型语言模型有着深远的影响。

    Dec, 2023

  • 基于遮蔽语言建模的可逆文本数据隐藏通用框架

    本文提出了一个基于掩蔽语言模型的通用框架，将秘密信息嵌入给定的覆盖文本中，嵌入的信息和原始覆盖文本可以从标记文本中完美地恢复。实验结果表明，所提出的方法具有良好的安全性和语义质量，可应用于许多领域，包括信息隐藏和自然语言处理。

    Jun, 2022

  • 大语言模型时代的以人为中心的隐私研究

    基于大型语言模型的系统，在用户隐私方面存在问题，需要更多关注人类隐私问题的研究，包括设计范例对用户的行为披露、用户心智模型和隐私控制偏好的影响，以及赋予终端用户对个人数据的拥有权的工具设计，在此基础上构建可用、高效、具有隐私友好性质的系统。本文旨在启动关于人类隐私问题研究的讨论，为基于大型语言模型的系统中的隐私问题制定议程。

    Feb, 2024

  • 隐藏和寻找：一种用于弱监督定位及其它的数据增强技术

    Hide-and-Seek 是一种通用的数据增强技术，它可以在各种视觉识别任务中提高网络性能，尤其在弱监督定位方面具有优势。其核心思想是将训练图像中的一些信息随机隐藏，从而迫使网络寻找其他相关内容，而这项技术不仅仅适用于图像定位，也可用于视频分类、语义分割、情感识别、年龄 / 性别估计和人物再识别等任务。

    Nov, 2018

  • 最后一人站立：对 Soft Prompt Tuning、LoRA 和 In-Context Learning 的安全和隐私的比较分析

    对三种 LLM（Large Language Models）技术（Low-Rank Adaptation、Soft Prompt Tuning 和 In-Context Learning）在隐私和安全方面的鲁棒性进行评估，结果表明在 LLM 适应性中不存在绝对的隐私和安全解决方案。

    Oct, 2023

  • 隐私保护的端到端口语言理解

    本研究提出了一种新颖的跨任务保护用户隐私的口语理解模型，通过利用隐藏层分离技术，将用户信息仅分布在特定部分的隐藏层中并移除其他类型信息，从而实现隐私安全的隐藏层。为了在效率和隐私之间取得良好的平衡，引入了一种新的模型预训练机制，即联合对抗训练，以进一步增强用户隐私。实验证明，该方法能将语音识别和身份识别攻击的准确性降低至随机猜测水平，同时对口语理解性能影响较小。

    Mar, 2024

  • LLM 是否能保守秘密？通过上下文完整理论测试语言模型的隐私影响

    通过提出 ConfAIde 基准测试，我们的实验结果表明即使在使用了隐私保护提示或思维链推理后，如 GPT-4 和 ChatGPT 这样的最先进模型仍然有 39% 和 57% 的概率在具体情境中泄露私人信息，这凸显了探索基于推理和心智理论的新型推理时隐私保护方法的迫切需要。

    Oct, 2023

  • 隐私保护上下文引导增强小型医学学习者

    本文提出了一种简单而有效的方法，通过从医疗数据中提取关键词并模拟临床医生的思维过程，从而缓解患者隐私问题，增强小型语言模型在医学任务中的决策能力，最终在受隐私限制的情境下取得了新的结果，并在两个医学任务中达到了新的最高水平

    May, 2023