通过提出 ConfAIde 基准测试，我们的实验结果表明即使在使用了隐私保护提示或思维链推理后，如 GPT-4 和 ChatGPT 这样的最先进模型仍然有 39% 和 57% 的概率在具体情境中泄露私人信息，这凸显了探索基于推理和心智理论的新型推理时隐私保护方法的迫切需要。

Oct, 2023

通过关键词隐私、安全、深度神经语言模型、加密和性能，本文提出了一种新颖的方法来改进和优化基于 Transformer 的语言模型，在密钥加密的用户特定文本上进行自适应和微调，以实现在保护性能、隐私和安全性的同时进行推理和训练。

Dec, 2023

本文介绍了一种新的压缩大型语言模型（LLM）的方法：通过使用精确的提示信息作为输入来提高压缩模型的预测准确性，以平衡其准确性和效率。研究表明，压缩 LLMs 通过这种提示学习方法能够匹配或超过原模型的准确性，这为 LLMs 的推断和扩展提供了新的可能性。

May, 2023

基于预训练语言模型和隐私保护的局部差分隐私框架中的语境学习（ICL）的分析研究

May, 2024

当前隐私研究主要集中在大型语言模型（LLM）提取训练数据的问题上。与此同时，模型的推论能力已大幅增强，这引发了一个关键问题：当前的 LLM 是否能通过推断来侵犯个人的隐私。在本研究中，我们提出了关于预训练 LLM 从文本中推断个人属性能力的首个全面研究。我们构建了一个由真实 Reddit 个人资料组成的数据集，并展示出当前 LLM 能够推断广泛的个人属性（如地点、收入、性别），在成本（人类所需的 1%）和时间（人类所需的 2.4%）上达到了高达 85% 的 top-1 准确率和 95.8% 的 top-3 准确率。由于人们越来越多地与 LLM 驱动的聊天机器人进行各个方面的互动，我们还探讨了通过似乎无害的问题来提取个人信息的侵犯隐私聊天机器人的新威胁。最后，我们证明了普遍采用的缓解措施，即文本匿名化和模型对齐，对于保护用户隐私免受 LLM 推断攻击是无效的。我们的研究结果表明，当前的 LLM 能够以以前无法想象的规模推断出个人数据。在缺乏有效防御措施的情况下，我们主张就 LLM 隐私影响展开更广泛的讨论，力求实现更广泛的隐私保护。

Oct, 2023

使用大型语言模型，本研究探索了替代标记符的可行性，以保护用户隐私，分析了不同方法的实验结果，在下游语言建模任务中实现了与原始数据训练相媲美的性能。

Sep, 2023

本文提出了一种简单易行、计算轻量化的扰动机制，保证了模型的隐私性，在不影响模型实用性的情况下，可应用于所有 LLM 模型，解决了 LLM 在隐私保护与重新训练之间的折中问题。

May, 2022

本文介绍了一种名为 Comet 的新型插件方法，可有效降低通信成本并保持竞争性模型性能，通过 GLUE 基准数据集的 Bert 和 RoBERTa 模型评估表明，通信成本降低了最多 3.9 倍，速度提高了 3.5 倍。

May, 2024

这篇论文介绍了一种名为 PromptCrypt 的加密机制，它使用表情符号对用户输入进行加密，保护用户隐私，无论对人类还是 LLM 自身都无法辨别敏感数据，同时保持模型的性能，实现与直接提示 LLM 相比，任务准确性可比甚至更优，突出了保护用户隐私而不损害 LLMs 的功能完整性和性能的加密措施的实用性。

Feb, 2024

预训练语言模型（PLMs）在解决各种自然语言处理（NLP）任务上展现出显著的熟练度。研究人员观察到这些模型的性能和规模之间存在直接关联。最近几年，这些模型的规模明显扩大，研究人员因此采用了大型语言模型（LLMs）这一术语来描述规模较大的 PLMs。增加的规模伴随着一种称为上下文学习（ICL）的特殊能力，它代表了一种专门的提示形式。这使得 LLMs 能够通过展示演示例子的方式在保持模型参数冻结的同时，为特定的下游任务提供利用。尽管有趣，但隐私问题成为其广泛使用的主要障碍。多个研究已经考察了与 ICL 和提示一般相关的隐私风险，并提出了缓解这些风险的技术。因此，有必要为社区整理这些缓解技术。本综述提供了 ICL 和提示一般过程中采用的隐私保护方法的系统概述。我们对该范式下的不同方法进行了回顾、分析和比较。此外，我们提供了可用于开发这些框架的资源的概要。最后，我们讨论了这些框架的局限性，并对需要进一步探索的有希望的领域进行了详细的研究。

Apr, 2024