通过使用基于Edgeworth会计师的有限样本隐私保证DP框架，我们提出了一种针对LLM的DP细调框架ewtune，该框架直接降低了噪声的影响，且在自然语言理解任务上将最新的LLMs性能提高了1.1％。
Oct, 2022
本文提出了基于响应式调整的隐私保护响应式调整（RAPT）框架，结合本地差分隐私的局部隐私设置，通过 token 重建任务与下游任务一起进行训练，旨在提供针对大型语言模型的隐私保障。实验表明，RAPT 在各种任务上均表现出优秀的性能并针对窃密者提供隐私保障。
May, 2023
本文展示了将transformer模型中的运算和通信重负荷的操作替换成隐私计算友好的近似可以大大降低私有推理成本，并比先前最先进的Iron（NeurIPS 2022）获得了5倍计算加速和80%的通信负担减少，同时保持几乎相同的准确性。
对三种LLM（Large Language Models）技术（Low-Rank Adaptation、Soft Prompt Tuning和In-Context Learning）在隐私和安全方面的鲁棒性进行评估，结果表明在LLM适应性中不存在绝对的隐私和安全解决方案。
Oct, 2023
这篇论文探讨了大型语言模型与安全和隐私的交叉领域，研究了它们对安全和隐私的积极影响、潜在的风险和威胁，以及模型本身的固有漏洞。通过全面的文献综述，将研究结果分为“有益”的应用、恶意应用和漏洞及其防御措施。论文还指出了需要进一步研究的领域，并希望通过该研究揭示大型语言模型在加强和危及网络安全方面的潜力。
Dec, 2023
我们提出了一种名为DP-OPT的新解决方案，通过在客户端调整离散提示，然后应用到所需的云模型上，解决了将数据发送给模型提供者进行训练时面临的隐私问题，确保离散提示不泄露个人信息。
Nov, 2023
这篇论文介绍了一种名为PromptCrypt的加密机制，它使用表情符号对用户输入进行加密，保护用户隐私，无论对人类还是LLM自身都无法辨别敏感数据，同时保持模型的性能，实现与直接提示LLM相比，任务准确性可比甚至更优，突出了保护用户隐私而不损害LLMs的功能完整性和性能的加密措施的实用性。
Feb, 2024
本文研究了差分隐私零阶方法在预训练语言模型中的潜力，通过近似梯度避免了 SGD 的可扩展性瓶颈，并提出了动态调度超参数的阶段性差分隐私零阶方法和减少可训练参数的数据无关剪枝技术，从理论和实证分析了这两种方法的效果。
通过开发一个推断隐私保护的大型语言模型框架并提出无免费午餐（NFL）定理，本研究为检验隐私保护和效用之间的相互作用奠定了坚实的理论基础。
May, 2024
利用用户级差分隐私（DP）进行训练大型语言模型（LLMs）的实用和可扩展算法研究，以可证明地保护每个用户贡献的所有示例；通过实验在固定计算预算下验证结果，发现当需要较高的隐私保证或计算预算较大时，用户级抽样和用户级梯度剪切（ULS）通常能提供更好的结果。
Jul, 2024