DP-OPT：隐私保护的大型语言模型优化器
使用 DP-Prompt 及类似 ChatGPT 的强大语言模型在 IMDB 数据集上进行实验，发现其能够有效减少 de-anonymization 攻击成功率，并在与现有方法相比设计更简单的情况下，完全恢复了清洁情感 F1 分数，同时在对抗静态攻击者和自适应攻击者方面分别实现了 46% 和 26% 的减少
Oct, 2023
本文提出了基于响应式调整的隐私保护响应式调整（RAPT）框架，结合本地差分隐私的局部隐私设置，通过 token 重建任务与下游任务一起进行训练，旨在提供针对大型语言模型的隐私保障。实验表明，RAPT 在各种任务上均表现出优秀的性能并针对窃密者提供隐私保障。
May, 2023
本文研究了大型语言模型的隐私问题，提出了一种私有化的学习提示方法，通过在一群带有不同提示的随机语言模型中进行嘈杂的投票，以私有方式转移其知识，并展示了该方法的实用性和有效性。
May, 2023
通过在公共数据上进行预训练可以改善差分隐私联合学习 (FL) 的性能。本文研究了如何利用在公共数据上训练的大规模语言模型 (LLMs) 来改善与 DP 和 FL 一起训练的设备上语言模型的预训练数据的质量。我们精心设计了 LLM 提示来过滤和转换现有公共数据，并生成类似于真实用户数据分布的新数据。在 Gboard 的真实用户数据上进行评估时，我们在合成数据集上预训练的模型相对于在标准公共数据集上预训练的基线模型在下一个单词预测准确性方面分别实现了 19.0% 和 22.8% 的改善。此外，在数百万台移动设备上进行差分隐私 FL 调优期间，我们的方法达到了优于或可与基线相媲美的评估准确性，而我们的最终模型在生产 A/B 测试中优于基线。我们的实验证明了 LLMs 在合成接近私有分布的数据时的优势，即使不访问私有数据，还提出了进一步减少分布差距的未来研究方向。
Apr, 2024
自动提示优化是改进大型语言模型性能的重要方法。本文提出了一种新颖的视角，通过与基于梯度的模型优化器进行类比，设计了改进的 LLM-based 提示优化器的策略。实验结果表明 GPO 具有有效性和高效性，并分别相对基准方法在 Big-Bench Hard 和 MMLU 上带来了多达 56.8% 和 55.3% 的额外改进。
Feb, 2024
使用全局差分隐私的方法，通过训练生成式语言模型并从中采样数据来保护数据分享者的隐私，并通过新的匹配损失设计自然语言提示，得出高质量的文本数据集，这些数据集不仅不会泄露原始数据的信息，而且还适合训练用于分析真实世界数据的模型，同样证明基于私有合成数据训练分类器的性能优于直接基于真实数据使用 DP-SGD 进行训练。
Oct, 2022
在此工作中，我们提出了一种名为 OPRO 的优化方法，利用大型语言模型作为优化器，通过自然语言描述优化任务。我们首先展示了 OPRO 在线性回归和旅行商问题上的应用，然后转向优化提示，目标是找到最大化任务准确性的指令。我们通过多种大型语言模型的实验证明，OPRO 通过优化提示的方式胜过人工设计的提示，在 GSM8K 上提高了最多 8％，在 Big-Bench Hard 任务上提高了最多 50％。
Sep, 2023
基于对话的基于策略梯度的离散提示优化方法通过多轮对话适应性策略生成可读性提示集，并提出了具有线性复杂度的高质量提示筛选度量和基于策略梯度的强化学习框架，优于四个开源数据集上平均 1.52％的最先进方法，在只使用少量的预训练语言模型参数进行学习的少样本设置中，$DP_2O$ 具有良好的通用性、稳健性和泛化能力。
Aug, 2023
使用预训练的语言模型以及非标准化超参数和 fine-tuning 目标结合 DP 优化技术，可在中等规模的语料库上获得胜过强基线和同一隐私预算下的 DP-trained 模型的 NLP 模型。我们还提出了一种内存节省技术来解决在大型 Transformers 上运行 DP-SGD 的计算难题，该技术可以使得 clip 在 DP-SGD 中运行而无需对模型中的任何线性层实例化每个样本的梯度，成本与非隐私的训练相当，并且有适度的运行时间开销。
Oct, 2021