随机鹦鹉群：针对大型语言模型的差分隐私提示学习

May, 2023

随机鹦鹉群：针对大型语言模型的差分隐私提示学习

Flocks of Stochastic Parrots: Differentially Private Prompt Learning for Large Language Models

Haonan Duan, Adam Dziedzic, Nicolas Papernot, Franziska Boenisch

TL;DR本文研究了大型语言模型的隐私问题，提出了一种私有化的学习提示方法，通过在一群带有不同提示的随机语言模型中进行嘈杂的投票，以私有方式转移其知识，并展示了该方法的实用性和有效性。

Abstract

large language models (LLMs) are excellent in-context learners. However, the sensitivity of data contained in prompts raises privacy concerns. Our work first shows that these concerns are valid: we instantiate a

large language models privacy concerns membership inference attack private gradient descent noisy vote

发现论文，激发创造

DP-OPT：隐私保护的大型语言模型优化器

我们提出了一种名为 DP-OPT 的新解决方案，通过在客户端调整离散提示，然后应用到所需的云模型上，解决了将数据发送给模型提供者进行训练时面临的隐私问题，确保离散提示不泄露个人信息。

Nov, 2023

使用零射击启发局部差分隐私文档生成

使用 DP-Prompt 及类似 ChatGPT 的强大语言模型在 IMDB 数据集上进行实验，发现其能够有效减少 de-anonymization 攻击成功率，并在与现有方法相比设计更简单的情况下，完全恢复了清洁情感 F1 分数，同时在对抗静态攻击者和自适应攻击者方面分别实现了 46% 和 26% 的减少

Oct, 2023

激励公共大型语言模型为私人设备应用合成数据

通过在公共数据上进行预训练可以改善差分隐私联合学习 (FL) 的性能。本文研究了如何利用在公共数据上训练的大规模语言模型 (LLMs) 来改善与 DP 和 FL 一起训练的设备上语言模型的预训练数据的质量。我们精心设计了 LLM 提示来过滤和转换现有公共数据，并生成类似于真实用户数据分布的新数据。在 Gboard 的真实用户数据上进行评估时，我们在合成数据集上预训练的模型相对于在标准公共数据集上预训练的基线模型在下一个单词预测准确性方面分别实现了 19.0% 和 22.8% 的改善。此外，在数百万台移动设备上进行差分隐私 FL 调优期间，我们的方法达到了优于或可与基线相媲美的评估准确性，而我们的最终模型在生产 A/B 测试中优于基线。我们的实验证明了 LLMs 在合成接近私有分布的数据时的优势，即使不访问私有数据，还提出了进一步减少分布差距的未来研究方向。

Apr, 2024

可靠的免梯度和免似然函数提示调整

本文提出了一种适应预训练语言模型的技术，这种技术在只有 API 访问的情况下，通过软提示调整的方法进行微调，并且不需要访问 PLM 的任何内部表示，同时学习的提示分布可以量化预测的不确定性。通过大量实验证明这种方法可以和基于梯度的完全访问 PLM 方法相竞争甚至超过它们。

Apr, 2023

探索基于提示学习范式的小型语言模型用于高效的领域特定文本分类

在本研究中，我们调查了小语言模型（具有不到 10 亿参数）与 prompt-learning 范例相结合，在零样本和少样本场景下针对零售业中客户 - 代理商互动的领域特定文本分类的潜力。我们的评估结果显示，在少样本设置下进行基于提示的模型微调时，220M 参数的典型小语言模型 T5-base 可以在有限的标记数据（高达全数据的 15%）上实现约 75% 的准确性，显示了小语言模型与 prompt-learning 的巨大潜力。基于此，我们进一步验证了主动少样本抽样和 prompt-learning 流程中的集成策略对显著性能提升的有效性。此外，在固定模型的零样本设置中，我们强调了一个关键的观察结果，即尽管具有约 1540B 参数的 GPT-3.5-turbo 可以达到 55.16% 的准确性，但当仅有 0.5% 参数的 FLAN-T5-large 使用经过优化的提示时，其准确性超过 31%，相比使用未经优化提示的准确性提升了近 13%。我们的发现强调了使用小语言模型进行 prompt-learning 的分类任务中的潜力，强调了主动少样本抽样和集成策略在少样本设置中的好处，并强调了零样本设置中提示工程的重要性。

Sep, 2023

一种混合软提示的可控数据生成方法

本文介绍了一种利用大型语言模型作为数据增强工具的技术，即利用软提示的混合模型进行参数有效的数据生成，并通过去噪机制提高生成数据的质量，此方法能够在复杂预测任务中实现对标签语义的保留，达到优于强基准的最新结果。

Mar, 2023

探究预训练语言模型的抽奖提示

本文提出了一种基于逐个样例级别的 Prompt 搜索方法，然后使用 Prompt 集成方法将搜索到的强彩票 Prompts 推广到未见过的数据上。实验结果表明，该方法与其他无梯度、无优化基线方法相比能够取得可比的结果。

May, 2023

稳健语言模型的提示扰动一致性学习

大型语言模型对于自然语言处理任务表现出色，但在序列标注任务（如意图分类和槽位填充）中的表现明显落后于判别模型。本文通过 fine-tuning 大型语言模型并使用一种有效的减小性能下降的方法，Prompt Perturbation Consistency Learning（PPCL），成功地提高了序列标注任务的性能，并且使用更少的数据样本击败了数据增强方法。

Feb, 2024

面向预训练语言模型的黑盒提示学习

本文提出了一种针对预训练语言模型的黑盒离散提示学习方法，实现了在云端和边缘设备之间的高效协作，并在此基础上对各种数据大小、提示长度、训练预算、优化目标、提示可转移性和解释方面进行了深入的案例研究，证明了该算法在 8 个基准测试中取得了显著的改进。

Jan, 2022

大语言模型的公平指导少样本提示

本文提出了一个度量标准，评估了一个固定提示对标签或给定属性的预测偏差，并提出了一种新的基于贪心搜索的搜索策略来确定最佳提示，以提高上下文学习的性能，并在多种下游任务中使用 GPT-3 等最先进的主流模型进行全面实验。结果表明，我们的方法可以有效提高模型的在上下文学习性能。

Mar, 2023