基于预训练语言模型和隐私保护的局部差分隐私框架中的语境学习（ICL）的分析研究

May, 2024

通过建立嘈杂一致性来实现隐私推理，DP-ICL 提出了一个方法，用于使大型语言模型适应新任务同时保持隐私保证，通过在一系列范例上建立嘈杂共识，DP-ICL 在四个基准测试中获得了与非私有 ICL 相当的性能 (<2% 降级)。

May, 2023

提出一种使用形式上具有差分隐私保证的合成少样本演示从私有数据集中生成的新算法，以实现具有效果的上下文学习，并通过与非私有上下文学习和零样本解决方案的比较进行广泛实验，证明该算法可以在强隐私保护的同时获得具有竞争性的性能，这为具有广泛应用范围的上下文学习提供了隐私保护的新可能。

Sep, 2023

使用预训练的大型语言模型（LLMs），DP-LLMTGen 引入了一种新的框架来进行差分私有表格数据合成，通过微调过程模拟敏感数据集并生成多样的合成数据，有效地解决了实际挑战。

Jun, 2024

预训练语言模型（PLMs）在解决各种自然语言处理（NLP）任务上展现出显著的熟练度。研究人员观察到这些模型的性能和规模之间存在直接关联。最近几年，这些模型的规模明显扩大，研究人员因此采用了大型语言模型（LLMs）这一术语来描述规模较大的 PLMs。增加的规模伴随着一种称为上下文学习（ICL）的特殊能力，它代表了一种专门的提示形式。这使得 LLMs 能够通过展示演示例子的方式在保持模型参数冻结的同时，为特定的下游任务提供利用。尽管有趣，但隐私问题成为其广泛使用的主要障碍。多个研究已经考察了与 ICL 和提示一般相关的隐私风险，并提出了缓解这些风险的技术。因此，有必要为社区整理这些缓解技术。本综述提供了 ICL 和提示一般过程中采用的隐私保护方法的系统概述。我们对该范式下的不同方法进行了回顾、分析和比较。此外，我们提供了可用于开发这些框架的资源的概要。最后，我们讨论了这些框架的局限性，并对需要进一步探索的有希望的领域进行了详细的研究。

Apr, 2024

本文概述了大型语言模型的新范式 —— 上下文学习，并探讨了训练策略和演示设计策略等高级技术，以及上下文学习所面临的挑战和未来方向。

Dec, 2022

为了解决设计有效的提示和选择适当的示范的两个挑战，我们提出了一种将 RTE 任务转化为表生成任务的表格提示方法（TableIE），并提出了只选择和注释少量样本的指导式上下文学习方法（I$^2$CL），从而同时解决了 ICL for RTE 中的性能问题。

Feb, 2024

针对多模态 AI 在视觉 - 语言任务中引发的数据隐私问题，提出了基于差分隐私的 CLIP 模型 (Dp-CLIP)，通过梯度裁剪和不满足 DP-SGD 文献分析所假设的平滑条件的损失函数之间的权衡来平衡效用和隐私保护。

Jun, 2023

本研究探讨了大型语言模型利用情境学习来解决只有少量演示的任务的机制，发现情境学习从两个方面发挥作用：任务识别和任务学习，具有不同的性质和特点。

May, 2023

合成数据和生成模型在隐私保护的数据共享解决方案中迅速崛起，并通过在表格综合机上实施全面的实证分析，突出了五种最先进表格综合机的实用 - 隐私权衡，提出了一个新的差分隐私表格潜在扩散模型，称为 DP-TLDM，能够在保持可比较的隐私风险水平的同时，显著提高合成数据的实用性。

Mar, 2024