局部差分私有化上下文学习
通过建立嘈杂一致性来实现隐私推理，DP-ICL 提出了一个方法，用于使大型语言模型适应新任务同时保持隐私保证，通过在一系列范例上建立嘈杂共识，DP-ICL 在四个基准测试中获得了与非私有 ICL 相当的性能 (<2% 降级)。
May, 2023
提出一种使用形式上具有差分隐私保证的合成少样本演示从私有数据集中生成的新算法，以实现具有效果的上下文学习，并通过与非私有上下文学习和零样本解决方案的比较进行广泛实验，证明该算法可以在强隐私保护的同时获得具有竞争性的性能，这为具有广泛应用范围的上下文学习提供了隐私保护的新可能。
Sep, 2023
使用差分隐私来保护使用表格数据的上下文学习，通过在序列化和提示之前对数据进行隐私保护，探究两个具有可证明隐私保障的私密上下文学习框架，并在真实世界的表格数据集和多个上下文学习与差分隐私设置下进行评估，结果显示基于差分隐私的上下文学习可以保护底层表格数据的隐私，同时实现与非语言模型基线相当的性能，尤其是在高隐私保护模式下。
Mar, 2024
通过引入一种新的对上下文学习的颠覆性攻击方法，本文展示了一种能够利用 LMLs 来生成针对性响应的方法，并通过对各种任务和数据集的广泛实验结果证明了其有效性。
Nov, 2023
预训练语言模型（PLMs）在解决各种自然语言处理（NLP）任务上展现出显著的熟练度。研究人员观察到这些模型的性能和规模之间存在直接关联。最近几年，这些模型的规模明显扩大，研究人员因此采用了大型语言模型（LLMs）这一术语来描述规模较大的 PLMs。增加的规模伴随着一种称为上下文学习（ICL）的特殊能力，它代表了一种专门的提示形式。这使得 LLMs 能够通过展示演示例子的方式在保持模型参数冻结的同时，为特定的下游任务提供利用。尽管有趣，但隐私问题成为其广泛使用的主要障碍。多个研究已经考察了与 ICL 和提示一般相关的隐私风险，并提出了缓解这些风险的技术。因此，有必要为社区整理这些缓解技术。本综述提供了 ICL 和提示一般过程中采用的隐私保护方法的系统概述。我们对该范式下的不同方法进行了回顾、分析和比较。此外，我们提供了可用于开发这些框架的资源的概要。最后，我们讨论了这些框架的局限性，并对需要进一步探索的有希望的领域进行了详细的研究。
Apr, 2024
利用预训练的密集检索模型，我们在有限样本设置中的常见意图分类数据集上，以及特定情况下的细粒度情感分类中，优于微调性能。通过多个实验，我们分析了模型对于上下文示例和不同模型规模的利用情况，并展示了在不同领域中需要不同程度上下文示例的相似性、类名的语义内容和示例与标签之间的正确对应。
Sep, 2023
本研究探讨了大型语言模型利用情境学习来解决只有少量演示的任务的机制，发现情境学习从两个方面发挥作用：任务识别和任务学习，具有不同的性质和特点。
May, 2023
大型语言模型（LLMs）在上下文学习（ICL）方面展示了显着的能力，在没有明确预训练的情况下，仅通过少量的训练示例学习新任务。然而，尽管 LLMs 获得了成功，对于 ICL 如何从给定的提示中学习知识却知之甚少。在本文中，为了对 ICL 的学习行为有所了解，我们通过 ICL 和监督学习 (SL) 分别使用相同的演示示例训练相同的 LLMs，并研究它们在一系列分类任务中在标签扰动（即嘈杂标签和标签不平衡）下的表现。通过广泛的实验证明，我们首先发现黄金标签对下游上下文性能有显著影响，尤其是对于大型语言模型；然而，对于所有模型大小，不平衡标签对 ICL 的影响较小。其次，通过与 SL 进行比较，我们实证表明 ICL 对标签扰动的敏感性较低，并且随着模型大小的增加，ICL 逐渐获得与 SL 相当的性能。
Jul, 2023
大型语言模型（LLM）通过上下文学习（ICL）的关键能力成为 AI 的强大工具，本研究探讨了不同规模的模型在 ILC 行为上的不同性质，并在两个设定下分析了变压器的注意力机制与 ICL 的关系。
May, 2024