我们提出了一种名为 Demonstration Augmentation for In-context Learning (DAIL) 的方法，通过利用模型之前预测的历史样本作为后续样本的演示，来解决大型语言模型在零 - shot 学习中依赖外部信息并且生成过程耗时的问题，同时在没有任何外部信息的情况下，DAIL 不增加推理成本可以显著提高模型的性能。

Jun, 2024

在这篇论文中，我们首次从演示增强的角度来解决上下文学习的挑战，通过丰富演示的表示以及集成特定的统计特性，我们提出了一种简单但高效的方法，显著提高了各种预训练语言模型和任务的平均和最坏情况准确性，并有效减少了不同演示、排列和模板之间的性能差异，并且具备处理不平衡类别分布的能力。

Jun, 2024

转述冒犯内容是一种比删除内容更好的选择，有助于提高在交流环境中的文明性。本文利用大型语言模型中的上下文学习来发展可用的转述器，通过有限数量的输入 - 标签对指导模型生成特定查询的期望输出，研究了演示数量和顺序、排除提示指令以及降低有毒性等关键因素。研究表明，上下文学习在生成质量方面与监督方法相媲美，人工评估质量上优于监督方法 25%，并能够将有毒性降低 76%。此外，基于上下文学习的转述器即使仅使用 10% 的训练数据，性能下降也不大。

Oct, 2023

通过并行处理不同批次的样本，依据语义相似性在上下文学习中同时使用所有示范样本，并通过加权平均语义目标选择最合适的标记，从而提高 ICL 的有效性。

Mar, 2024

最近的研究表明，尽管大型语言模型在少样本设置中展示了强大的词汇翻译或双语词典归纳能力，但在无监督场景中（特别是对于资源较少的语言），它们仍无法与 ' 传统 ' 的基于映射方法的性能相媲美。为了解决这一挑战，我们提出了自我增强的上下文学习（SAIL）用于无监督的双语词典归纳：从零样本提示开始，SAIL 迭代地通过从一个 LLM 中归纳一组高置信度的词汇翻译对用于上下文学习（ICL），然后再次应用于同一个 LLM 进行 ICL。我们的方法在两个广泛覆盖的双语词典归纳基准测试中都显著优于 LLMs 的零样本提示，并且在整体上优于基于映射的基准线。除了达到现有无监督双语词典归纳性能的最新水平外，我们还对 SAIL 进行了全面的分析，并讨论了其局限性。

Feb, 2024

提出了一种新的学习范式 —— 提示增强的上下文学习（Hint-enhanced In-Context Learning，HICL），通过从示范中提取与查询相关的知识，以更明确的方式提示大型语言模型（LLM），用于开放域问答，从而提高性能。

Nov, 2023

本文概述了大型语言模型的新范式 —— 上下文学习，并探讨了训练策略和演示设计策略等高级技术，以及上下文学习所面临的挑战和未来方向。

Dec, 2022

通过建立嘈杂一致性来实现隐私推理，DP-ICL 提出了一个方法，用于使大型语言模型适应新任务同时保持隐私保证，通过在一系列范例上建立嘈杂共识，DP-ICL 在四个基准测试中获得了与非私有 ICL 相当的性能 (<2% 降级)。

May, 2023

本论文介绍了一种名为 DIAL 的方法，利用半监督的语言标签，结合 CLIP 的语义理解，将知识传播到大型未标记的数据集中，并在增强的数据集上训练语言条件下的策略，从而使模仿学习策略获得新的能力并推广到原始数据集中未见过的 60 个新指令。

Nov, 2022

基于预训练语言模型和隐私保护的局部差分隐私框架中的语境学习（ICL）的分析研究

May, 2024