本文提出 $k$NN Prompting 作为在上下文学习中的一种简单有效的解决方案，该方法可以解决由于上下文长度限制导致的训练数据规模不可扩展的问题，并且不需要校准参数，可以有效地缩放数据。

Mar, 2023

通过在大型语言模型中使用代码风格的上下文学习方法，从而解决了知识基础问题回答中逻辑格式错误的问题，并在少样本设置下实现了 WebQSP、GrailQA 和 GraphQ 等主流数据集上的最新技术水平。

Sep, 2023

本文提出了一种新的提示框架 P-ICL，通过利用一些点实体作为辅助信息实现更精确的大型语言模型（LLMs）实体分类，并提出了基于 K-Means 聚类的点实体选择方法。在一些代表性的命名实体识别基准测试中，我们的实验证实了 P-ICL 和点实体选择策略的有效性。

May, 2024

本文介绍了一种基于大型语言模型的 In-context learning 方法用于文本到 SQL 查询转换中，通过不同的演示选择策略和指令格式来提高 LLMs 性能。实验结果表明，该方法在 Spider 数据集上超出了最先进系统 2.5 个点，超出了最佳微调系统 5.1 个点。

May, 2023

通过使用通用编程语言和结构化领域描述来改善语义解析的效果，能够显著提高准确性，并缩小了易于解析的数据集和复杂数据集之间的性能差距。

Nov, 2023

本文概述了大型语言模型的新范式 —— 上下文学习，并探讨了训练策略和演示设计策略等高级技术，以及上下文学习所面临的挑战和未来方向。

Dec, 2022

提出了一种新的学习范式 —— 提示增强的上下文学习（Hint-enhanced In-Context Learning，HICL），通过从示范中提取与查询相关的知识，以更明确的方式提示大型语言模型（LLM），用于开放域问答，从而提高性能。

Nov, 2023

通过并行处理不同批次的样本，依据语义相似性在上下文学习中同时使用所有示范样本，并通过加权平均语义目标选择最合适的标记，从而提高 ICL 的有效性。

Mar, 2024

利用预训练的密集检索模型，我们在有限样本设置中的常见意图分类数据集上，以及特定情况下的细粒度情感分类中，优于微调性能。通过多个实验，我们分析了模型对于上下文示例和不同模型规模的利用情况，并展示了在不同领域中需要不同程度上下文示例的相似性、类名的语义内容和示例与标签之间的正确对应。

Sep, 2023

通过加上自然语言解释，人工智能模型在各种任务中有了显著提升，但在遇到对抗性输入时，效果下降。本文研究了如何通过加入自然语言解释来提高模型对七个对抗性和具有挑战性的自然语言推理数据集的鲁棒性，并提出了 ChatGPT 的几个人工生成的自然语言解释来产生更多自然语言解释的新方法，表现更好。通过对五种常见的大语言模型进行评估，我们发现 ChatGPT 的几个人工生成的自然语言解释的 X-ICL 方法比 ICL 方法提高了 6% 以上。此外，我们还发现之前能有效提高 ICL 性能的提示选择策略，在鲁棒性评估中并不具有与 X-ICL 范式相称的效果。

Nov, 2023