使用表格提示解锁上下文学习的指导性关系三元组提取
本文介绍了一种基于大型语言模型的 In-context learning 方法用于文本到 SQL 查询转换中，通过不同的演示选择策略和指令格式来提高 LLMs 性能。实验结果表明，该方法在 Spider 数据集上超出了最先进系统 2.5 个点，超出了最佳微调系统 5.1 个点。
May, 2023
该研究通过实验测量了几种不同的文本生成任务原始模型的表现，对比分析了几种参数有效的适应方法（如提示调整、上下文学习和指导性提示调整），并通过 IPT 探究了这些方法之间的交互作用和优缺点。
Feb, 2023
通过在高质量的真实人类中文对话数据集上对大型语言模型（LLMs）在基于角色的对话生成中的上下文学习能力进行广泛实验，我们的工作填补了上下文学习研究在人类对话生成领域的空白。从实验结果中，我们得出了三个结论：1）调整提示指令是改善生成质量最直接、最有效、最经济的方法；2）随机检索演示（demos）可以取得最好的结果，可能是因为其更大的多样性和有效信息的数量；与查询上下文完全相同的检索演示的表现最差，与直觉相反；3）即使在演示中破坏了多轮关联和单轮语义，增加演示数量仍然可以提高对话性能，证明了 LLMs 可以从损坏的对话演示中进行学习。先前对 ICL 机制的解释，例如 $n$-gram 归纳头，不能完全解释这一现象。
Feb, 2024
我们提出了一种新的方法，Adversarial In-Context Learning (adv-ICL)，通过使用一个 LLM 作为生成器，另一个作为鉴别器，以及第三个作为提示修改器来优化背景学习中的提示。我们表明，adv-ICL 在包括摘要、算术推理、机器翻译、数据生成和 MMLU 和 big-bench 难度基准等 11 个生成和分类任务上，相对于最先进的提示优化技术取得了显著的改进。此外，由于我们的方法使用预训练模型，并且仅更新提示而不是模型参数，它在计算上是高效的，易于扩展到任何 LLM 和任务，并且在资源有限的环境中是有效的。
Dec, 2023
使用差分隐私来保护使用表格数据的上下文学习，通过在序列化和提示之前对数据进行隐私保护，探究两个具有可证明隐私保障的私密上下文学习框架，并在真实世界的表格数据集和多个上下文学习与差分隐私设置下进行评估，结果显示基于差分隐私的上下文学习可以保护底层表格数据的隐私，同时实现与非语言模型基线相当的性能，尤其是在高隐私保护模式下。
Mar, 2024
本文介绍了 Zero-RTE 任务及其解决方案 —— 使用结构化的提示模板来生成合成关系样本，并使用三元组搜寻解码方法来克服在句子中提取多个关系三元组的限制。实验表明，RelationPrompt 对于 Zero-RTE 任务和零样本关系分类非常有效。
Mar, 2022
本研究提出了 Retrieval for In-Context Learning (RetICL)，一种可学习的方法，用于模拟和最佳选择逐个该如何为 in-context learning 选择任务例子。它将顺序示例选择问题作为马尔可夫决策过程，使用 LSTM 设计示例检索器模型，并使用 PPO 进行训练。我们在数学问题求解数据集上验证了 RetICL，表明它优于启发式和可学习的基线，并在 TabMWP 数据集上实现了最先进的准确性。我们还使用案例研究展示了 RetICL 隐含学习了数学问题求解策略的表示方式。
May, 2023
使用 c-ICL 方法，通过整合正确和错误的示例构造，通过使用正确的示例以及最近的正类示例，通过上下文学习展示来提高大型语言模型在信息提取方面的性能。
Feb, 2024
该论文提出了一个简单框架 prompt-SelF，以增强视觉上下文学习的推理性能。通过实验证明 prompt selection 和 prompt fusion 是影响视觉上下文学习性能的主要因素之一。在单物体分割和检测任务上，prompt-SelF 在 1-shot 分割方面优于基于元学习的 OSLSM，展示了视觉上下文学习的巨大潜力。
Apr, 2023