修正上下文学习中的演示快捷方式

Mar, 2024

修正上下文学习中的演示快捷方式

Rectifying Demonstration Shortcut in In-Context Learning

Joonwon Jang, Sanghwan Jang, Wonbin Kweon, Minjin Jeon, Hwanjo Yu

TL;DR大型语言模型通过它们的上下文学习能力能够只使用几个示例来解决各种任务。然而，LLMs 通常依赖于它们预先训练的演示案例的语义先验知识而不是依靠输入 - 标签关系来进行上下文学习预测。本研究有意解决这个现象，引入了一种称为 “演示捷径” 的现象。通过介绍一种演示感知的校准方法 ——In-Context Calibration，我们旨在使 LLM 能够有效地从示例中学习新的输入 - 标签关系。我们在两个场景下评估了所提出方法的有效性：（1）使用标准标签空间的原始上下文学习任务和（2）任务学习设置，其中标签空间由语义上不相关的令牌替代。在这两个场景中，In-Context Calibration 表现出显著的改进效果，并在多个 LLM 家族（OPT，GPT 和 Llama2）的各种配置下推广得到了结果。

Abstract

large language models (LLMs) are able to solve various tasks with only a few demonstrations utilizing their in-context learning (ICL) abilities. However, LLMs often rely on their pre-trained semantic priors of de

large language models in-context learning demonstration shortcut in-context calibration task learning

发现论文，激发创造

博士 ICL: 演示检索上下文学习

本研究表明，在语义上相似的演示可以提高大型语言模型的性能，这可以通过呈现一些示范来完成，并且可以有效地对大量语言和任务进行泛化，同时，我们还引入了任务特定的演示检索器，以进一步提高性能。

May, 2023

具有大型语言模型的语境中感知歧义学习

通过对三个文本分类任务的广泛实验，我们发现在选择演示示例时，不仅选择语义上相似的演示示例有益，还选择那些有助于解决测试示例周围固有标签模糊性的演示示例。有趣的是，我们发现包括之前被 LLM 错误分类并且与测试示例的决策边界相近的演示示例能够带来最大的性能提升。

Sep, 2023

在情境学习中，可比较的示范至关重要：对示范选择的新视角

该研究从一种新的视角探索了 In-Context Learning (ICL) 机制，通过构建 Comparable Demonstrations (CDs) 来减少演示偏差，从而提供了对 ICL 演示选择策略的更深入理解。

Dec, 2023

通过演示重放改善上下文学习的输入 - 标签映射

提出了一种名为 RdSca 的新型 ICL 方法，通过重复展示和滑动因果注意力相结合，显著改善了 ICL 演示中的输入 - 标签映射，并针对自定义因果注意力进行了深入分析，从而解决了之前研究中未被探索的问题。

Oct, 2023

逐步学习：通过课程学习增强上下文学习能力

演示排序是上下文学习中的重要策略，对大型语言模型的性能有显著影响。我们提出了少样本上下文课程学习（ICCL），一种简单但有效的演示排序方法，其在推理过程中逐渐增加提示演示的复杂性。通过设计三个实验来探讨 ICCL 的有效性、LLM 的 ICCL 能力形成机制以及排序主题的影响，实验结果表明，ICCL 在指导调整阶段对开源 LLM 有效。此外，与人类相比，LLM 对演示的难度层次辨别能力较弱。我们在此 https URL 上发布了我们的代码。

Feb, 2024

针对大型语言模型的对抗性演示攻击

本文研究了使用演示数据对大型语言模型（LLMs）进行上下文学习（ICL）的安全问题，并通过 TextAttack 提出了一种只操纵演示而不改变输入的 ICL 攻击方法，结果表明，随着演示数量的增加，ICL 的鲁棒性会降低，并呼吁对 ICL 的鲁棒性进行广泛研究，特别是在 LLMs 的发展中。

May, 2023

通过隐式示范增强上下文学习

在这篇论文中，我们首次从演示增强的角度来解决上下文学习的挑战，通过丰富演示的表示以及集成特定的统计特性，我们提出了一种简单但高效的方法，显著提高了各种预训练语言模型和任务的平均和最坏情况准确性，并有效减少了不同演示、排列和模板之间的性能差异，并且具备处理不平衡类别分布的能力。

Jun, 2024

关于上下文学习的内容：“学习” 上下文中的任务识别和任务学习的区别

本研究探讨了大型语言模型利用情境学习来解决只有少量演示的任务的机制，发现情境学习从两个方面发挥作用：任务识别和任务学习，具有不同的性质和特点。

May, 2023

Self-ICL: 自生成示范的零样本上下文学习

本文提出了 Self-ICL，一种基于零 - shot 学习的简单框架，用于优化大型语言模型的内在能力，并创造了虚拟演示的概念以有效地进行 ICL。通过在 BIG-Bench Hard 上进行的评估，该方法能够显着提高模型的性能。

May, 2023

统一演示选择与压缩以实现上下文学习

ICL 的框架 UniICL 通过一个冻结的 LLM 统一了演示选择、演示压缩和响应生成，并实现了有效的缩放，从 4-shot 到 64-shot 的 ICL 提高了 12 倍。

May, 2024