EMNLPFeb, 2022

重新思考演示的作用：何为情境学习的关键？

PDF
TL;DR本研究分析显示：大型语言模型不需要准确的演示，而是通过演示提供的标签空间、输入文本的分布和序列的整体格式等方面驱动任务表现的提高。因此，揭示了语境学习的原理和作用方式，同时提出了新的问题，即能否仅仅通过推理来学习大型语言模型的更多内容。
large language modelsin-context learningdemonstrationsend task performancesequence format
发现论文，激发创造
  • 大型语言模型隐含主题模型：解释和寻找上下文学习的良好示范

    本文从贝叶斯的角度出发，将大型语言模型视作主题模型，提出了一种从标注数据中选择最佳示范的算法，并在实际数据集中证明相对于随机选择基线，平均有 12.5% 的显著改进。研究表明，大型语言模型从示范中隐式地推断出潜在的概念变量。

    Jan, 2023

  • 示威活动对多语种场景学习的影响：多维度分析

    通过多维度分析多语言上下文学习对不同模型、任务和语言的效果，发现演示的有效性在各个方面有显著差异，并且发现 Llama 2-Chat、GPT-3.5 和 GPT-4 对演示的质量基本不敏感。相反，精心设计的模板往往完全消除了某些任务和语言的演示效果，这表明可能高估了演示的重要性。我们的工作强调了在多个方面进行细致评估以更好地理解上下文学习的需求。

    Feb, 2024

  • 上下文中缺少什么？利用信息化演示评估少样学习器

    通过挑选与预测样本分享特定信息的示范来区分少样本学习者的能力，结果表明现有的少样本学习者不利用信息，并且暴露了训练真正的上下文学习者的挑战。

    Dec, 2022

  • 关于上下文学习的内容：“学习” 上下文中的任务识别和任务学习的区别

    本研究探讨了大型语言模型利用情境学习来解决只有少量演示的任务的机制，发现情境学习从两个方面发挥作用：任务识别和任务学习，具有不同的性质和特点。

    May, 2023

  • 上下文学习的主动样本选择

    通过示例展示了大规模语言模型通过上下文学习实现各种任务的强大能力，为解决示例选择的不稳定性问题，提出了一种基于强化学习的算法用于识别泛化策略，以选择最佳示例以提高模型性能和泛化能力。

    Nov, 2022

  • 上下文学习作为隐式贝叶斯推断的解释

    本研究探讨了大语言模型中的上下文学习现象，并证明了基于长期相关性的预训练可以促进上下文学习。通过人工合成数据集，实验结果表明了模型规模对上下文学习的影响，以及例子顺序和零样本学习等现象。

    Nov, 2021

  • 具有大型语言模型的语境中感知歧义学习

    通过对三个文本分类任务的广泛实验，我们发现在选择演示示例时，不仅选择语义上相似的演示示例有益，还选择那些有助于解决测试示例周围固有标签模糊性的演示示例。有趣的是，我们发现包括之前被 LLM 错误分类并且与测试示例的决策边界相近的演示示例能够带来最大的性能提升。

    Sep, 2023

  • 语言模型在上下文中学习什么？结构任务假设

    本文通过一系列来自常见文本分类任务的实验，实证地探索了解释大型语言模型（LLMs）在上下文中学习的三种假设，证伪了前两种假设，并提供了支持最后一种假设的证据。结果表明，LLMs 能够通过组合在预训练期间学习的任务来上下文中学习一个新任务。

    Jun, 2024

  • 大语言模型上下文学习的主动学习原则

    本文旨在探讨如何使用主动学习算法作为选择最佳演示文稿的方法来服务于上下文学习，对比了基于不确定性、多样性和相似性等各种标准的演示文稿选择算法，并表明相似性算法胜过其他所有方法，包括随机抽样和不确定性抽样。

    May, 2023

  • 基于检索演示的语言模型的上下文学习：一项调查

    语言模型特别是预训练大型语言模型，在上下文少例学习方面表现出非凡的能力，能够在输入上下文中仅通过几个示例适应新任务。最近的一个发展是使用对每个输入查询量身定制的示例进行检索，这不仅提高了学习过程的效率和可伸缩性，还能减少手动示例选择中固有的偏差。基于鼓舞人心的结果和对检索式少例学习领域日益增长的研究，我们对该领域的研究进行了广泛的概述回顾，在此调查中，我们讨论并比较了检索模型、检索训练程序和推理算法的不同设计选择。

    Jan, 2024