Nov, 2023

GistScore：使用 Gist 瓶颈学习更好的上下文示例选择表示

PDF
TL;DR使用 GistScore 度量示例 Gisting 的新方法，基于 Fine-tuned 模型实现最新的 in-context learning（ICL），在 21 个不同数据集上，可以获得超过 20% 绝对平均增益，且速度比之前最佳的非训练法提高了数千倍。
large language modelsin-context learningtask examplesgistscorefine-tuned models
发现论文，激发创造
  • 基于覆盖率的上下文学习示例选择

    该研究提出了一种基于覆盖测试输入相关重要方面的信息量评估框架，使用 Set-BSR 来找出信息最丰富的示范集，应用于复杂构成生成任务和多元语言模型中，得出与任务或模型特异性培训相比效果最佳的结果。

    May, 2023

  • 多标签文本分类的上下文学习

    利用预训练的密集检索模型，我们在有限样本设置中的常见意图分类数据集上，以及特定情况下的细粒度情感分类中，优于微调性能。通过多个实验，我们分析了模型对于上下文示例和不同模型规模的利用情况，并展示了在不同领域中需要不同程度上下文示例的相似性、类名的语义内容和示例与标签之间的正确对应。

    Sep, 2023

  • 学习使用 Gist Tokens 压缩提示

    本文提出一种名为 gisting 的方法，使得语言模型可以在不受到提示限制的情况下进行任务处理，通过在指令微调中训练 “要旨” 模型，并仅仅在解码过程中使用它们，可以大大压缩提示量，使得模型可以在保持输出质量的前提下获得更高的计算效率和存储效率。

    Apr, 2023

  • 通过提示强化上下文学习唤醒大型语言模型以进行知识密集型任务

    提出了一种新的学习范式 —— 提示增强的上下文学习（Hint-enhanced In-Context Learning，HICL），通过从示范中提取与查询相关的知识，以更明确的方式提示大型语言模型（LLM），用于开放域问答，从而提高性能。

    Nov, 2023

  • 面向情境学习的信息丰富的少样本提示与最大信息增益

    本文研究了大型语言模型 (Large Language Models, LLMs) 在上下文学习 (In-context Learning, ICL) 方面的能力和稳定性问题，并提出了通过量化数据示例的信息增益 (Information Gain, IG) 来选择具有最大信息增益的样本的方法，同时引入了模板偏差 (template bias) 的校准策略，实验证明该方法能够显著提升三种 LLMs 在六个分类任务上的性能。

    Oct, 2023

  • 大语言模型中上下文案例检索学习

    本文提出了一种新的框架，通过训练密集检索器来识别高质量的上下文示例，进而提高大型语言模型（LLMs）的上下文学习表现。实验证明了该框架可以显著地提高在各种任务上的性能，而且具有良好的泛化能力。

    Jul, 2023

  • 基于检索演示的语言模型的上下文学习：一项调查

    语言模型特别是预训练大型语言模型，在上下文少例学习方面表现出非凡的能力，能够在输入上下文中仅通过几个示例适应新任务。最近的一个发展是使用对每个输入查询量身定制的示例进行检索，这不仅提高了学习过程的效率和可伸缩性，还能减少手动示例选择中固有的偏差。基于鼓舞人心的结果和对检索式少例学习领域日益增长的研究，我们对该领域的研究进行了广泛的概述回顾，在此调查中，我们讨论并比较了检索模型、检索训练程序和推理算法的不同设计选择。

    Jan, 2024

  • 一刀切” 不适用于所有情况：学习在语境中使用多少样本以提高文本分类效果

    在这篇论文中，研究人员提出了一种新的自适应上下文学习 (AICL) 方法，通过预测分类器的 Softmax 后验概率来动态调整在推断中使用的示例数，以提高文本分类任务的性能。

    Mar, 2024

  • 基于度量的上下文学习：一个文本简化案例研究

    基于测量的上下文学习（MBL）方法利用通常用于文本简化的度量标准，通过在各种大小的 GPT 模型上进行大量实验，并且以标准的 TS 基准来展示在大型模型上选择的示例通过最高的 SARI 分数表现最佳，而较小的模型通常通过压缩比表现更好，此外，MBL 对示例排序和域外测试集具有鲁棒性，优于强基线和最新的微调语言模型，最后，我们展示了选择度量标准可以隐式控制大型 GPT 模型的行为，我们的研究提供了一种新的框架来选择 ICL 中的例子，并且证明了它在文本简化任务中的有效性，为更准确高效的 NLG 系统开拓了新局面。

    Jul, 2023

  • RetICL: 采用强化学习的上下文顺序检索示例

    本研究提出了 Retrieval for In-Context Learning (RetICL)，一种可学习的方法，用于模拟和最佳选择逐个该如何为 in-context learning 选择任务例子。它将顺序示例选择问题作为马尔可夫决策过程，使用 LSTM 设计示例检索器模型，并使用 PPO 进行训练。我们在数学问题求解数据集上验证了 RetICL，表明它优于启发式和可学习的基线，并在 TabMWP 数据集上实现了最先进的准确性。我们还使用案例研究展示了 RetICL 隐含学习了数学问题求解策略的表示方式。

    May, 2023