Feb, 2024

优化上下文示例：是否为 NICE 的？

PDF
TL;DR大型语言模型通过上下文学习与优化可以在广泛的任务上取得显著效果，然而，该研究调查了当提供任务特定指令时，优化上下文示例的必要性，并发现对于某些任务，对上下文示例进行优化产生递减收益，为此引入了用于测量任务可学习性的度量方法，从而提供了一种启发式方法，帮助决定针对任何新任务是优化指令还是优化上下文示例。
large language modelsin-context learningoptimizationtask-specific instructionslearnability
发现论文，激发创造
  • 一刀切” 不适用于所有情况：学习在语境中使用多少样本以提高文本分类效果

    在这篇论文中，研究人员提出了一种新的自适应上下文学习 (AICL) 方法，通过预测分类器的 Softmax 后验概率来动态调整在推断中使用的示例数，以提高文本分类任务的性能。

    Mar, 2024

  • 上下文指导学习

    本文发现采用上下文学习作为指示学习方法（ICIL）可提高预训练和指示微调模型的零样本任务泛化能力，使用固定的单一提示来评估所有任务。

    Feb, 2023

  • 通过质量评估指导 LLMs 的上下文学习来进行机器翻译

    利用领域特定的质量评估（QE）引导的搜索算法，借助 XGLM 模型，本论文提出了一种新的上下文学习（ICL）方法，以预测机器翻译的质量，选择有效的示例以最大化翻译质量，相较于现有 ICL 方法和预训练语言模型（PLM）mBART-50，实验结果显示了显著的改进和更高的翻译性能。

    Jun, 2024

  • 基于度量的上下文学习：一个文本简化案例研究

    基于测量的上下文学习（MBL）方法利用通常用于文本简化的度量标准，通过在各种大小的 GPT 模型上进行大量实验，并且以标准的 TS 基准来展示在大型模型上选择的示例通过最高的 SARI 分数表现最佳，而较小的模型通常通过压缩比表现更好，此外，MBL 对示例排序和域外测试集具有鲁棒性，优于强基线和最新的微调语言模型，最后，我们展示了选择度量标准可以隐式控制大型 GPT 模型的行为，我们的研究提供了一种新的框架来选择 ICL 中的例子，并且证明了它在文本简化任务中的有效性，为更准确高效的 NLG 系统开拓了新局面。

    Jul, 2023

  • 多标签文本分类的上下文学习

    利用预训练的密集检索模型，我们在有限样本设置中的常见意图分类数据集上，以及特定情况下的细粒度情感分类中，优于微调性能。通过多个实验，我们分析了模型对于上下文示例和不同模型规模的利用情况，并展示了在不同领域中需要不同程度上下文示例的相似性、类名的语义内容和示例与标签之间的正确对应。

    Sep, 2023

  • 选择哪些示例进行上下文学习？实现有效和高效的选择

    通过提出 AdaICL 算法，本研究在大型语言模型中探索了一种基于主动学习的方法，通过优化自适应的示例选择策略，提高了性能和预算效率。

    Oct, 2023

  • 上下文信息提取的指导学习

    提出了一种用于上下文信息提取的指南学习（GL）框架，通过学习生成和遵循指南，在学习阶段，自动从少量标注中综合一组指南，在推理阶段，检索有用的指南以提升上下文学习的性能。

    Oct, 2023

  • 由标签分布指导的上下文示例排序

    通过优化问题，研究通过预训练语言模型的上下文学习中的示例排序，以提高文本分类的准确性和选择更好的上下文示例。

    Feb, 2024

  • 在 LLM 中，上下文学习是否足够用于指令遵循？

    通过对长文本 LLMs 进行多个 in-context 学习示例的贪婪选择，我们改进了 ICL 与 URIAL 的对齐效果，但仍未消除与指令微调之间的差距，进一步的削减研究揭示了 ICL 在指令调整的环境中的特殊性，从而推进了对 ICL 作为对齐技术的理解。

    May, 2024

  • 面向情境学习的信息丰富的少样本提示与最大信息增益

    本文研究了大型语言模型 (Large Language Models, LLMs) 在上下文学习 (In-context Learning, ICL) 方面的能力和稳定性问题，并提出了通过量化数据示例的信息增益 (Information Gain, IG) 来选择具有最大信息增益的样本的方法，同时引入了模板偏差 (template bias) 的校准策略，实验证明该方法能够显著提升三种 LLMs 在六个分类任务上的性能。

    Oct, 2023