ACLMay, 2024

通过数据压缩进行有效的上下文示例选择

PDF
TL;DR本文提出了一种数据压缩方法来选择上下文示例，引入了一个两阶段的方法，可以有效选择相关示例，并在上下文示例中保留足够的训练数据集信息。使用四个语言模型，在五个不同的真实世界数据集上，我们的方法显示了平均 5.90% 的显著改进。
in-context learningexample selectiondata compression approachtwo-stage methodlanguage models
发现论文，激发创造
  • 多特征机器翻译中的上下文示例选择

    本文提出了一种基于回归函数的实例选择方法，结合了多种影响例子选择的因素，可以显著提高翻译质量，平均提高超过 2.5 个 COMET 点。

    May, 2023

  • 上下文学习的主动样本选择

    通过示例展示了大规模语言模型通过上下文学习实现各种任务的强大能力，为解决示例选择的不稳定性问题，提出了一种基于强化学习的算法用于识别泛化策略，以选择最佳示例以提高模型性能和泛化能力。

    Nov, 2022

  • 贝叶斯示例选择提高语音、文本和视觉多模态的上下文学习

    基于大语言模型，提出了一种用于上下文学习的贝叶斯上下文示例选择方法（ByCS），通过基于贝叶斯定理的上下文示例条件概率推理，选择准确的倒推结果来提高性能，并通过多样性和广泛的跨任务和跨模态实验证明了该方法的有效性和鲁棒性。

    Apr, 2024

  • 压缩上下文以增强大型语言模型的推理效率

    使用选择性上下文方法（Selective Context）可以显著提高大型语言模型（LLMs）的推理效率，减少内存占用和推理时间，并在维持可比较性能的基础上实现对上下文成本的 50％降低，36％的推理内存使用率降低以及 32％的推理时间降低。

    Oct, 2023

  • 寻找上下文学习的支持例子

    本文提出了一种基于语言模型的支持性示例挑选方案，通过两阶段的方法解决了 NP-hard 组合优化问题并使用多样性引导的波束搜索方法优化选定示例的性能，进一步实验证明了我们方法的有效性和 “支持性示例” 和 “上下文学习” 的相关特征。

    Feb, 2023

  • 超越词匹配：句法改善机器翻译上下文示例选择

    本文提出了一种基于语法的上下文示例选择方法，通过计算依存树之间的句法相似性，结合了词级和语法级别的选择标准，实验证明语法能够有效增强机器翻译的上下文学习，获得 11 个翻译方向中 COMET 得分最高。

    Mar, 2024

  • 机器翻译中的上下文示例选择

    本研究探讨了机器翻译中上下文例句的属性对于翻译质量的影响，其结论是单个优化的例句可以产生出色的效果，增加相似性的例句可以显著提高输出的翻译质量。

    Dec, 2022

  • 大语言模型中上下文案例检索学习

    本文提出了一种新的框架，通过训练密集检索器来识别高质量的上下文示例，进而提高大型语言模型（LLMs）的上下文学习表现。实验证明了该框架可以显著地提高在各种任务上的性能，而且具有良好的泛化能力。

    Jul, 2023

  • 具有影响力的上下文示例选择

    本文通过使用 in-context 影响性分析 few-shot in-context learning 性能，提出了基于影响的示例选择方法，该方法在 10 个 SuperGlue 任务上优于大多数基线，并且随着 k-shot 的增加而稳定扩展。分析发现最积极和最消极的示例之间的性能差距高达 22.2％。在案例研究中，我们应用影响力框架来量化 few-shot in-context learning 中的近期偏差现象。

    Feb, 2023

  • 上下文学习的组合范例

    本文提出了 CEIL 算法以及其应用在 NLP 中，其将 in-context example selection 视为子集选择问题，并通过 Contrastive Learning Objective 进行优化，用于在 12 个分类和生成数据集上验证其性能。CEIL 展示了最先进的性能以及可传输性和组合性，并在 “In-Context Learning” 领域中开辟了新途径。

    Feb, 2023