Apr, 2024

贝叶斯示例选择提高语音、文本和视觉多模态的上下文学习

PDF
TL;DR基于大语言模型，提出了一种用于上下文学习的贝叶斯上下文示例选择方法（ByCS），通过基于贝叶斯定理的上下文示例条件概率推理，选择准确的倒推结果来提高性能，并通过多样性和广泛的跨任务和跨模态实验证明了该方法的有效性和鲁棒性。
large language modelsin-context learningin-context example selectionbayesian in-context example selectioncross-tasking and cross-modality experiments
发现论文，激发创造
  • 具有影响力的上下文示例选择

    本文通过使用 in-context 影响性分析 few-shot in-context learning 性能，提出了基于影响的示例选择方法，该方法在 10 个 SuperGlue 任务上优于大多数基线，并且随着 k-shot 的增加而稳定扩展。分析发现最积极和最消极的示例之间的性能差距高达 22.2％。在案例研究中，我们应用影响力框架来量化 few-shot in-context learning 中的近期偏差现象。

    Feb, 2023

  • 基于覆盖率的上下文学习示例选择

    该研究提出了一种基于覆盖测试输入相关重要方面的信息量评估框架，使用 Set-BSR 来找出信息最丰富的示范集，应用于复杂构成生成任务和多元语言模型中，得出与任务或模型特异性培训相比效果最佳的结果。

    May, 2023

  • 选择哪些示例进行上下文学习？实现有效和高效的选择

    通过提出 AdaICL 算法，本研究在大型语言模型中探索了一种基于主动学习的方法，通过优化自适应的示例选择策略，提高了性能和预算效率。

    Oct, 2023

  • 超越词匹配：句法改善机器翻译上下文示例选择

    本文提出了一种基于语法的上下文示例选择方法，通过计算依存树之间的句法相似性，结合了词级和语法级别的选择标准，实验证明语法能够有效增强机器翻译的上下文学习，获得 11 个翻译方向中 COMET 得分最高。

    Mar, 2024

  • 由标签分布指导的上下文示例排序

    通过优化问题，研究通过预训练语言模型的上下文学习中的示例排序，以提高文本分类的准确性和选择更好的上下文示例。

    Feb, 2024

  • 一刀切” 不适用于所有情况：学习在语境中使用多少样本以提高文本分类效果

    在这篇论文中，研究人员提出了一种新的自适应上下文学习 (AICL) 方法，通过预测分类器的 Softmax 后验概率来动态调整在推断中使用的示例数，以提高文本分类任务的性能。

    Mar, 2024

  • 多标签文本分类的上下文学习

    利用预训练的密集检索模型，我们在有限样本设置中的常见意图分类数据集上，以及特定情况下的细粒度情感分类中，优于微调性能。通过多个实验，我们分析了模型对于上下文示例和不同模型规模的利用情况，并展示了在不同领域中需要不同程度上下文示例的相似性、类名的语义内容和示例与标签之间的正确对应。

    Sep, 2023

  • 基于朴素贝叶斯的大型语言模型的上下文扩展

    通过 Naive Bayes-based Context Extension (NBCE) 框架，可以扩展现有的大型语言模型（LLMs）的上下文大小，从而提高其在上下文学习上的性能。实验结果表明，NBCE 显著增强了性能，尤其是在示范示例数量增加时，始终优于其他方法。

    Mar, 2024

  • ParaICL: 面向鲁棒的并行上下文学习

    通过并行处理不同批次的样本，依据语义相似性在上下文学习中同时使用所有示范样本，并通过加权平均语义目标选择最合适的标记，从而提高 ICL 的有效性。

    Mar, 2024

  • 大型联想记忆检索中的上下文示例

    以关联记忆模型为基础，将语境检索视为上下文检索的语言模型（LLM）的一种新途径，并研究了在上下文例子对 LLM 的性能影响下，更有效的例子选择方法。

    Nov, 2023