Oct, 2023

IDEAL：影响驱动的选择性注释强化大型语言模型中的上下文学习者

PDF
TL;DR通过选择具有最大边际收益的数据子集，引入了一种基于影响力驱动的选择性注释方法，以降低注释成本并提高上下文示例的质量。实验结果证实了该方法在各种基准测试中的优越性能，以更低的时间消耗在子集选择过程中取得更好的表现。
in-context learninglarge language modelsselective annotationunlabeled datainfluence-driven method
发现论文，激发创造
  • 有选择性的标注使语言模型更好的少样本学习器

    本文提出了一种基于在上下文学习的策略，通过选择少量有代表性的例子来进行标注，进而为新的自然语言任务创建数据集，并证明了此方法在不同场景下都具有良好的效果。

    Sep, 2022

  • 具有影响力的上下文示例选择

    本文通过使用 in-context 影响性分析 few-shot in-context learning 性能，提出了基于影响的示例选择方法，该方法在 10 个 SuperGlue 任务上优于大多数基线，并且随着 k-shot 的增加而稳定扩展。分析发现最积极和最消极的示例之间的性能差距高达 22.2％。在案例研究中，我们应用影响力框架来量化 few-shot in-context learning 中的近期偏差现象。

    Feb, 2023

  • 通过影响分析的上下文学习示范选择

    通过使用影响函数分析训练样本的影响力，我们提出了一种名为 InfICL 的演示选择方法，用于选择对 In-Context Learning（ICL）有高影响力的训练样本，从而提高 ICL 的泛化性能，并在多个实际数据集上展示了 InfICL 相对于现有基准方法的优点。

    Feb, 2024

  • 大语言模型的公平指导少样本提示

    本文提出了一个度量标准，评估了一个固定提示对标签或给定属性的预测偏差，并提出了一种新的基于贪心搜索的搜索策略来确定最佳提示，以提高上下文学习的性能，并在多种下游任务中使用 GPT-3 等最先进的主流模型进行全面实验。结果表明，我们的方法可以有效提高模型的在上下文学习性能。

    Mar, 2023

  • 利用无标签数据进行上下文学习的解释选取

    本文提出了一种黑盒优化解释注入的提示方法，以提高文本推理任务的性能，在问题回答、数学推理和自然语言推理等四个文本推理任务中实现了有效的促进效果。

    Feb, 2023

  • 上下文学习的主动样本选择

    通过示例展示了大规模语言模型通过上下文学习实现各种任务的强大能力，为解决示例选择的不稳定性问题，提出了一种基于强化学习的算法用于识别泛化策略，以选择最佳示例以提高模型性能和泛化能力。

    Nov, 2022

  • 寻找上下文学习的支持例子

    本文提出了一种基于语言模型的支持性示例挑选方案，通过两阶段的方法解决了 NP-hard 组合优化问题并使用多样性引导的波束搜索方法优化选定示例的性能，进一步实验证明了我们方法的有效性和 “支持性示例” 和 “上下文学习” 的相关特征。

    Feb, 2023

  • 学习检索上下文学习提示

    本文提出了一种有效的方法，利用标注数据和语言模型（LM）检索 in-context learning 的提示，训练稠密的检索器并在三个序列到序列任务中发现它明显优于之前的工作和多个基线。

    Dec, 2021

  • 大型语言模型隐含主题模型：解释和寻找上下文学习的良好示范

    本文从贝叶斯的角度出发，将大型语言模型视作主题模型，提出了一种从标注数据中选择最佳示范的算法，并在实际数据集中证明相对于随机选择基线，平均有 12.5% 的显著改进。研究表明，大型语言模型从示范中隐式地推断出潜在的概念变量。

    Jan, 2023

  • 大语言模型上下文学习的主动学习原则

    本文旨在探讨如何使用主动学习算法作为选择最佳演示文稿的方法来服务于上下文学习，对比了基于不确定性、多样性和相似性等各种标准的演示文稿选择算法，并表明相似性算法胜过其他所有方法，包括随机抽样和不确定性抽样。

    May, 2023