LLMs 是少量样本上下文中的低资源语言学习者
本研究分析了在跨语言文本分类中使用 in-context learning 的问题,并提出了一种称为 Cross-lingual In-context Source-Target Alignment (X-InSTA) 的 prompt 构建策略,该策略在 44 个不同的跨语言数据集上表现出了很好的性能。
May, 2023
本研究收集了在斯拉夫语言(捷克语、波兰语和俄语)上进行 ICL 培训和评估的基础设施,并比较了使用新收集的数据集训练的 ICL 模型与以前的工作的性能,发现多语言指导的微调持续提高了 ICL 的能力,并揭示了将特定语言上下文学习器专门用于其应用语言的潜力。
Apr, 2023
通过对一些最先进的 VLM(Visual Language Model)进行分析,我们发现它们在执行 ICL(In-Context Learning)指令时存在一定的不足。为了验证这个猜想,我们提出了一种简单但令人惊讶地有效的策略,通过扩展一个常见的 VLM 对齐框架,实现 ICL 支持、方法和课程设置。我们探讨、分析并提供了对有效数据混合的见解,从而显著提升了 21.03% 的 ICL 表现(平均 11.3%),超过了最强 VLM 基线和多种 ICL 基准,并为 VLM 的 ICL 评估贡献了新的基准,并讨论了它们相对于现有技术的优势。
Mar, 2024
大型语言模型在少样本上下文学习方面表现出色,通过在推断时从上下文中提供的少量示例进行学习,无需任何权重更新。新的扩展上下文窗口使我们能够研究在上下文中使用数百或数千个示例进行学习的多样本学习方法。从少样本到多样本,我们观察到在各种生成性和判别性任务中取得了显著的性能提升。然而,多样本学习在可用的人类生成示例方面存在瓶颈。为了缓解这一限制,我们探索了两种新的设置:增强和无监督的多样本学习方法。增强多样本学习方法使用模型生成的思考链替代人类示例。无监督多样本学习方法则完全取消了提示信息中的理由,并仅通过领域特定问题对模型进行提示。我们发现,增强和无监督多样本学习方法在多样本学习中非常有效,特别是在复杂推理任务中。最后,我们证明与少样本学习不同,多样本学习可以有效地覆盖预训练偏差,并学习具有数值输入的高维函数。我们的分析还揭示了下一个标记预测损失作为下游上下文学习性能指标的局限性。
Apr, 2024
通过利用跨语种检索增强的上下文学习(CREA-ICL)方法,从高资源语言中提取语义相似的提示,以改善多语言预训练语言模型(MPLMs)在各种任务中的零样本性能,本文研究了大型语言模型在低资源语言中上下文学习(ICL)性能的限制和挑战,并对检索增强的上下文学习在分类和生成任务中的性能动态提供了洞见。
Nov, 2023
使用 c-ICL 方法,通过整合正确和错误的示例构造,通过使用正确的示例以及最近的正类示例,通过上下文学习展示来提高大型语言模型在信息提取方面的性能。
Feb, 2024
利用预训练的密集检索模型,我们在有限样本设置中的常见意图分类数据集上,以及特定情况下的细粒度情感分类中,优于微调性能。通过多个实验,我们分析了模型对于上下文示例和不同模型规模的利用情况,并展示了在不同领域中需要不同程度上下文示例的相似性、类名的语义内容和示例与标签之间的正确对应。
Sep, 2023
基于多模式大型语言模型和大型语言模型,提出了一种新颖的上下文学习方法(In-Context Learning),通过加强因果关系,引导模型识别类比和数据点间的潜在因果关联,使模型能够识别未见过的图像和理解新概念更有效。
Aug, 2023