May, 2024

XAMPLER：跨语言背景中检索示例的学习

PDF
TL;DR通过仅使用英语注释数据，我们介绍了一种名为 XAMPLER 的跨语言示例检索方法，用于解决跨语言上下文学习的挑战，并在 176 种语言的大规模多语言文本分类基准测试中展示了其显著改进的跨语言上下文学习性能。
cross-lingual example retrievalin-context learninglow-resource languagesretrieversmultilingual large language model
发现论文，激发创造
  • 跨语言短语检索

    本文提出了一种从无标注例句中提取短语表示以实现跨语言短语检索的方法 XPR，并创建了一个包含 65K 双语短语对和 4.2M 例句的大规模跨语言短语检索数据集。实验结果表明，XPR 表现优于利用词级或句级表示的基线。XPR 还显示了令人印象深刻的零 - shot 迁移性，使模型能够在训练期间执行未见过的语言对的检索。

    Apr, 2022

  • 基于语言模型检索的多语言少样本学习

    本文在多语言和交叉语言设置下，通过全面研究检索语义相似的少样本示例的方法来提升 Transformer 模型在自然语言理解任务中的性能。结果表明该方法在英语以外的单语言和交叉语言任务中均优于随机抽样。

    Jun, 2023

  • 大语言模型中上下文案例检索学习

    本文提出了一种新的框架，通过训练密集检索器来识别高质量的上下文示例，进而提高大型语言模型（LLMs）的上下文学习表现。实验证明了该框架可以显著地提高在各种任务上的性能，而且具有良好的泛化能力。

    Jul, 2023

  • 跨语言检索增强上下文学习：孟加拉语

    通过跨语言检索增强的方法，我们的研究论文提出了一种创新的方法，利用高资源语言中语义相似的提示来提高多语言预训练语言模型在孟加拉语任务上的性能。详细评估表明，跨语言检索增强的提示对于多语言预训练语言模型的性能有稳定的提升作用。

    Nov, 2023

  • 从分类到生成：跨语言检索增强 ICL 的见解

    通过利用跨语种检索增强的上下文学习（CREA-ICL）方法，从高资源语言中提取语义相似的提示，以改善多语言预训练语言模型（MPLMs）在各种任务中的零样本性能，本文研究了大型语言模型在低资源语言中上下文学习（ICL）性能的限制和挑战，并对检索增强的上下文学习在分类和生成任务中的性能动态提供了洞见。

    Nov, 2023

  • XRICL：面向跨语言文本到 SQL 语义解析的跨语言检索增强上下文学习

    本研究提出了 XRICL 框架，用于通过英语方案将非英语话语翻译成 SQL 查询，并构建了两个新的基准数据集，该模型在全球范围内的 XSpider 和 XKaggle-dbqa 问题上表现出优异的效果。

    Oct, 2022

  • 大型联想记忆检索中的上下文示例

    以关联记忆模型为基础，将语境检索视为上下文检索的语言模型（LLM）的一种新途径，并研究了在上下文例子对 LLM 的性能影响下，更有效的例子选择方法。

    Nov, 2023

  • 跨语境上下文短语检索

    通过利用短语提供的细粒度信息，我们提出了密集检索的新任务形式，即跨语言上下文短语检索，通过使用上下文信息解决多义词问题，实验结果展示了我们方法的有效性。

    Mar, 2024

  • 多语言 LLM 通过对齐更好地进行跨语言上下文学习

    本研究分析了在跨语言文本分类中使用 in-context learning 的问题，并提出了一种称为 Cross-lingual In-context Source-Target Alignment (X-InSTA) 的 prompt 构建策略，该策略在 44 个不同的跨语言数据集上表现出了很好的性能。

    May, 2023

  • DeTriever：基于解码器表示的检索器，用于改进自然语言到 SQL 语句的上下文学习

    提出了一种新的演示检索框架 DeTriever，使用大语言模型的隐藏状态的加权组合来学习富语义信息，并通过估计输出查询之间的相似性来评估示例之间的相对好处。在两个热门 NL2SQL 基准测试上的实验表明，该方法在一次性 NL2SQL 任务中显著优于最先进的基准线。

    Jun, 2024