Jun, 2024

SSP：自监督提示用于使用大型语言模型进行低资源语言的跨语言转移

PDF
TL;DR在这项研究中，我们探讨了在语言资源有限情况下，特别是零标记的跨语言转移（0-CLT）环境下，基于自我监督提示（SSP）的大型语言模型（LLM）在自然语言处理（NLP）任务中的效果，并通过实验证明 SSP 在这个设置中优于现有的基线模型。
language modelsin-context learninglow-resource languageszero-labelled cross-lingual transferself-supervised prompting
发现论文，激发创造
  • 多语言 LLM 通过对齐更好地进行跨语言上下文学习

    本研究分析了在跨语言文本分类中使用 in-context learning 的问题，并提出了一种称为 Cross-lingual In-context Source-Target Alignment (X-InSTA) 的 prompt 构建策略，该策略在 44 个不同的跨语言数据集上表现出了很好的性能。

    May, 2023

  • 通用自适应提示

    通过研究，我们提出了一种自适应提示设计方法，能够使用只有少量未标记的数据和仅推理的 LLM 实现广泛的零 - shot 学习，该方法通过将 NLP 任务分类为三种类型，并使用相应的选择器选择最合适的查询和零 - shot 模型生成的响应作为伪证明，以完全自动化的方式将 ICL 推广到零 - shot 设置，从而呈现与少量 - shot 基线可比甚至优于的表现。

    May, 2023

  • 利用具有英语优势的多语言提示，推动低资源语言的 LLMs 民主化

    本文提出了一种无监督提示方法，使用高资源语言的合成样本以在低资源语言上进行多语言总结，并且表明该方法在许多低资源语言上胜过有监督的提示。

    Jun, 2023

  • CLASP：用于语义解析的少样本跨语言数据增强

    本研究提出 CLASP 方法，利用合成数据从 AlexaTM 20B 中挖掘出更多的数据，用以改善低资源的语义解析，实现在多国语言上的有效应用。

    Oct, 2022

  • 低资源语言中大型语言模型的少样本跨语言迁移

    将 LLaMa 适应于 Kinyarwanda、Hausa 和 Luganda 等低资源语言的提示设置是一种计算高效且成本效益的方法，优于翻译和 LAFT，并在所有任务和语言上表现最佳。

    Mar, 2024

  • 稳健语言模型的提示扰动一致性学习

    大型语言模型对于自然语言处理任务表现出色，但在序列标注任务（如意图分类和槽位填充）中的表现明显落后于判别模型。本文通过 fine-tuning 大型语言模型并使用一种有效的减小性能下降的方法，Prompt Perturbation Consistency Learning（PPCL），成功地提高了序列标注任务的性能，并且使用更少的数据样本击败了数据增强方法。

    Feb, 2024

  • 语言模型利用交叉任务上下文学习解决数据稀缺的新任务

    该研究论文探讨了大型语言模型 (LLMs) 是否能够根据不同任务示例的上下文信号来解决新任务，并设计了一个跨任务提示设置，并表明 LLMs 在无需上下文提示的情况下能够获得显著的性能提升，同时展示了模型激活相似性与跨任务示例效果之间的强相关性。

    May, 2024

  • 多源跨语言模型迁移：学习共享的内容

    利用生成对抗网络和无监督多语言嵌入，结合多源语言训练数据的多语言转移学习方法，在多语言文本分类和序列标记任务中实现 target 语言的显著性能提升。

    Oct, 2018

  • 跨语言模型预训练的软语言聚类技术

    本文提出了 XLM-P 模型，结合上下文获取灵活的编码，实现语言无关以及语言特定知识的轻量级建模，且可以与其他多语言预训练方法轻松集成，提供用于文本分类、序列标记、问答和句子检索的性能改进，对于低资源语言和跨语言传输具有实际优势。

    Jun, 2023

  • 通过上下文学习提高多语言模型的跨语言可迁移性

    本论文提出了一种新的跨语言转移提示方法 In-CLT, 在源语言和目标语言结合的情况下构建演示例子，证明在多语言基准测试中，这种提示方法不仅可以提高跨语言传递的可行性，而且在推理任务中展现出了显著的性能提升，平均比以前的跨语言转移方法提高了 10 到 20 个百分点，而且还探讨了词汇相似性和预训练语料库之间在跨语言转移缺口方面的关系。

    May, 2023