Jun, 2023

基于语言模型检索的多语言少样本学习

PDF
TL;DR本文在多语言和交叉语言设置下，通过全面研究检索语义相似的少样本示例的方法来提升 Transformer 模型在自然语言理解任务中的性能。结果表明该方法在英语以外的单语言和交叉语言任务中均优于随机抽样。
transformer-based language modelsfew-shot learningsemantically similar few-shot samplesmultilingual and cross-lingual settingsnatural language understanding
发现论文，激发创造
  • 语言模型：少样本多语言学习者

    通过对 GPT 和 T5 模型进行跨语言分类，本论文发现预训练模型在少量英语样本的情况下可以预测非英语测试样本，且在跨语言预测方面表现显著优于随机预测，并与现有的最先进的跨语言模型具有竞争力。

    Sep, 2021

  • Few-Shot 学习在机器翻译中的不合理有效性

    通过少量有质量的翻译数据训练的自监督学习解码器模型，在没有多语言联合训练或反向翻译的情况下，在较高和较低资源语言对中均显示出潜力。同时，该方法还提供了一种控制翻译属性的方法，为可控机器翻译系统铺平了道路。

    Feb, 2023

  • Promptagator: 从 8 个示例实现少样本密集检索

    本文提出了基于大语言模型的 Few-shot Dense Retrieval 任务中 Prompt-based Query Generation for Retriever (Promptagator) 方法，利用少量任务单独的知识生成具有任务特定的检索器并使用 LLM 促进扩展性，与传统基于自然问题或 MS MARCO 的训练方式相比，使用 8 个或更少的样本提示 LLM 生成的双编码器可以显著提高检索性能达 1.2 个 nDCG 以上。

    Sep, 2022

  • 多语言原型模型在自然语言理解任务中的跨语言可迁移性研究

    本文提出一种方案，使用几个样本训练的神经网络和多语言 Transformer 基础模型之间协同作用的跨语言转移，以改进跨语言学习的性能，实验结果表明，我们的方法能够显著提高跨低资源语言与高资源语言之间的转移学习性能，进一步的结果证明了 meta-learning 的能力。

    Jul, 2022

  • 多语言语言模型的少样本学习

    本文研究了大规模生成语言模型在多语言语料库上的跨语言泛化能力，实验结果表明，通过多语言提示方案，在许多任务中，模型可以在少量示例和无样本学习中完成良好的表现。

    Dec, 2021

  • 利用检索到的样本进行少样本意图分类和槽填充

    本文探讨了如何在缺乏足够资源的情况下，通过基于检索的方法完成少量样本学习并用于意图分类和填槽任务。我们提出了一种基于跨度级别检索的方法，通过一种新颖的批次 - softmax 目标函数，在相似的具有相同标签的跨度之间学习上下文化表示。我们的方法在 CLINC 和 SNIPS 基准测试中超过了先前的系统。

    Apr, 2021

  • 语言模型实现真正的小样本学习

    评估少量样本学习模型在没有未使用样本的情况下的表现，发现先前的工作对于 LM prompt 和超参数的选择方式大大低估了预训练语言模型在小样本学习方面的能力。

    May, 2021

  • 低资源语言中大型语言模型的少样本跨语言迁移

    将 LLaMa 适应于 Kinyarwanda、Hausa 和 Luganda 等低资源语言的提示设置是一种计算高效且成本效益的方法，优于翻译和 LAFT，并在所有任务和语言上表现最佳。

    Mar, 2024

  • 零样本跨语言图像检索

    该论文介绍了一种使用跨语言预训练进行零 - shot 学习的多模式语言和视觉问题解决方法，它可以用于构建跨语言图像检索模型和改进文本嵌入聚类，并在多语言环境下进行评估。

    Nov, 2020

  • 少样本跨模态多任务多语种学习

    本文提出了一种用于多模态多任务学习的 few-shot 学习框架，采用预训练的视觉和语言模型，并通过任务特定的超网络和对比度微调来适应不同的场景，学习视觉推理、视觉问答和自然语言理解等重要任务。

    Feb, 2023