Apr, 2024

波兰语分类任务的少样本学习评估

PDF
TL;DR我们引入了一个包含 7 个不同分类任务的少样本基准，这些任务使用波兰语进行描述。通过在商业和开源预训练模型中进行 0 和 16 次试验的经验比较，我们发现 ICL 获得了最佳表现，商业模型如 GPT-3.5 和 GPT-4 达到了最佳性能。然而，我们的最佳少样本学习分数与在整个训练数据集上微调的 HerBERT-large 性能之间仍然存在显著的 14 个百分点差距。在技术方面，SetFit 成为第二好的方法，紧随其后的是线性探测。非线性头部微调表现最差且不稳定。ICL 的结果表明，Mistral-7b 或 Llama-2-13b 等模型在波兰语语料库上的持续预训练是有益的。这一点通过 Bielik-7b 和 Trurl-13b 的表现提供了证实。为了进一步支持波兰语少样本学习的实验，我们将发布 ICL 的手工模板。
few-shot benchmarkiclpolish languagepre-trained modelsperformance
发现论文，激发创造
  • FewCLUE: 一个中文 Few-shot 学习基准测试

    本文针对中文语言，介绍了中国 Few-shot Learning Evaluation 的基准测试（FewCLUE），该测试涵盖了九个任务，并系统地评估了五种最先进的少样本学习方法，和微调、零样本学习的表现比较，结果表明 PET 和 P-tuning 分别在 RoBERTa 和 ERNIE 上取得了最佳的综合性能，并为进一步推动中文 Few-shot Learning 的研究提供了工具包和在线排行榜。

    Jul, 2021

  • 对大型语言模型进行少样本多语言 NLU 分析与适应：如今已经达到目标了吗？

    三种常用方法，即监督微调、监督指令微调和上下文学习，是少样本学习的三种替代方法。本文对这三种方法进行了广泛而系统的比较，测试了六种高低资源语言、三种不同的 NLU 任务以及各种语言和领域设置。观察结果显示，监督指令微调在性能和资源需求方面具有最佳平衡性。此外，本文还分析了预训练 LLM 的目标语言适应性，并发现标准适应方法能在表面上提高目标语言生成能力，但经 ICL 引发的语言理解并未改善且受限，尤其是对于低资源语言而言，得分较低。

    Mar, 2024

  • 少样本参数高效微调优于上下文学习且更为经济

    通过比较 Few-shot in-context learning 和 Parameter-efficient fine-tuning 的方法，我们证明 PEFT 具有更好的精度和极低的计算成本。我们提出了一种名为 (IA)$^3$ 的新的 PEFT 方法，并提出了一个基于 T0 模型的简单配方，称为 T-Few，在没有任务特定调整或修改的情况下可以应用于新任务。我们在 RAF 基准测试中验证了 T-Few 的有效性，首次达到了超人类表现，并超越了现有技术的 6％。

    May, 2022

  • 斯拉夫语言中的上下文学习资源和少样本学习器

    本研究收集了在斯拉夫语言（捷克语、波兰语和俄语）上进行 ICL 培训和评估的基础设施，并比较了使用新收集的数据集训练的 ICL 模型与以前的工作的性能，发现多语言指导的微调持续提高了 ICL 的能力，并揭示了将特定语言上下文学习器专门用于其应用语言的潜力。

    Apr, 2023

  • 多模态基础模型中的多示例上下文学习

    多模态基础模型在少样本上下文学习中具有较高的效果，通过扩展到多样本上下文学习，可以显著提高模型性能和数据效率。

    May, 2024

  • 多语言语言模型的少样本学习

    本文研究了大规模生成语言模型在多语言语料库上的跨语言泛化能力，实验结果表明，通过多语言提示方案，在许多任务中，模型可以在少量示例和无样本学习中完成良好的表现。

    Dec, 2021

  • 使用 PEFT 和合成数据增强低资源 LLMs 分类

    提出了一种方法，使大型语言模型在 0-shot 文本分类任务中成为高效的文本分类器，并在低资源环境下获得了竞争性结果。

    Apr, 2024

  • 多样情境下的多次学习

    大型语言模型在少样本上下文学习方面表现出色，通过在推断时从上下文中提供的少量示例进行学习，无需任何权重更新。新的扩展上下文窗口使我们能够研究在上下文中使用数百或数千个示例进行学习的多样本学习方法。从少样本到多样本，我们观察到在各种生成性和判别性任务中取得了显著的性能提升。然而，多样本学习在可用的人类生成示例方面存在瓶颈。为了缓解这一限制，我们探索了两种新的设置：增强和无监督的多样本学习方法。增强多样本学习方法使用模型生成的思考链替代人类示例。无监督多样本学习方法则完全取消了提示信息中的理由，并仅通过领域特定问题对模型进行提示。我们发现，增强和无监督多样本学习方法在多样本学习中非常有效，特别是在复杂推理任务中。最后，我们证明与少样本学习不同，多样本学习可以有效地覆盖预训练偏差，并学习具有数值输入的高维函数。我们的分析还揭示了下一个标记预测损失作为下游上下文学习性能指标的局限性。

    Apr, 2024

  • 细看少样本跨语种迁移：Shot 数量的选择很关键

    本研究针对少样本跨语言迁移问题进行了试验设计和成功案例分析，并提出了集成功效设计的实验方案。通过对六个不同自然语言处理任务的 40 组样本进行分析，阐明了字典特性在少样本迁移中的作用，并证明了简单的完整模型微调方法在少样本迁移中的有效性。同时，开放了部分样本，为标准化的跨语言实验设计提供了参考。

    Dec, 2020

  • FILM: 少样本图像分类如何从预训练语言模型中受益？

    本文提出了一种基于对比学习的新的 few-shot learning 框架，通过预训练语言模型解决视觉特征与文本嵌入之间的对齐问题，并引入度量模块来实现余弦相似度的泛化，通过双层优化结构中的 MAML 训练模型以提高可迁移性，此外，在多个基准测试上进行了大量实验证明我们方法的有效性。

    Jul, 2023