Jul, 2021

FewCLUE: 一个中文 Few-shot 学习基准测试

PDF
TL;DR本文针对中文语言，介绍了中国 Few-shot Learning Evaluation 的基准测试（FewCLUE），该测试涵盖了九个任务，并系统地评估了五种最先进的少样本学习方法，和微调、零样本学习的表现比较，结果表明 PET 和 P-tuning 分别在 RoBERTa 和 ERNIE 上取得了最佳的综合性能，并为进一步推动中文 Few-shot Learning 的研究提供了工具包和在线排行榜。
pretrained language modelschinese few-shot learning evaluation benchmarkstate-of-the-art few-shot learning methodsnlpcc 2021online leaderboard
发现论文，激发创造
  • 让预训练语言模型成为更好的少样本学习者

    LM-BFF 提出了一种改进的面向小型语言模型的少样本 fine-tuning 方法以提升在多种 NLP 任务上的性能。通过与传统的 fine-tuning 方法相比，LM-BFF 组合的技术在低资源环境下具有显著改进，最高可达 30％，平均提高 11％。

    Dec, 2020

  • 波兰语分类任务的少样本学习评估

    我们引入了一个包含 7 个不同分类任务的少样本基准，这些任务使用波兰语进行描述。通过在商业和开源预训练模型中进行 0 和 16 次试验的经验比较，我们发现 ICL 获得了最佳表现，商业模型如 GPT-3.5 和 GPT-4 达到了最佳性能。然而，我们的最佳少样本学习分数与在整个训练数据集上微调的 HerBERT-large 性能之间仍然存在显著的 14 个百分点差距。在技术方面，SetFit 成为第二好的方法，紧随其后的是线性探测。非线性头部微调表现最差且不稳定。ICL 的结果表明，Mistral-7b 或 Llama-2-13b 等模型在波兰语语料库上的持续预训练是有益的。这一点通过 Bielik-7b 和 Trurl-13b 的表现提供了证实。为了进一步支持波兰语少样本学习的实验，我们将发布 ICL 的手工模板。

    Apr, 2024

  • CLUE：一个中文语言理解评测基准

    该论文介绍了第一个大规模的中文语言理解评估基准，名为 CLUE，以帮助解决英语特定的自然语言理解模型难以用于其他语言的问题，并使用 9 个最先进的中文预训练模型来报告结果，并引入了一系列辅助数据集和工具以促进中文自然语言理解技术的进一步发展。

    Apr, 2020

  • SuperCLUE：一个全面的中文大语言模型基准

    通过提出综合性的中文基准 SuperCLUE，我们展示了现有评估模型性能的精确性不足以反映用户偏好的情况，并且 GPT-4 可以可靠地自动评估用户对中文开放性问题的偏好。

    Jul, 2023

  • FewNLU: 少量样本自然语言理解方法的最新基准测试

    该研究提出了一种新的评估框架，改进了之前评估程序的测试性能、开发测试相关性和稳定性三个方面，重新评估了几种最先进的少样本自然语言理解方法，发现不同的方法在不同的任务上表现得不尽相同，而且不同方法之间的提高往往是互补的，结合多种方法后最佳组合模型与强有力的完全监督基线的性能接近。

    Sep, 2021

  • FILM: 少样本图像分类如何从预训练语言模型中受益？

    本文提出了一种基于对比学习的新的 few-shot learning 框架，通过预训练语言模型解决视觉特征与文本嵌入之间的对齐问题，并引入度量模块来实现余弦相似度的泛化，通过双层优化结构中的 MAML 训练模型以提高可迁移性，此外，在多个基准测试上进行了大量实验证明我们方法的有效性。

    Jul, 2023

  • 基于少样本学习的蕴涵推理

    本研究提出了一种名为 EFL 的新方法，将潜在的自然语言处理任务重新表述为蕴含任务，并在少至 8 个样例的情况下微调模型，进而证明该方法可以自然地与无监督对比学习数据增强方法相结合，易于扩展为多语言少样本学习，并在 18 个标准 NLP 任务上进行了系统评估，表明该方法将现有 SOTA 少样本学习方法的性能提高了 12％，在相同数据量下，可以达到与 GPT-3 相近的少样本性能

    Apr, 2021

  • BUFFET: Few-shot 跨语言传递的大型语言模型基准测试

    这篇研究介绍了一个新的跨语言迁移的评估标准 BUFFET，其中包含 15 个不同类型的任务和 54 种语言，利用该标准评估发现，少量的训练数据对于不同语言和任务之间的语言迁移效果影响较大。

    May, 2023

  • 细看少样本跨语种迁移：Shot 数量的选择很关键

    本研究针对少样本跨语言迁移问题进行了试验设计和成功案例分析，并提出了集成功效设计的实验方案。通过对六个不同自然语言处理任务的 40 组样本进行分析，阐明了字典特性在少样本迁移中的作用，并证明了简单的完整模型微调方法在少样本迁移中的有效性。同时，开放了部分样本，为标准化的跨语言实验设计提供了参考。

    Dec, 2020

  • 语言模型实现真正的小样本学习

    评估少量样本学习模型在没有未使用样本的情况下的表现，发现先前的工作对于 LM prompt 和超参数的选择方式大大低估了预训练语言模型在小样本学习方面的能力。

    May, 2021