May, 2023

基于技能的少样本选择用于上下文学习

PDF
TL;DR本研究提出了基于技能的少样本选择方法 Skill-KNN，通过优化输入，生成技能表示法，解决了现有基于预训练嵌入模型的表面自然语言特征易受干扰的问题。经过实验证明，在四个跨领域语义分析任务和四个骨架模型中，Skill-KNN 的表现明显优于现有方法。
in-context learningfew-shot selectionskill-knnskill-based representationscross-domain semantic parsing
发现论文，激发创造
  • 通过最近邻校准提高语言模型的少样本性能

    本文提出了一种基于最近邻校准框架的预训练语言模型（PLMs）的上下文学习方法，该方法获得了显著的改进，并在某些情感分析任务中实现了与基于调优的方法相当的性能。

    Dec, 2022

  • 上下文中缺少什么？利用信息化演示评估少样学习器

    通过挑选与预测样本分享特定信息的示范来区分少样本学习者的能力，结果表明现有的少样本学习者不利用信息，并且暴露了训练真正的上下文学习者的挑战。

    Dec, 2022

  • 关于少样本神经文本生成训练实例选择的研究

    研究预训练语言模型在少样本条件下的文本生成，并提出了一种基于 K-means 聚类的选择策略，结果表明这种方法能够显著提高生成模型的性能。

    Jul, 2021

  • 利用大型语言模型中的偏差：针对高效少样本学习的 “偏差 - kNN

    通过引入一种名为 “bias-kNN” 的新方法，利用有偏差的输出作为 kNN 的主要特征并补充金标签，从而提高大语言模型中的模型性能。

    Jan, 2024

  • 神经机器翻译模型可以学习成为少样本学习器

    大型语言模型的新兴能力是利用少量示例来学习在新领域和任务中执行的能力，本文通过针对专门的培训目标进行微调展示了一个更小的模型可以被训练用于执行上下文学习，在神经机器翻译的领域适应任务上进行了示例。通过这种上下文学习的能力，模型可以利用相关的少量示例将其输出适应到该领域。我们将这种域自适应的质量与传统的监督技术以及基于 400 亿参数的大型语言模型的上下文学习进行了比较。我们的方法允许对多个领域进行高效的批处理推理，并在翻译质量和即时适应率方面优于现有技术基线，也就是在展示一次示例后重新生成特定术语的能力。

    Sep, 2023

  • 流浪于世界之中：在线背景下的少样本学习

    该论文通过在一个在线，不断变化的环境中扩展少样本学习的框架，介绍了一种上下文依赖的新颖学习数据集和一种新的上下文典型记忆模型，旨在缩小人类和机器学习环境之间的差距。

    Jul, 2020

  • 有选择性的标注使语言模型更好的少样本学习器

    本文提出了一种基于在上下文学习的策略，通过选择少量有代表性的例子来进行标注，进而为新的自然语言任务创建数据集，并证明了此方法在不同场景下都具有良好的效果。

    Sep, 2022

  • 具有影响力的上下文示例选择

    本文通过使用 in-context 影响性分析 few-shot in-context learning 性能，提出了基于影响的示例选择方法，该方法在 10 个 SuperGlue 任务上优于大多数基线，并且随着 k-shot 的增加而稳定扩展。分析发现最积极和最消极的示例之间的性能差距高达 22.2％。在案例研究中，我们应用影响力框架来量化 few-shot in-context learning 中的近期偏差现象。

    Feb, 2023

  • Mashee 参加 SemEval-2024 任务 8：样本质量对机器文本分类的上下文学习性能的影响

    该论文的主要目标是通过选择高质量样本来提高评估指标，从而增强在少样本学习场景中的上下文学习的性能。

    May, 2024

  • Few-shot Fine-tuning vs. In-context Learning: 公平比较和评估

    本文比较了预先训练的语言模型的任务适应的两种替代策略：few-shot fine-tuning 和 in-context learning。通过控制模型、样本数量和参数数量，研究表明 fine-tuned language models 确实可以很好地泛化到 domain 外。虽然两种方法的表现存在巨大变化，并且取决于模型大小和样本数量等属性，说明鲁棒的任务适应仍然是一个挑战。

    May, 2023