关于少样本神经文本生成训练实例选择的研究
在利用预先训练的视觉 - 语言模型进行少样本调整以应对下游任务方面取得显著进展的同时，我们的详细实证研究突出了少样本学习结果在训练样本的精心选择上具有显著的依赖性 —— 这是以前的研究忽视了的一个方面。本研究深入探讨了更有效的少样本训练样本选择策略的制定，与依赖随机抽样不同，以增强现有的少样本提示学习方法的潜力。为了实现这一目标，我们评估了各种主动学习技术（如熵和置信度边界）在少样本训练环境中进行实例选择的有效性。此外，我们引入了两种创新的选择方法 —— 代表性（REPRE）和高斯蒙特卡洛（Montecarlo），旨在为与预训练的视觉 - 语言模型相关的标注主动定位信息丰富的样本。我们的研究结果表明，REPRE 和 Montecarlo 在少样本训练场景中显著优于随机选择和基于主动学习的策略。该研究还强调了这些实例选择方法的模型无关性，为广泛的少样本训练方法提供了灵活的增强。
May, 2024
本研究利用 GPT-2 生成人工数据增广样本，探究种子数据对生成样本和分类器性能的影响，结果表明在有限的标签实例下将 GPT-2 微调可以实现稳定的分类性能改进，而通过领域专家选择指导此过程可实现进一步提高的效果，这为结合生成模型和主动学习提供了有趣的研究方向。
Nov, 2021
该文提出了少样本自然语言生成（Few-shot natural language generation）任务，设计了基于内容选择和语言建模的模型架构，表现良好。
Apr, 2019
本文介绍了使用外部知识来提升深度学习文本分类模型的 few-shot 学习能力，从而实现少量标注数据就能获得高性能的目的。作者在此基础上提出了一种新的参数生成网络，其能够利用外部知识生成关系网络参数，并将这些参数应用于多个任务中，以实现多个任务之间度量的转换。实验结果表明这种方法优于已有的 few-shot 文本分类模型。
Apr, 2020
在自然语言处理中，获取用于监督学习的带注释数据是一个重要挑战。本文提出了一种自动和明智的数据选择架构，用于建立用于少样本学习的小型数据集，以解决众包标注的问题。
Jan, 2024
评估少量样本学习模型在没有未使用样本的情况下的表现，发现先前的工作对于 LM prompt 和超参数的选择方式大大低估了预训练语言模型在小样本学习方面的能力。
May, 2021
为了解决深度学习中少样本学习的挑战，我们提出了一个简单而有效的框架，专门设计用于利用文本信息和语言模型，通过学习可调的提示来显式地利用预训练的语言模型的零样本能力，并且直接将视觉特征和文本特征进行推断而无需复杂设计的融合模块，进一步运用自集成和蒸馏来增强这些组件，在四个广泛使用的少样本数据集上进行了大量实验证明我们的简单框架取得了令人印象深刻的结果，特别值得注意的是，在 1-shot 学习任务中，我们的分类准确率平均超过基准方法 3.0%。
Jan, 2024
本研究提出了基于技能的少样本选择方法 Skill-KNN，通过优化输入，生成技能表示法，解决了现有基于预训练嵌入模型的表面自然语言特征易受干扰的问题。经过实验证明，在四个跨领域语义分析任务和四个骨架模型中，Skill-KNN 的表现明显优于现有方法。
May, 2023