AAAIMar, 2023

通过分布估计提高少样本文本分类

PDF
TL;DR本文提出了两种简单而有效的方法通过无标签查询样本来估计新颖类别的分布，从而避免了负面转移的问题。经过多个数据集的实验，该方法明显优于现有的先进方法。
few-shot text classificationdistribution estimationunsupervised learninggaussian distributiontransfer learning
发现论文，激发创造
  • 从文本中推断潜在类别统计量以实现强健的视觉少样本学习

    本文提出一种新颖的方法，利用文本统计数据预测每个类别的视觉特征分布的均值和协方差，从而丰富潜在空间，提高鲁棒性和泛化能力，在各种数据集上改进了少样本分类性能。

    Nov, 2023

  • 基于特征分布的迁移学习少样本学习方法

    本文提出了一种新颖的基于转移学习的方法，通过预处理特征向量使其更接近高斯分布，并利用基于最优输运的算法 (在普遍情况下) 加以利用，证明了该方法在各种数据集、主干体系结构和少样本情形下达到最先进的准确性。

    Jun, 2020

  • 少样本分类通用性预测的统计模型

    本文提出了一种基于高斯模型的特征分布参数估计方法，通过估计类间条件密度之间的距离实现对于少样本分类任务中泛化误差的预测，并在实验中表明该方法优于 leave-one-out cross-validation 等传统方法。

    Dec, 2022

  • 最大化骨干特征分布以实现高效的少样本学习

    本文提出了一种新颖的基于迁移学习的方法，旨在处理特征向量使其更接近高斯分布，加大分类准确性。同时，在具备未标注测试样本的传导式 few-shot 学习中，也提出了基于最优传输启示的算法以进一步提高性能。经过标准化的视觉基准测试，研究发现该方法可以在各种数据集、主干架构和少样本的情况下获得最先进的精度。

    Oct, 2021

  • Few-shot 学习的免费午餐：分布校准

    本文提出了一种新方法，利用预训练的特征提取器和分类模型在有限的训练样本数下通过分布校准和高斯分布等方法，提高少量样本的分类准确度，相比其他方法在 miniImageNet 上达到了约 5% 的提升。

    Jan, 2021

  • 分布式签名的小样本文本分类

    本文探讨了元学习在少样本文本分类方面的应用，通过利用分布式特征与注意力机制，将关键词加权表示，相比于基于字面知识的原型网络模型，在 6 个基准数据集上的准确率平均提升了 20.0%。

    Aug, 2019

  • 关于少样本神经文本生成训练实例选择的研究

    研究预训练语言模型在少样本条件下的文本生成，并提出了一种基于 K-means 聚类的选择策略，结果表明这种方法能够显著提高生成模型的性能。

    Jul, 2021

  • 解放已见类别：通过锚点生成和分类重构提升少样本和零样本文本分类

    我们提出了一个简单而有效的策略，通过利用大型预训练语言模型生成伪新样本并选择最具代表性的样本作为类别锚点，将多类分类任务转换为二元分类任务，并使用查询 - 锚点对的相似性进行预测，从而在少样本和零样本任务中充分利用有限的监督信号，实现模型从已知类别的限制中解放，能够在没有使用任何已知类别样本的情况下准确预测未知类别。

    May, 2024

  • 对数变换辅助的高斯采样在少样本学习中的应用

    通过使用新型高斯变换将实验数据转化为高斯分布，本文提出了一种在少量数据采样下在少样本图像分类中取得显著性能提升的新方法。

    Sep, 2023

  • 基于知识引导的小样本文本分类度量学习

    本文介绍了使用外部知识来提升深度学习文本分类模型的 few-shot 学习能力，从而实现少量标注数据就能获得高性能的目的。作者在此基础上提出了一种新的参数生成网络，其能够利用外部知识生成关系网络参数，并将这些参数应用于多个任务中，以实现多个任务之间度量的转换。实验结果表明这种方法优于已有的 few-shot 文本分类模型。

    Apr, 2020