Oct, 2022

Few-Shot 意图分类的模型和训练方案问题

PDF
TL;DR探究几个不同的维度影响最先进的 FSIC 性能，并发现具有参数化相似性计分函数的交叉编码器体系结构与情节元学习的组合可以始终提供最佳的 FSIC 性能。
few-shot intent classificationmodular task-oriented dialog systemspretrained language modelscross-encoder architectureepisodic meta-learning
发现论文，激发创造
  • Few-Shot 类增量学习调查

    本文从方法学、性能、应用等多个角度全面分析了最新的 few-shot class-incremental learning（FSCIL）的进展，包括理论研究、性能评估和应用案例，针对当前存在的数据实时性差、忘记之前学习内容、过拟合等问题，提出了一种划分方法，将 FSCIL 分成了传统机器学习方法、元学习方法、特征和特征空间方法、重放方法和动态网络结构方法等五个子领域，并介绍了该领域在计算机视觉、自然语言处理和图像处理等多个方面的应用及未来的研究方向。

    Apr, 2023

  • 持续进化的分类器用于小样本增量学习

    本文提出了一种基于分离学习策略的持续演化分类器（CEC）框架，该框架在每个增量会话中只更新分类器，从而避免了表示的知识遗忘问题，并采用伪增量学习方法优化图参数来构建持续的上下文信息传递网络，以解决少样本类别增量学习（FSCIL）的课程先决问题，实验结果表明该方法在 CIFAR100、miniImageNet 和 Caltech-USCD Birds-200-2011（CUB200）等基准数据集上表现出 remarkable 的优势。

    Apr, 2021

  • 给定少量示例的意图和槽位标签分类学习

    在本文中，我们提出了一种新的少样本学习任务 —— 少样本意图分类和槽填充，以在超低资源场景中研究和提高意图分类和槽填充模型的性能，并通过定义 ATS、TOP 和 Snips 三个公共数据集的少样本分割来建立少样本意图分类和槽填充基准。我们表明，既有的元学习算法（MAML）和原型网络算法在这个基准上优于 fine-tuning 基线。同时，预训练的语言模型（例如 ELMo 和 BERT）与这些小样本算法相结合，可以进一步提高模型在此任务上的性能。

    Apr, 2020

  • 多模态参数高效的少样本类增量学习

    本文提出了一种名为 CPE-CLIP 的参数高效持续学习方法，利用 CLIP 预训练阶段获取的丰富知识和泛化能力实现类别学习，其结果表明，相比现有方法，CPE-CLIP 显著提高了少样本类别增量学习的性能，同时也大大减少了可学习参数和训练成本。

    Mar, 2023

  • 多模态小样本类增量细粒度数据学习的简化方法

    该研究提出了两个简单的模块来解决 Vision-Language 模型在少样本类增量学习方面的挑战，并在新引入的细粒度数据集上实验结果表明，相比基准模型平均提高了 10 个百分点，而所需的可训练参数少至 8 倍。

    Mar, 2024

  • 减少偏差的少样本递增学习

    本研究提出了一种用于解决少样本增量学习中模型偏差问题的新方法，通过激发映射能力、分别进行双特征分类和自优化分类器等步骤，显著减轻了模型偏差问题，并在三个广泛使用的少样本增量学习基准数据集上取得了最先进的性能。

    Feb, 2024

  • 图像 - 物体特定提示学习用于少样本类增量学习

    使用 Contrastive Language-Image Pre-training (CLIP) 模型的泛化能力，我们提出了一种创新的 FSCIL 训练框架，通过为输入图像创建针对图像对象特定属性（如翅膀或轮胎）而非背景的 IOS 分类器来解决增量会话中编码器表现不佳的问题。通过特定设计的模块利用关键提示对 IOS 分类器进行编码，以找到每个会话中类别的 IOS 特征，从而始终保留先前的知识并快速适应新的会话，而不会遗忘或过拟合，在 miniImageNet、CIFAR100 和 CUB200 数据集上的实验证明了我们方法相对于最先进方法的优越性能，并通过额外实验验证了我们所学模型实现 IOS 分类器的能力，并进行了消融研究以分析架构中每个模块的影响。

    Sep, 2023

  • 一种显式联合和监督对比学习框架，用于少样本意图分类和槽位填充

    本文提出了一种新颖的显式联合和监督对比学习框架，实现了少样本意图分类和词槽填充，通过构建 episode，允许不平衡的数据集。实验证明，该框架在三个公共数据集上都表现出色。

    Oct, 2021

  • 针对小样本类增量学习的平衡监督对比学习

    本文提出了一种简单有效的学习方案，来解决 few-shot class-incremental learning 中平衡新任务的欠拟合和遗忘之前任务的挑战，并在 CUB200、CIFAR100 和 miniImagenet 数据集上展现了领先的性能。

    May, 2023

  • 增强的少样本逐类增量学习通过集合模型

    通过设计新的集成模型框架与数据增强，以解决在少样本类别增量学习中的过拟合问题，并应用多输入多输出的集成结构和空间感知的数据增强策略来改善特征提取器的多样性和减轻过拟合，同时整合自监督学习以进一步提高模型泛化能力，综合实验结果表明该方法在少样本类别增量学习中能够减轻过拟合问题，并且优于现有方法。

    Jan, 2024