COLINGSep, 2022

基于梯度相似性的自适应元学习器用于小样本文本分类

PDF
TL;DR提出了一种基于自适应元学习和梯度相似性的方法 AMGS，通过获得样本的潜在语义表示和构建自监督辅助任务以及利用自适应元学习者对基学习者在外循环中获得梯度的约束，以解决少样本学习场景下优化方法的过拟合问题。实验结果表明，与基于优化方法的元学习方法相比，该方法能够提高 few-shot 文本分类的性能。
few-shot text classificationadaptive meta-learnergradient similarityoverfittingregularization
发现论文，激发创造
  • MGIMN: 面向少样本文本分类的多粒度交互匹配网络

    本研究提出了一种基于元学习的方法 MGIMN，使用实例比较和聚合生成类匹配向量，以解决文本分类中出现的少样本数据问题，并显著优于现有的最先进方法。

    Apr, 2022

  • 元学习中的 Meta-SGD：快速学习少样本学习

    本文介绍 Meta-SGD，一种高容量，容易训练的元学习器，可以在监督学习和强化学习中初始化和适应任何可微分的学习器，在单次元学习过程中学习学习器初始化、更新方向和学习率，相较于 LSTM 和 MAML 在少样本学习上表现更加具有竞争性。

    Jul, 2017

  • 自适应基于梯度的元学习方法

    本文提出了一种理论框架来设计和理解实用的元学习方法，该方法将任务相似性的复杂形式化与在线凸优化和序列预测算法的广泛文献融合。该方法使任务相似性能够自适应地学习，为统计学习 - to-learn 的转移风险提供更加精确的界限，并在任务环境动态变化或任务共享一定几何结构的情况下，导出高效算法的平均情况后悔界限。我们使用该理论修改了几种流行的元学习算法，并在少样本学习和联邦学习的标准问题上改善了它们在元测试时的性能。

    Jun, 2019

  • 元学习对抗域适应网络用于小样本文本分类

    本文提出了一种新的元学习框架，集成对抗域适应网络，旨在提高模型的适应能力并为新类别生成高质量的文本嵌入。在四个基准数据集上进行了大量实验，结果表明我们的方法在所有数据集上都明显优于现有技术，特别是在 20 个新闻组数据集上，1-shot 和 5-shot 分类的准确性从 52.1％提高到 59.6％和从 68.3％提高到 77.8％。

    Jul, 2021

  • 元学习的自适应任务采样

    这篇论文提出了一种基于类对潜力的贪心采样方法，以改善元学习中的少样本分类问题的普适性表现。

    Jul, 2020

  • 面向 Few-shot Learning 的任务无关元学习

    本文提出了一种基于熵和不等式优化的任务不可知元学习算法，可以在避免过度适应已有任务和提高元学习器泛化性能方面有效地解决少样本学习问题，并在少量分类和强化学习任务中表现优异。

    May, 2018

  • 自适应边界损失增强少样本学习

    本文针对小样本学习（few-shot learning）的泛化困难问题，提出了一种自适应_margin_方法，改善了基于度量的元学习方法的泛化能力，并通过实验验证了该方法的有效性。

    May, 2020

  • 面向低资源文本分类的知识感知元学习

    该论文将知识图谱引入到元学习中，提出 KGML 方法，并在低资源文本分类问题上进行实验，证明其在有监督和无监督适应环境下的有效性。

    Sep, 2021

  • 多度量参数下的多样化小样本文本分类

    提出了一种自适应度量学习方法，该方法能够从元训练任务中获得一组评估度量，并自动确定最佳加权组合，以捕捉自然语言领域中新的 few-shot 任务的复杂任务变化。在真实情感分析和对话意图分类数据集上进行了广泛的定量评估，结果表明所提出的方法在预测准确性方面表现优于现有的 few shot learning 算法。

    May, 2018

  • 概率模型无关元学习

    该论文提出了一种概率元学习算法，能够从模型分布中采样模型，并且在模型适应新任务时注入噪声来减少任务模糊性，实验结果表明，该方法可以在模糊的少样本学习问题中采样出可信的分类器和回归器，并且阐述了如何利用对模糊性的推理来解决活跃学习问题。

    Jun, 2018