Jun, 2019

使用条件神经自适应过程进行快速灵活的多任务分类

PDF
TL;DR本文提出了一种基于条件神经过程的多任务分类方法，该方法可以在初步的多任务训练阶段后自适应地适应测试时遇到的新任务，并与元学习和少样本学习文献建立联系。实验结果表明，该方法在具有挑战性的 Meta-Dataset 基准测试中取得了最先进的效果，表明了高质量的迁移学习能力；而且该方法具有很好的稳健性，避免了低数据情况下的过拟合和高数据情况下的欠拟合，是一个计算效率高的测试时间方法，并且可以暂时不用迁移学习也可以在连续学习和主动学习方面取得超越现有方法的效果。
发现论文，激发创造
  • 条件神经过程

    本文提出了一系列的神经模型 CNPs，结合了深度神经网络和高斯过程两种方法，旨在对给定数据集做出精确预测。

    Jul, 2018

  • 自回归条件神经过程

    本文介绍了一种基于条件神经过程的预测方式，在测试阶段以链式规则定义联合预测分布，从而克服条件神经过程只能独立预测的缺点，实现高度相关、非高斯的预测，且性能显著优于非自回归条件神经过程，在不需要额外的近似推断或昂贵的训练策略的情况下，达到了与更复杂的预测模型竞争的水平。

    Mar, 2023

  • 自适应条件分位数神经过程

    本文提出了一种新的神经过程成员 Conditional Quantile Neural Processes（CQNPs），采用量化回归来对复杂的分布进行建模，通过学习估计有信息量的分位数来增强抽样效率和预测准确性，并在实验数据集上与基线算法进行比较，展示了预测性能的显着提高。

    May, 2023

  • 多条件图传播的神经架构搜索

    使用基于图扩散的神经网络架构搜索方法，通过离散条件图扩散过程生成高性能神经网络架构，并应用多条件无分类器引导方法来共同施加高准确性等约束。

    Mar, 2024

  • 光谱卷积有条件神经过程

    基于神经网络将概率模型参数化的条件神经过程（CNP）能够提供良好校准的预测，特别适用于元学习问题。SConvCNPs 是 NPs 家族的新成员，通过在频域更有效地表示函数，克服了 ConvCNP 在处理有限和不规则采样的数据时捕捉长程依赖和复杂模式的挑战。

    Apr, 2024

  • Grad2Task: 使用梯度表示任务的改进少样本文本分类

    本文提出了一种基于条件神经过程的方法，用于 few-shot 文本分类，通过从其他各种丰富注释的任务中迁移学习，利用梯度信息从基础模型中表示每个任务，并训练一个调整网络来调整一个文本分类器，受任务表示的条件约束，实验结果表明，这种方法在多个 few-shot 任务上的表现优于传统的 fine-tuning、序列迁移学习和最先进的元学习方法。

    Jan, 2022

  • 多任务网络中的全自适应特征共享及其在个人属性分类中的应用

    本文提出了一种以紧凑的多任务深度学习架构为设计目标的方法，使用一种推动类似任务聚集的新标准在训练期间贪心地扩大网络，以优化多任务学习的泛化性能并在人员属性分类任务中取得最先进的精度。

    Nov, 2016

  • 扩散增强神经过程

    基于扩散的方法能够通过对加噪数据集进行条件化，解决了当前神经过程模型中存在的一些限制，并且在性能上超越了目前的最先进技术。

    Nov, 2023

  • TapNet: 任务自适应投影增强的神经网络用于少样本学习

    本文提出了一种增强任务适应性的 TapNets 神经网络模型，利用元学习策略和基于任务的投影方法来实现在只有少量训练数据的情况下进行优化，共学习一个网络和一组每类参考向量，通过将特征线性投影到投影空间并计算查询和参考向量之间的距离，从而实现出色的泛化性能。在 Omniglot, miniImageNet 和 tieredImageNet 数据集中的小样本下，该模型在各项指标下达到最优的分类精度。

    May, 2019

  • 卷积条件神经过程

    本研究介绍了卷积条件神经过程 (ConvCNP)，它是神经过程家族中的新成员，能够建模数据中的平移等变性。研究表明，加入平移等变性的建模有助于更好地处理时间序列、空间数据和图像，而且卷积深度集能够实现任何平移等变嵌入。研究还证明，ConvCNP 在多个设置中取得了良好的性能，并且能够在挑战性的任务中实现零样本泛化。

    Oct, 2019