为少样本学习设计的实例和任务感知动态核学习

ECCVDec, 2021

为少样本学习设计的实例和任务感知动态核学习

Learning Instance and Task-Aware Dynamic Kernels for Few Shot Learning

Rongkai Ma, Pengfei Fang, Gil Avraham, Yan Zuo, Tianyu Zhu...

TL;DR本论文提出了一种动态卷积神经网络模型，能够通过每个任务的动态内核快速适应于给定任务的情境，并以整体和每个样本的基础上依独立地进一步调整每个通道和位置的注意力机制，从而能够同时关注全局信息和细微的特征并提高 Few-Shot Learning 的性能。在四个 Few-Shot 分类基准: mini-ImageNet、tiered-ImageNet、CUB 以及 FC100 中，以及一个 Few-Shot 检测数据集: MS COCO-PASCAL-VOC 中，得到了比基准模型更显著的成绩。

Abstract

Learning and generalizing to novel concepts with few samples (Few-Shot Learning) is still an essential challenge to real-world applications. A principle way of achieving few-shot learning is to realize a model that can rapidly adapt to the context of a given task. →

few-shot learning dynamic networks convolution network dynamic kernels task generalization

发现论文，激发创造

HyperShot: 基于核超网络的少样本学习

本文提出了 HyperShot—— 一种融合内核和超网络范例的高效 few-shot 学习方法，它利用超网络从支持的数据中返回算法分类器手工制作的参数，并通过内核表示支持数据的关系来适应高度不同的任务。

Mar, 2022

自适应深度核学习

该研究基于深度神经网络学习参数化的内核算子，在 few-shot 回归任务中学习内核家族，从而使算法能够识别每个任务的适当内核，并通过实际应用于药物发现领域的 few-shot 回归任务与现有算法进行比较，表明其在复杂任务分布和状态下的性能优越。

May, 2019

重新审视调整微调策略以用于少样本学习

该研究证明，在 mini-ImageNet 数据集中，fine-tuning 方法在 1-shot 任务中比常见的 few-shot learning 算法具有更高的准确性，在 5-shot 任务中准确率几乎与最先进的算法相同，同时展示了在高分辨率单领域和跨领域任务中，该方法比常见 few-shot learning 算法具有更高的准确性。

Oct, 2019

通过深度核进行少样本元学习的贝叶斯方法

使用深度核函数的贝叶斯元学习方法（DKT）可应用于小数据集问题，提供了多种优势，实验结果优于多种现有算法，并可将复杂的元学习程序替换为简单的贝叶斯模型。

Oct, 2019

Few-Shot 识别的知识图谱迁移网络

该研究提出了一种基于知识图谱的网络模型，通过在少量训练数据的基础上进行信息传递和语义相关性分析，实现在大规模数据集上进行 few-shot 的学习，取得了较好的效果。

Nov, 2019

无遗忘动态少样本视觉学习

该研究提出了一种基于卷积神经网络和注意力机制的少样本视觉学习系统，旨在实现在测试时只使用少量训练数据就能有效地学习新类别，同时不会忘记原先基础类别的模型。经过在 Mini-ImageNet 数据集的测试，该模型在 1-shot 和 5-shot 设置下都取得了 56.20% 和 73.00% 的最优成绩。

Apr, 2018

动态卷积：卷积核的注意力机制

提出一种名为 Dynamic Convolution 的新设计，基于卷积核的注意力动态地聚合多个并行卷积核，从而增加模型复杂度，提高卷积神经网络的表示能力，有效提高 MobileNetV3-Small 模型在 ImageNet 分类任务上的精度。

Dec, 2019

元滤波器学习动态对齐以用于少样本学习

本文提出了一种基于动态对齐的特征调整方法，从视觉识别的角度解决了 few-shot learning 的问题，采用神经常微分方程技术，使模型能更好地捕捉少量样本的微粒子级别的语义上下文，大幅提高了在 miniImageNet 和 tieredImageNet 数据集上的识别准确率。

Mar, 2021

任务感知增量学习的条件通道门控网络

该研究通过为卷积层添加任务特定的门控模块，并使用稀疏性目标促进对有限内核集的选择，提出了一种解决序列学习问题的新框架，实现了在没有任务标签信息的情况下的持续学习，该模型的准确度明显优于现有方法。

Mar, 2020

正则化深度网络的高效 K-Shot 学习

为了解决小规模数据下优化问题，我们提出了一种对预训练深度神经网络进行微调的简单而有效的正则化方法，它的核心策略是将模型参数聚类，确保聚类内的相似性和聚类间的差异性，提高参数搜索空间的正规性；具体而言，我们使用强化学习搜索策略和递归网络来学习每个网络层的最优分组，实验结果表明，相较於其他最新的基于微调的 k-shot 学习策略，我们的方法可以轻松应用于几种流行的卷积神经网络，提高了 10% 以上的性能。

Oct, 2017