广义类别发现任务中,传统方法在已知类别上的表现较好,但在新颖类别上表现不佳。为了减轻这两个问题,我们提出了一种转移和对齐网络 (TAN),它包含两种知识转移机制来校准偏倚知识和两种特征对齐机制来学习判别特征。我们的结果显示,我们的模型在新颖类别上表现优于现有方法。
Dec, 2023
提出了一种在神经网络控制下自适应地利用先前学习的网络的知识转移方法,实现了高维序列决策领域的增量学习和知识迁移,在 Atari 2600 游戏中得到了成功的验证。
Dec, 2015
介绍了快速将一个神经网络中存储的信息传输到另一个神经网络中的技术,并演示了将 Net2Net 技术用于 Inception 模块增加深度时,对 ImageNet 数据集取得了新的最先进的准确度评分。
Nov, 2015
本研究提出一种用于视觉领域适应的 CNN 架构,利用未标记和稀疏标记的目标领域数据实现域不变性优化并采用软标签分布匹配损失在任务之间传递信息,其在监督和半监督适应设置下都取得了先前发表结果之上的实证表现。
Oct, 2015
本文介绍一种用于少样本知识蒸馏的双阶段方法,该方法仅使用了少量无标注样本,能够有效降低深度神经网络的模型复杂度和大小,实现了与传统方法相当的性能表现。
Dec, 2020
本文综述了神经网络模型不同抽象级别的概念、建模方法和最近的研究发现,包括网络模型的概括、分布、域、任务、模式和范围的泛化,着重于在各泛化层次上存在的问题,例如过拟合问题和域适应问题。
Sep, 2022
提出一种基于模块化体系结构和任务驱动的深度神经网络,能够在零样本情况下进行组合推理和分类,并在广义零样本分类问题上使用小模块优于现有方法。
May, 2019
本研究提出了一种新的转移学习方法,利用网络聚合解决深层神经网络领域偏移问题和之前学习知识的灾难性遗忘问题。我们证明了所提出的方法在测试时不需要任何额外训练步骤即可学习模型聚合,减轻了转移学习的负担。
Jun, 2022
本文提出了一种新的元学习方法 —— 传导传播网络(TPN),用于解决小样本分类任务中的低数据问题。该方法通过学习图构建模块来学习将标签从有标签实例传播到无标签测试实例的方法,并在多个基准数据集上验证了其表现,结果表明 TPN 在有标签数量较少的情况下表现出色,取得最先进的结果。
May, 2018
本文提出了一个简单而高效的方法来估计深度神经网络的迁移能力,该方法通过将深度神经网络投影到一个模型空间中,其中每个网络被视为一个点,这些点之间的距离通过它们产生的归因图的偏差来衡量。该方法比 Taskonomy 快数倍,同时保留了 Taskonomy 获得的与任务相关的拓扑结构。
Sep, 2019