二元图相似性：一种通用框架，用于任务转移学习中的初始化选择

ECCVAug, 2020

二元图相似性：一种通用框架，用于任务转移学习中的初始化选择

Duality Diagram Similarity: a generic framework for initialization selection in task transfer learning

Kshitij Dwivedi, Jiahui Huang, Radoslaw Martin Cichy, Gemma Roig

TL;DR本文介绍了一种基于双重图相似度 (DDS) 的高效、准确的方法，可以在给定几个预训练模型时选择模型初始化，从而在新任务上实现高性能转移学习。我们在 Taskonomy 数据集上验证了我们的方法，并在 Pascal VOC 语义分割任务上展示了我们的模型选择方法的鲁棒性。

Abstract

In this paper, we tackle an open research question in transfer learning, which is selecting a model initialization to achieve high performance on a new task, given several pre-trained models. We propose a new hig

transfer learning model initialization deep neural networks duality diagram similarity taskonomy dataset

发现论文，激发创造

用于高效任务分类和迁移学习的表示相似性分析

本文提出通过使用 RSA 方法评估不同任务和其特定模型之间的关系来实现任务分类，进而用少量图像和预训练模型来展示此方法在生成 Taskonomy 数据集的任务分类方面的有效性和效率，并展示了在与 Pascal VOC 语义分割等任务中转移学习表现上 RSA 的关系，结果表明在相似性得分较高的任务上训练的模型具有更好的迁移学习表现。

Apr, 2019

基于属性映射的深度模型可迁移性

本文提出了一个简单而高效的方法来估计深度神经网络的迁移能力，该方法通过将深度神经网络投影到一个模型空间中，其中每个网络被视为一个点，这些点之间的距离通过它们产生的归因图的偏差来衡量。该方法比 Taskonomy 快数倍，同时保留了 Taskonomy 获得的与任务相关的拓扑结构。

Sep, 2019

多模态转移深度学习及其在音视频识别中的应用

这篇论文提出了一种转移学习框架，能将单一模态神经网络的知识迁移到另一个模态的网络上，通过语音数据微调已经训练过的视频识别网络，该方法首先学习抽象表示层中每个网络的类比映射，然后应用神经网络操作进行目标网络的微调，同时保持其拓扑不变，该框架能灵活地适用于任何多模态数据集或已存在的共享基础语义的深度网络。

Dec, 2014

使用深度学习进行运动想象数据集之间的迁移学习 -- 框架验证和数据集对比

我们提出了一个基于深度学习的简单框架，用于跨数据集转移学习在脑机接口领域中普遍使用的心理想象解码任务中，并展示其有效性。

Sep, 2023

深度感知相似性在模糊环境下具有适应性

本文探讨使用神经网络的深度感知相似度度量方法在不同场景下的适应能力以及性能表现，并在采用六种图像畸变来定义不同场景的基础上对其进行评估。结果表明，在大多数情况下，使用预先训练的 CNN 中的深度特征进行训练可以高效地适应特定场景，并且性能表现良好。

Apr, 2023

在严格预算下从相近任务中提炼知识以进行迁移学习

本文提出了一种名为 DistillNearest 和 DistillWeighted 的多源蒸馏方法，通过利用任务相似度度量来选择单个合适的源模型以及加权多源蒸馏方法，解决了在资源受限制的情况下，通过有限标签获取高效而准确识别系统的问题。通过实验验证表明，这两种方法在准确性、计算效率等方面优于传统的迁移学习和半监督学习方法。

Apr, 2023

跨域和跨任务的同时深度迁移

本研究提出一种用于视觉领域适应的 CNN 架构，利用未标记和稀疏标记的目标领域数据实现域不变性优化并采用软标签分布匹配损失在任务之间传递信息，其在监督和半监督适应设置下都取得了先前发表结果之上的实证表现。

Oct, 2015

视角流型学习在新物体相似度感知中的转移

基于深度卷积神经网络的感知相似度判断模型，通过重新训练降低同一类别内和不同类别之间，物体表征之间的有效距离，从而实现对同类别内物体的区分和识别，并在深度网络中找到与人们的感知相似度判断更好匹配的特征表征。

Mar, 2017

基于差异的领域可迁移性用于零样本分类

本文探讨使用统计量来衡量不同任务间的相似性，从而减少 fine-tuning 的测试所需的任务对数量，并在 58 个任务和 6600 多个任务对组合上实验证明其可以提高任务的效率并显著降低运行时间。

Feb, 2023

DarkRank: 通过跨样本相似度传递加速深度度量学习

本篇论文提出了一种新的知识转移方法 ——DarkRank，利用跨样本相似性来对深度度量学习模型进行压缩加速，并经过行人再识别、图像检索和图像聚类等多项实验验证，证明其性能具有显著的提升空间。

Jul, 2017