用于高效任务分类和迁移学习的表示相似性分析

CVPRApr, 2019

用于高效任务分类和迁移学习的表示相似性分析

Representation Similarity Analysis for Efficient Task taxonomy & Transfer Learning

Kshitij Dwivedi, Gemma Roig

TL;DR本文提出通过使用 RSA 方法评估不同任务和其特定模型之间的关系来实现任务分类，进而用少量图像和预训练模型来展示此方法在生成 Taskonomy 数据集的任务分类方面的有效性和效率，并展示了在与 Pascal VOC 语义分割等任务中转移学习表现上 RSA 的关系，结果表明在相似性得分较高的任务上训练的模型具有更好的迁移学习表现。

Abstract

transfer learning is widely used in deep neural network models when there are few labeled examples available. The common approach is to take a pre-trained network in a similar task and finetune the model paramete

transfer learning neural network models pre-trained networks representation similarity analysis task taxonomy

发现论文，激发创造

语言的神经和符号表示的相关性

本文介绍了它们称为 RSA 和 TK 的两种基于表示相似性分析和树核的分析方法，这些方法可以直接量化神经激活模式编码的信息与句法树等符号结构所表示信息的相对强度，验证了这些方法对于具有明确定义语法和语义的简单合成语言的情况，然后将这些方法应用于将英语句子的神经表示与其从属树相关联。

May, 2019

句子编码器表示的高阶比较

论文介绍了一种称为 RSA 的技术，可以比较不同测量模式下（例如 fMRI、电生理学和行为学）的活动模式，展示了 RSA 的实用性，并通过眼动数据建立了先前未知的预先训练的语言编码器和人类处理难度之间的对应关系，展示了它作为神经模型可解释性工具箱的潜力。

Sep, 2019

任务分解：解耦任务迁移学习

本文提出了一种针对可视化任务空间结构的全计算方法，建立起一个任务转移学习的计算分类图谱，并研究了这种结构的一些影响，例如，减少标记数据的需求等。

Apr, 2018

二元图相似性：一种通用框架，用于任务转移学习中的初始化选择

本文介绍了一种基于双重图相似度 (DDS) 的高效、准确的方法，可以在给定几个预训练模型时选择模型初始化，从而在新任务上实现高性能转移学习。我们在 Taskonomy 数据集上验证了我们的方法，并在 Pascal VOC 语义分割任务上展示了我们的模型选择方法的鲁棒性。

Aug, 2020

基于差异的领域可迁移性用于零样本分类

本文探讨使用统计量来衡量不同任务间的相似性，从而减少 fine-tuning 的测试所需的任务对数量，并在 58 个任务和 6600 多个任务对组合上实验证明其可以提高任务的效率并显著降低运行时间。

Feb, 2023

任务迁移学习中可迁移性的信息论方法

本文提出了一个评估跨任务表示学习有效性的 H-score 度量方式，可以对在分类问题中从一个任务传递到另一个任务的表示的性能进行评估。使用实际图像数据进行的实验表明，该评价标准不仅与经验传递度量一致，而且在源模型选择和任务转移课程学习等应用中也非常有用。

Dec, 2022

黑盒遇见黑盒：神经语言模型和大脑的表征相似性和稳定性分析

该论文定义和应用了一种直观的分析神经语言模型的方法 —— 表征稳定性分析（ReStA），并使用 ReStA 和 RSA 对四个神经语言模型进行了研究，评估了它们的内部表征对先前上下文的敏感性，揭示了深层语言处理的位置，并探讨了 fMRI 大脑成像数据中的语言神经过程。

Jun, 2019

探究模型不可知元学习中的表示相似性

本文通过应用神经科学中的一种良好的方法 - 表示相似性分析 (RSA) 来研究模型无关元学习中的模型表示。虽然一部分分析支持特征重用是主导因素的一般结果，但我们也揭示了对其结论的反驳。指出对接近输入层的层的相似性增加起源于学习任务本身而不是模型。此外，内部梯度步骤后的表示具有比元训练期间的变化更广泛的变化。

May, 2021

基于属性映射的深度模型可迁移性

本文提出了一个简单而高效的方法来估计深度神经网络的迁移能力，该方法通过将深度神经网络投影到一个模型空间中，其中每个网络被视为一个点，这些点之间的距离通过它们产生的归因图的偏差来衡量。该方法比 Taskonomy 快数倍，同时保留了 Taskonomy 获得的与任务相关的拓扑结构。

Sep, 2019

下游微调的预训练模型建议

本文提出了一个实用性框架 Fennec，通过将所有模型和历史任务映射到一个 transfer-related 子空间中，以判断他们之间的可迁移性，并通过一个大型视觉模型来推断新任务在 transfer 空间中的表示，最后通过 rigorous testing 在两个基准测试上验证了框架的有效性。

Mar, 2024