CVPRMar, 2020

DEPARA：深度归因图用于深度知识可转移性

PDF
TL;DR本文提出了 DEeP Attribution gRAph（DEPARA）来分析 PRe-trained Deep Neural Networks 中所学习的知识传递能力，应用于先前研究中很少探索的预训练模型选择和层选择问题，并进行了广泛的实验以证明其优越性。
pre-trained deep neural networksknowledge transferabilitydeep attribution graphpre-trained model selectionlayer selection
发现论文，激发创造
  • 基于属性映射的深度模型可迁移性

    本文提出了一个简单而高效的方法来估计深度神经网络的迁移能力，该方法通过将深度神经网络投影到一个模型空间中，其中每个网络被视为一个点，这些点之间的距离通过它们产生的归因图的偏差来衡量。该方法比 Taskonomy 快数倍，同时保留了 Taskonomy 获得的与任务相关的拓扑结构。

    Sep, 2019

  • Graph 神经网络归因的扰动评估中的差异

    该研究通过重新训练网络来评估图神经网络归因方法，揭示了归因方法在不同数据集和网络上的可变性，并发现 GNNExplainer 与任意边重要性指定方法表现相似，研究得出重新训练评估不能作为广义基准，而应作为一种工具集来评估特定网络、数据集和稀疏度上的归因。

    Jan, 2024

  • 复杂网络的释义：通过因子传递实现网络压缩

    本文提出了一种基于卷积操作的知识转移方法，通过使用两个模块，即叙述模块和翻译模块，将教师网络的知识转化为学生网络的知识，从而实现模型压缩和知识转移，实验结果表明这种方法优于传统的知识转移方法。

    Feb, 2018

  • LETA：学习可迁移的通用视觉解释器归因

    通过在大规模图像数据集上发展预训练的、基于深度神经网络的通用解释器，利用其可迁移性解释不同视觉模型的下游任务，我们在理论分析和实证研究中证明了其有效性。

    Dec, 2023

  • 基于图神经网络的自适应迁移学习

    该研究提出了基于自监督任务的图神经网络（GNN）的迁移学习新范式，其能够有效地将自监督任务作为辅助任务在微调阶段与目标任务结合起来，通过元学习来学习辅助任务的权重，对于多任务学习，预训练和微调均表现出色。

    Jul, 2021

  • 深度协作学习的知识转移图

    本文提出了一种新的基于图的知识迁移方法，其中引入了知识迁移图和四个门函数来控制梯度，以实现更加灵活和多样化的迁移方式。实验结果表明，该方法在 CIFAR-10、-100 和 Tiny-ImageNet 数据集上实现了显著的性能改进，并能够发现出色的图结构。

    Sep, 2019

  • DARA: 域和关系感知适配器 实现对视觉定位的参数高效调整

    基于文本描述对图像中的物体进行定位的视觉 grounding 是一项具有挑战性的任务。本文通过提出一种名为 DARA 的新的参数高效迁移学习方法，利用域感知适配器 (DA Adapters) 和关系感知适配器 (RA Adapters) 来提高图像 grounding 的准确性和空间推理能力，实现了最佳准确性并节省了大量参数。

    May, 2024

  • PARN: 面向少样本学习的位置感知关系网络

    本文提出了一种基于位置感知的关系网络（PARN）来学习更灵活和强韧的测度能力，以解决 few-shot learning 中的问题。通过引入可变形特征提取器（DFE）和设计双相关性注意力机制（DCA），成功地使我们的方法能够知道语义对象的位置，并在多个基准数据集上取得最先进的表现。

    Sep, 2019

  • 通过节点归因解释图神经网络中的不公正性

    本文提出了一种新的策略 PDD，它可以衡量 GNN 中表现出的偏见，并开发了一种算法来有效地估计每个训练节点对此偏见的影响力。在真实世界的数据集上进行实验验证了 PDD 的有效性和影响力估计的有效性，并演示了如何使用该框架进行 GNN 去偏见化。

    Nov, 2022

  • AutoTransfer: 自动机器学习的知识迁移 —— 应用于图神经网络

    AutoTransfer: 提出了一种 AutoML 的解决方案，它通过将先前的架构设计知识转移到新的任务，从而提高搜索效率，并在图机器学习领域的六个数据集上进行评估。

    Mar, 2023