Aug, 2023

ETran: 基于能量的可迁移性评估

PDF
TL;DR本文提出了一个基于能量的可转移性评估度量 (ETran)，用于解决目标检测和图像分类中预训练模型的排名问题。ETran 通过能量得分、分类得分和回归得分来判断目标数据集对预训练模型是否为带内（IND）或带外（OOD）数据，并在分类、回归和目标检测任务上都适用，是首个提出目标检测任务的可转移性评估的研究。在四个基准测试和两个任务上的广泛实验证明，ETran 在目标检测和分类基准测试上的平均性能分别比先前的方法提高了 21% 和 12%，并在转移性评估方面达到了最新的成果。
pre-trained modelstransferability estimationobject detectionimage classificationenergy-based transferability assessment
发现论文，激发创造
  • 通过势能视角探索模型的可迁移性

    通过模拟基于力学的物理模型，对模型的选择进行重新定义，并通过捕捉动态表示的运动来评估可迁移性，从而增强传统的模型评估方法并提高性能。

    Aug, 2023

  • 基于能量的区分度检测

    在开放世界中安全部署机器学习模型的重要基础是确定输入是否为 ODD, 然而，传统基于 softmax 置信度得分的方法在 ODD 数据的后验分布上存在过度自信的问题，本文提出了一个使用能量分数的 ODD 检测的统一框架，理论上更能够识别 “内部” 和 “外部” 数据。这个框架内可以灵活地将能量用作得分函数和 OOR 检测的可训练成本函数，与 CIFAR-10 预训练的 WideResNet 相比，使用能量分数将平均 FPR （在 TPR 95％处）降低了 18.03％，并且使用基于能量的训练，我们的方法在常见基准上表现优异。

    Oct, 2020

  • 预训练检测器的高效可迁移性评估

    本研究通过建立一个包含各种结构、数据集和训练方法的大型目标检测器转移性基准，提出了一种高效的计算方式，同时评估分类和回归子任务，以及评估具有不同物体的任务。实验证明，相比于蛮力调整所有预训练检测器，我们的方法在不同目标领域下评估转移性能优于其他现有的方法，同时降低了 32 倍的时间和仅需 5.2% 的内存占用。

    Mar, 2024

  • 令人沮丧的易转移能力估计

    通过提出一种简单、高效、有效的量化传递学习中先前训练模型的可迁移性算法 TransRate，通过对目标任务示例进行一次遍历，度量传递性，作为预先训练模型提取目标示例特征和其标签之间互信息的方法，TransRate 在 32 个预先训练模型和 16 个下游任务的广泛评估中表现极好，从特征表示的角度评估 TransRate 评估先前训练特征的完整性及其对于每一类别的紧凑性能力。

    Jun, 2021

  • 回归任务的简单可迁移性估计

    我们提出了两种简单且计算高效的方法，基于线性回归模型的负正则化均方差误差来估计优化的目标模型的转移性，在准确性和效率两方面显著优于现有的最先进的回归可转移性估计器。

    Dec, 2023

  • 如何选择转移模型？一项关于转移可行性估计的调查

    现已大规模和大量可用的预训练模型，因此估计模型的迁移能力变得至关重要，本文针对这个问题进行了综述，并将其分为两个领域：无源模型迁移能力估计和有源模型迁移能力估计，提供了相关的分类和指导。

    Feb, 2024

  • 目标检测的迁移性指标

    本文介绍了以 ROI-Align 为基础的方法来对对象进行定位和提取特征，并提出一种考虑到坐标回归任务的传递性度量 TLogME, 该度量在本文的实验中表现出了优异的表现和进行了比较，与现有的其他传递度量相比具有更好的稳健性。

    Jun, 2023

  • 构建一支强大的团队：使用次模传递可计估方法选择源模型集合

    提出了一种用于评估模型集合对下游任务的可转移性的新方法 OSBORN，能够综合考虑图像领域差异、任务差异和模型集合的内聚性，相较于现有指标 MS-LEEP 和 E-LEEP，该方法在图像分类和语义分割任务中表现出更好的性能。

    Sep, 2023

  • 基于能量学习的领域外意图检测中的置信分数分布分解

    本文提出了一种简单而强大的基于能量的得分函数来检测超领域或未知意图的方法，同时介绍了一种基于能量的边界目标来区分超领域与内部领域，并通过全面的实验和分析证明了该方法有助于解开内部领域和超领域数据的置信度得分分布。

    Oct, 2022

  • 基于能量的未知意图检测与数据操作

    本文提出一个使用能量分数来实现未知意图检测的方法，该方法可用于任何分类器，并通过数据操作生成高质量的无分布语音以填补实践中收集困难的空缺，实验结果表明，这种能量检测器可在两种基准数据集上实现最先进的结果。

    Jul, 2021