通过评估类内特征方差实现快速准确的可迁移性测量
本研究提出了一种基于优化转运输基础条件熵(OTCE)的度量方法,用于预测跨领域和跨任务特征传输的监督分类任务的传输性能,其中OTCE 比现有技术平均提供21%的性能提升,并且可以用于源模型选择和多源特征融合。
Mar, 2021
本研究通过定义和计算可量化的可迁移性来研究这种特征,在领域泛化中,我们将其与诸如总变化和Wasserstein距离之类的区别和联系,发现现有算法中很少具有可迁移性,随后提出了一种新的算法,以测试各种基准数据集,并在其中实现了持续的改进。
Jun, 2021
通过提出一种简单、高效、有效的量化传递学习中先前训练模型的可迁移性算法TransRate,通过对目标任务示例进行一次遍历,度量传递性,作为预先训练模型提取目标示例特征和其标签之间互信息的方法,TransRate在32个预先训练模型和16个下游任务的广泛评估中表现极好,从特征表示的角度评估TransRate评估先前训练特征的完整性及其对于每一类别的紧凑性能力。
Jun, 2021
该研究提出了一种新的转移度量标准,称为自我挑战 Fisher 判别分析(SFDA),用于评估每个先前训练的深度神经网络在下游任务中的可迁移性,并通过模型集成来筛选多个最具转移性的预训练模型。
Jul, 2022
本文提出了一种量化方法 - 最大证据对数(Logarithm of Maximum Evidence), 以预测在目标任务上表现最好的语言模型,通过与人工排名进行比较,本文发现来自定量指标的证据更加稳健,并且可以帮助识别出意想不到的最佳语言模型候选项。
Oct, 2022
本文提出了一个评估跨任务表示学习有效性的H-score度量方式,可以对在分类问题中从一个任务传递到另一个任务的表示的性能进行评估。使用实际图像数据进行的实验表明,该评价标准不仅与经验传递度量一致,而且在源模型选择和任务转移课程学习等应用中也非常有用。
Dec, 2022
本文提出了一种新的分析方法和度量标准——基于Wasserstein距离的联合估计(WDJE),用于在统一的分类和回归问题中估计和确定可转移性,通过比较目标风险有无转移来促进决策,同时提出了一种容易理解和计算的目标风险上界,通过有限的目标标签关系目标风险与源模型性能、域和任务之间的Wasserstein距离关系,简化了目标风险的计算, 并将其推广到无监督设置中。实验结果表明,WDJE在图像分类和剩余寿命回归预测中的有效性,并且所提出的目标风险上界能够很好地估计目标转移风险。
May, 2023
本文通过分析在只微调模型最后一层的情况下分类任务的性能传输,提出了一种新颖的任务转移分析方法,该方法通过改变类先验分布、标签和特征空间的方法变换源分布,并利用Wasserstein距离、标签分布的条件熵以及源分布的带权损失等因素说明了传输性,同时提出了最小化转移上限的变换源任务的优化问题,通过对最新的预训练模型进行大规模实证研究,证明了本方法在预测传输性方面的有效性。
Jul, 2023
现已大规模和大量可用的预训练模型,因此估计模型的迁移能力变得至关重要,本文针对这个问题进行了综述,并将其分为两个领域:无源模型迁移能力估计和有源模型迁移能力估计,提供了相关的分类和指导。
Feb, 2024
本研究通过建立一个包含各种结构、数据集和训练方法的大型目标检测器转移性基准,提出了一种高效的计算方式,同时评估分类和回归子任务,以及评估具有不同物体的任务。实验证明,相比于蛮力调整所有预训练检测器,我们的方法在不同目标领域下评估转移性能优于其他现有的方法,同时降低了 32 倍的时间和仅需 5.2% 的内存占用。
Mar, 2024