使用预训练的有条件生成模型进行迁移学习

Apr, 2022

使用预训练的有条件生成模型进行迁移学习

Transfer Learning with Pre-trained Conditional Generative Models

Shin'ya Yamaguchi, Sekitoshi Kanai, Atsutoshi Kumagai, Daiki Chijiwa, Hisashi Kashima

TL;DR在深度神经网络中，迁移学习对于新目标任务的训练至关重要。我们提出了一种基于深度生成模型的迁移学习方法，通过伪预训练和伪半监督学习两个阶段来进行，不需要做出现有方法中的假设，能够优于从头开始训练和知识蒸馏的基准方法。

Abstract

transfer learning is crucial in training deep neural networks on new target tasks. Current transfer learning methods always assume at leas

transfer learning deep generative models semi-supervised learning neural networks target tasks

发现论文，激发创造

半监督学习遇上迁移学习：训练策略、模型和数据集

本研究綜合研究了從預先訓練模型開始使用半監督學習方法，探討在不同條件下，如訓練策略，架構選擇和數據集等方面的表現，得出半監督學習技術對從預訓練模型開始訓練的模型的提升效果較使用隨機初始化的模型來的小，而當預訓練模型的源數據域與目標任務的數據域存在明顯差異時，SSL 方法的提升效果明顯提高的結果。

Dec, 2018

数据高效深度学习的自动调整方法

本文提出了 Self-Tuning 模型，通过自动调整来联合探索有标签和无标签数据以及预训练模型的转移，并且使用 Pseudo Group Contrast 机制来缓解对伪标签的依赖性和提高对错误标签的容忍度。实验表明，在五个任务中，Self-Tuning 具有比其 SSL 和 TL 对应物更好的表现，例如在 15% 标签的 Cars 数据集上将精度提升了一倍。

Feb, 2021

神经网络顺序转移自监督预训练调查

本论文综述了自监督预训练技术及其在序列迁移学习框架中的应用，包括自监督学习和迁移学习的分类体系、设计跨不同领域的预训练任务的突出方法以及近期趋势和未来研究方向。

Jul, 2020

扩散模型的迁移学习

该论文介绍了一种名为 Transfer Guided Diffusion Process (TGDP) 的新方法，用于在目标领域中将预训练的扩散模型与域分类器的额外指导相结合，以实现优化后的扩散模型，进一步将 TGDP 扩展为用于建模数据及其对应标签的条件版本，并引入两个附加的正则化项以提高模型性能，通过高斯混合模拟和真实心电图数据集验证了 TGDP 方法的有效性。

May, 2024

通过知识转移提升自监督学习

本文提出一种新的自监督学习框架，可以解决在设计和比较不同任务、模型和数据域时的限制问题，通过这个框架设计一种新的自监督任务，在 PASCAL VOC 2007、ILSVRC12 和 Places 数据集上，取得了显著的最先进表现，并将自监督学习和监督学习之间的对象检测 mAP 误差从 5.9% 缩小到 2.6%。

May, 2018

有限数据集上利用生成模型进行目标检测的迁移学习

我们提出了一种转移学习框架，通过基于扩散的生成模型在少量真实数据情景下改善目标检测器的性能，从而解决了数据有限性的挑战。该方法在海洋生物学和城市环境中的鱼类和汽车目标检测任务中取得了与数千张图像训练模型相媲美的检测性能，为各个领域的基于生成 AI 的机器学习应用开辟了新的途径。

Feb, 2024

如何训练您的 CheXDragon：为转移至新任务和医疗系统训练胸部 X 光模型

本研究探讨了多种监督和自我监督预训练策略在医疗图像多模式数据上的性能表现，并对其在新任务和医疗保健系统中的表现进行了评估和实验，结果表明多模式 SSL 性能优于单模式 SSL，并提供了适用于面对这些限制的场景的替代模型建议。

May, 2023

G2L: 一种几何方法用于生成伪标签，以提高迁移学习的效果

采用几何学算法 Cayley-Menger 行列式的 C2L 方法生成伪标签，以在转移学习中自动创建源模型，与经过广泛人类注释的 ImageNet1K 标签相比，其基本模型具有相似或更好的可转移性，从而使最终错误率降低 0.43％，其中 5 个不同数据集中的 4 个错误率减少。

Jul, 2022

基于扩散的神经网络权重生成

通过数据集条件的预训练权重采样，我们提出了一种高效且适应性强的迁移学习方案，通过学习一组预训练权重的分布来实现神经网络在未见数据集上的自适应采样，从而实现更快的收敛速度和更优的性能。

Feb, 2024

GAN 转移：从有限数据生成图像

本研究探讨了利用预训练模型的知识迁移学习应用于生成式深度网络中的领域自适应，并发现该方法可以在目标数据有限时缩短收敛时间，显著提高生成图片的质量。

May, 2018