负迁移的特征及其避免
该研究论文介绍了一种名为Selective Adversarial Network (SAN)的选择性对抗网络,用于解决部分转移学习(partial transfer learning)问题,从而实现大数据时代的分类和特征转移学习优化。实验结果显示,我们的模型优于多个基准数据集上的现有最先进结果。
Jul, 2017
本文提出了一种名为TransLATE的通用对抗自编码器框架,通过最小化连续时间戳之间的潜在特征空间中目标域的分类误差和C-散度来建模具有时间演变目标域的连续转移学习设置。
Jun, 2020
本文通过研究发现,针对新领域的迁移学习中,对于只有有限数据的情况下,通过对抗训练的模型相对于非对抗训练的模型具有更好的迁移性能。同时,对抗训练可以使学习到的表示偏向于保留形状而不是纹理,这影响了源模型的可迁移性,并且使用影响函数的方法发现迁移的对抗训练模型包含更多的人类可识别的语义信息,这至少部分解释了为什么对抗训练模型更实用。
Jul, 2020
本研究证明,相较于标准预训练模型,鲁棒性较强的预训练模型在转移学习中表现更佳。通过研究图像分类任务,发现鲁棒性较强的ImageNet分类器在一系列标准下游任务中得到了更高的准确性。
Jul, 2020
本文提出了一个系统化的对负迁移的定义及其影响因素、减少负迁移算法的调查,涵盖了安全迁移、领域相似度估计、远距离迁移和负迁移减缓四个方面,并探讨了在多任务学习、终身学习和对抗攻击等相关领域中的负迁移
Sep, 2020
通过对拟合平滑度和梯度相似度进行权衡,我们揭示了对抗传递的调节机制,发现数据分布移位导致的梯度相似度降级说明了拟合平滑度与梯度相似度之间的贸易协定,并提出了一种更好的替代品构建方法,旨在优化拟合平滑度和梯度相似度,通过数据增强、梯度正则化等技术进行验证。
Jul, 2023
我们提出了两种简单且计算高效的方法,基于线性回归模型的负正则化均方差误差来估计优化的目标模型的转移性,在准确性和效率两方面显著优于现有的最先进的回归可转移性估计器。
Dec, 2023
本研究解决了在无标签场景下进行数据表示学习的挑战,提出了一种基于对抗对比训练的新型无监督迁移学习方法。实验结果显示,该方法在多个数据集上的分类准确性优于现有的自监督学习方法,并为下游分类任务提供了理论保障,强调了大量无标签数据对预测准确性的贡献。
Aug, 2024