Jun, 2023

迁移学习的泛化能力：超参数化和欠参数化区间的表现

PDF
TL;DR本研究旨在探讨部分相似性对转移学习表现的影响，在探究各种类型的转移学习的基础上，提供了实用的指导，以确定共同部分和任务特定部分的特征数，从而实现更好的泛化性能。
发现论文，激发创造
  • 过拟合元学习的泛化性能理论特征化

    本文研究了使用高斯特征的线性回归模型下过拟合元学习的泛化性能，发现过拟合的 MAML 最小 L2 规范解可以有效降低泛化误差。

    Apr, 2023

  • 迁移学习下的模型选择限制

    研究表明，在模型选择中，转移距离是一个新的复杂度项，但在分类中，自适应速率可能会非常缓慢，而需有关距离的知识的 oracle 速率则可以达到更快的速度。

    Apr, 2023

  • 可配置系统性能建模的迁移学习：探索性分析

    本文在四个软件系统中进行了实验研究，以了解何时在性能建模中应用迁移学习有益。 结果表明，在环境变化较小的情况下，我们可以通过对性能模型应用线性变换来理解目标环境的性能行为，而在环境变化严重的情况下，我们只能迁移使采样更有效的知识，例如通过降低配置空间的维数。

    Sep, 2017

  • 大规模预训练分类器任务可转移性分析

    本文通过分析在只微调模型最后一层的情况下分类任务的性能传输，提出了一种新颖的任务转移分析方法，该方法通过改变类先验分布、标签和特征空间的方法变换源分布，并利用 Wasserstein 距离、标签分布的条件熵以及源分布的带权损失等因素说明了传输性，同时提出了最小化转移上限的变换源任务的优化问题，通过对最新的预训练模型进行大规模实证研究，证明了本方法在预测传输性方面的有效性。

    Jul, 2023

  • 回归任务的简单可迁移性估计

    我们提出了两种简单且计算高效的方法，基于线性回归模型的负正则化均方差误差来估计优化的目标模型的转移性，在准确性和效率两方面显著优于现有的最先进的回归可转移性估计器。

    Dec, 2023

  • 参数迁移学习的学习界限

    本文研究使用参数转移方法进行转移学习问题，介绍了基于参数特征映射的局部稳定性和参数转移可学习性，并推导了参数转移算法的学习界限。作为参数转移学习的应用，讨论了自学习中稀疏编码的性能，并提供了自学习的第一个理论学习界限。

    Oct, 2016

  • 如何以迁移学习方式进行迁移

    本文探讨了深度学习中的迁移学习的效果与代价，结果提供了关于使用迁移学习的指南。

    Nov, 2022

  • 探究深度表示的可迁移性

    该研究试图从泛化、优化和可转移性的角度理解神经网络的迁移能力，发现模型的可转移性与目标数据集的相似度、训练阶段以及转移参数的一些特性相关，包括使损失函数更加有利，加快和稳定训练过程。

    Sep, 2019

  • 过参数化如何影响特征？

    超参数化是深度学习成功的关键因素之一，本研究通过比较不同宽度的模型的特征来探讨过参数化网络的特点，发现无论是过参数化还是欠参数化的网络都具有一些独特的特征，而过参数化网络在性能方面优于欠参数化网络，即使许多欠参数化特征被连接。在 CIFAR-10 和 MNLI 分类数据集上使用 VGG-16、ResNet18 和 Transformer 进行验证，并通过一个玩具场景证明了过参数化网络可以学习一些欠参数化网络无法学习的重要特征。

    Jul, 2024

  • 学习潜变量模型中过度参数化的益处的实证研究

    通过合成和半合成实验，我们对无监督学习中的超参数化不同方面进行了实证研究，发现在各种模型（如嘈杂 OR 网络、稀疏编码、概率上下文自由语法）和训练算法（如变分推断、交替最小化、期望最大化）中，超参数化可以显著增加回收潜在变量的数量。

    Jun, 2019