线性和单隐藏层神经网络转移学习的极小化下界

Jun, 2020

线性和单隐藏层神经网络转移学习的极小化下界

Minimax Lower Bounds for Transfer Learning with Linear and One-hidden Layer Neural Networks

Seyed Mohammadreza Mousavi Kalan, Zalan Fabian, A. Salman Avestimehr, Mahdi Soltanolkotabi

TL;DR本研究开发了一个统计极小化框架以表征在回归中通过线性和单隐藏层神经网络模型进行的迁移学习的基本限制，并提取出源数据和目标数据的标记数以及适当的相似性概念作为算法所能实现的目标泛化误差的下限。我们的下限提供了迁移学习的益处和限制的新见解，并通过各种实验验证了我们的理论发现。

Abstract

transfer learning has emerged as a powerful technique for improving the performance of machine learning models on new domains where labeled training data may be scarce. In this approach a model trained for a sour

transfer learning machine learning regression neural networks generalization error

发现论文，激发创造

分布偏移下近似最优线性回归

探索在源域具有充足标签数据但目标域仅有稀缺标签数据的情况下，开发了具有最小值线性风险的估计量的转移学习算法，包括协变量转移和模型转移，同时也考虑了数据来自线性或一般非线性模型的情况，证明了线性最小值估计器与各种源／目标分布的非线性估计器相比的绝对误差是一个常量。

Jun, 2021

基于核的非参数回归的最小化最优迁移学习

通过研究转移学习在非参数回归问题上的应用，本文提出了两种解决方案：已知转移源时使用基于核岭回归的两步核估计器，未知转移源时使用基于高效集成算法的新方法，该方法可以自动检测并减轻负面源的影响，并通过大量的数值实验证实了理论结果并展示了提出的方法的有效性。

Oct, 2023

迁移学习中目标数据的价值

研究如何在迁移学习中最小化取样成本，并建立了源数据和目标数据样本大小的最小最大速率，并展示了性能限制是通过源与目标之间的不一致性捕捉的，我们称之为转移指数。

Feb, 2020

非参数回归的迁移学习：非渐近极小化分析与自适应程序

非参数回归的传递学习研究中，开发了一种自信阈值估计器，该估计器被证明在寻找最小最大风险时能够实现对数因子的最优性。结果展示了传递学习中的两个独特现象：自动平滑和超加速，这两者使之与传统环境下的非参数回归有所区别。随后，提出了一种数据驱动算法，能够自适应地在广泛的参数空间内达到对数因子的最小最大风险。通过模拟研究来评估自适应传递学习算法的数值性能，并提供了一个实际例子以演示所提方法的好处。

Jan, 2024

深度网络中的泛化（IIIb 理论）

该论文研究了深度神经网络中过拟合的问题，证明了使用特定的损失函数时神经网络的收敛性及性能，提出了一种实用的判断不同零最小化点泛化性能的方法。

Jun, 2018

多层神经网络训练无坏局部最小值：针对数据的独立误差保证

通过平滑分析技术，我们对具有分段线性激活函数、二次损失和单输出的多层神经网络（MNN）在可微的局部极小值处的训练损失提供保证。特别地，我们证明对于一个具有一个隐藏层的 MNN，几乎每个数据集和 dropout-like 噪声实现的每个可微局部极小值的训练误差都是零，然后将这些结果扩展到多个隐藏层的情况。我们的理论保证对训练数据几乎没有限制，并得到了数值验证。这些结果说明了为什么这些 MNN 的高度非凸损失可以通过局部更新（例如随机梯度下降）进行易于优化，这与经验证据相符。

May, 2016

非参数分类的迁移学习：极小极大风险和自适应分类器

本文研究了在后验漂移模型下，基于不同分布的观测数据的非参数分类问题中的迁移学习，首先构建了一个速率最优的两样本加权 K-NN 分类器并证明了收敛速率下限，接着提出了一种数据驱动的自适应分类器，证明了其能够同时在大量参数空间上实现接近最优速率，并给出了仿真研究和实际数据应用。同时，本文还考虑了多个源分布的情况。

Jun, 2019

回归任务的简单可迁移性估计

我们提出了两种简单且计算高效的方法，基于线性回归模型的负正则化均方差误差来估计优化的目标模型的转移性，在准确性和效率两方面显著优于现有的最先进的回归可转移性估计器。

Dec, 2023

一种极小极大法用于监督学习

引入最大熵原理的一般化方法，应用于带有从数据中得出的经验边缘条件的分布集合，提出一种针对监督学习问题的通用 minimax 方法，其中最大熵机是一种新的最小化结构化分布中最坏情况 0-1 损失的线性分类器，并且通过实验表明可以优于其他线性分类器，同时证明了 minimax 方法中的泛化最坏情况误差保证的界限。

Jun, 2016

潜变量网络模型的迁移学习

我们研究潜在变量网络模型中的迁移学习。我们提出了一种利用图距离排序的高效算法，用于估计给定潜在变量的边缘概率矩阵 $P$ 和 $Q$，并在没有假设源网络和目标网络参数形式的情况下实现了 $o (1)$ 的估计误差，并在随机块模型中证明了极小化下界和一个简单算法的性能。最后，我们在真实世界和模拟图迁移问题上对我们的算法进行了实证验证。

Jun, 2024