Oct, 2024

线性模型迁移学习的普遍性

TL;DR本研究解决了线性模型在回归和二分类任务中的迁移学习问题,尤其是小样本训练数据的挑战。通过预训练权重和随机梯度下降,分析了预训练和微调模型的泛化误差,并指出在特定条件下,微调模型能优于预训练模型。研究结果具有普遍性,仅依赖于目标分布的一阶和二阶统计量,超越了文献中常见的标准高斯假设。