混合线性回归小批量的鲁棒元学习

Jun, 2020

混合线性回归小批量的鲁棒元学习

Robust Meta-learning for Mixed Linear Regression with Small Batches

Weihao Kong, Raghav Somani, Sham Kakade, Sewoong Oh

TL;DR通过利用任务之间的相似性，甚至用较小的任务来弥补缺少大规模数据任务的不足，提出了一种鲁棒的基于谱方法的算法，同时具备对异常值的鲁棒性和优良的统计折衷。

Abstract

A common challenge faced in practical supervised learning, such as medical image processing and robotic interactions, is that there are plenty of tasks but each task cannot afford to collect enough labeled examples to be learned in isolation. However, by exploiting the similarities acr

supervised learning data scarcity linear regressions spectral approach outlier-robust

发现论文，激发创造

混合线性回归的元学习

本篇研究了如何在少量标记数据的情况下进行监督学习，通过元学习来利用相似性，结合谱方法，提出了一种优雅的方法来充分利用小型数据集，只需适量的中型数据即可使大数量小标记数据的任务替代大数据任务。

Feb, 2020

使用异构数据批量进行线性回归

在很多学习应用中，数据来自多个来源，每个来源提供的样本批次本身无法足够学习其中的输入 - 输出关系。本文提出了一种基于梯度的新算法，通过解决多个问题改进了现有结果的适用性，包括允许子群的底层输入分布不同、未知和重尾、复原所有子群以及一个重要批次规模甚至可以为无穷大等。

Sep, 2023

每个任务非常少的样本的元学习

在这项研究中，我们研究了元学习和多任务学习的框架，探讨了在小样本情况下，通过少量任务和样本，能否学习到有效的共享表示，并利用该表示解决二分类问题。

Dec, 2023

探索任务内部关系以改善元学习算法

通过选择多样的任务进行小批量处理，我们研究利用任务关联的外部知识来改善训练稳定性，进而减少训练中的噪音。

Dec, 2023

大规模任务高效可扩展的多任务回归

提出一种名为 Convex Clustering Multi-Task regression Learning (CCMTL) 的算法，通过在预测模型的 k 近邻图上与凸聚类相结合，并使用新提出的优化方法有效地解决底层凸问题，使得其能够在包含大量任务的问题中实现准确性、高效性和线性可扩展性，并在真实世界和合成数据集上优于 7 种现有的 state-of-the-art 多任务学习方法。

Nov, 2018

任务鲁棒的模型无关元学习

本文提出了一种新的元学习方法，通过解决 min-max 问题以最小化观测到的元训练任务的最大损失，可以实现任务健壮性，从而在元训练和元测试之间的任务分布变化时，都能表现出色。

Feb, 2020

多任务半监督学习的大维度分析

本研究通过大维度研究了一种简单而多功能的分类模型，同时涵盖了多任务学习、半监督学习和考虑不确定标签的要素。利用随机矩阵理论的工具，我们表征了一些关键功能的渐近特性，一方面可以预测算法的性能，另一方面揭示了一些关于有效使用该算法的反直觉指导。该模型不仅强大到提供良好的性能保证，而且简单到深入理解其行为。

Feb, 2024

广义岭回归的元学习：高维渐近性，最优性和超协方差估计

提出并分析了一种基于元学习的方法，其中通过计算具有随机回归系数的高维多元随机效应线性模型的预测风险的精确渐近行为，选择广义岭回归中的权重矩阵为随机系数协方差矩阵的逆作为可扩展的度量；并通过使用从训练任务中获得的数据基于 Riemannian 优化方法提出并分析了估计随机回归系数的逆协方差矩阵的估计器，最后的仿真结果表明了在考虑的框架内所提出的方法对新的未观察到的测试任务的改进泛化性能。

Mar, 2024

增强元学习范式的简单而有效策略

元学习是一种有前途的范式，可以实现任务之间的技能迁移。此论文从分布鲁棒的角度优化元学习流程，并用预期尾风险的度量来元训练模型，提高元学习对任务分布的鲁棒性并减少最坏快速适应风险的条件期望。

Oct, 2023

高效可拓展的高斯过程元学习

在这篇论文中，我们开发了一种可扩展的基于高斯过程的模块化元学习模型 ScaML-GP，其中的核心贡献是一个经过精心设计的多任务核函数，它实现了层次化训练和任务的可扩展性。通过在元数据上对 ScaML-GP 进行条件化，我们揭示了其模块化特性，得到一个结合了元任务高斯过程后验的测试任务先验。在合成和真实世界的元学习实验中，我们证明了 ScaML-GP 可以在少量和大量元任务中高效学习。

Dec, 2023