Aug, 2023

在线多任务学习的递归最小二乘和递归核方法

PDF
TL;DR该论文介绍了两种新颖的在线多任务学习回归问题的方法，分别基于高性能的基于图的多任务学习和基于加权递归最小二乘法（WRLS）和在线稀疏最小二乘支持向量回归（OSLSSVR）的递归版本。通过任务堆叠变换，我们证明存在一个单一矩阵，其中包含多个任务的关系，并提供结构信息供 MT-WRLS 方法在其初始化过程中和 MT-OSLSSVR 的多任务核函数中体现。与现有的以在线梯度下降（OGD）或不精确立方方法为主的文献形成对比，我们实现了在输入空间维度（MT-WRLS）或实例字典大小（MT-OSLSSVR）上具有二次每实例成本的精确和近似递归。我们通过一个真实的风速预测案例研究将我们的在线多任务学习方法与其他竞争者进行比较，证明了两种提出的方法在性能上的显著收益。
online multi-task learningregression problemsgraph-based mtl formulationweighted recursive least squaresonline sparse least squares support vector regression
发现论文，激发创造
  • 基于 Tensorized SVMs 和 LSSVMs 的低秩多任务学习

    多任务学习中使用高阶张量表示任务间的结构关系，并通过线性组合共享因子、特定因子来模拟任务关联，提出通用的基于低秩的多任务学习方法，证实了该方法在多任务学习中的有效性和优越性。

    Aug, 2023

  • 大规模任务高效可扩展的多任务回归

    提出一种名为 Convex Clustering Multi-Task regression Learning (CCMTL) 的算法，通过在预测模型的 k 近邻图上与凸聚类相结合，并使用新提出的优化方法有效地解决底层凸问题，使得其能够在包含大量任务的问题中实现准确性、高效性和线性可扩展性，并在真实世界和合成数据集上优于 7 种现有的 state-of-the-art 多任务学习方法。

    Nov, 2018

  • 多任务及其关系的在线学习：针对垃圾邮件数据和建筑领域脑电信号的测试

    本研究探讨了一种在线多任务学习（OMTL）方法，该方法按顺序处理数据以预测相关任务的标签，并同时学习任务权重及其相互关系。通过引入三种规则来更新任务相互关系矩阵：OMTLCOV、OMTLLOG 和 OMTLVON，与使用固定相关性值的传统方法（CMTL）相比较，我们的方法在三个数据集上进行的性能评估表明，OMTL 方法在 EEG 数据上将准确率提高了 1％至 3％，并在垃圾邮件数据集上保持了大约 12％的低错误率。

    Jun, 2024

  • 基于鲁棒正则聚类和非凸群体惩罚的多任务学习

    多任务学习通过鲁棒正则化聚类（MTLRRC）方法，同时进行鲁棒任务聚类和异常任务检测，提高估计和预测性能。

    Apr, 2024

  • 可分离随机逼近框架下的在线学习

    我们提出了一个基于分离随机逼近框架的在线学习算法，其中对于某些具有线性特性的模型参数，我们采用递归最小二乘（RLS）算法进行更新，然后根据更新后的线性参数，采用随机梯度法（SGD）更新非线性参数，该算法可以理解为一种随机逼近版块坐标梯度下降方法，已经在非凸情况下获得全局收敛性，数值实验表明，该方法提高了收敛速度并在与其他流行学习算法比较时产生更稳健的训练和测试性能，此外，我们的算法对学习速率不太敏感并且优于最近提出的 slimTrain 算法。

    May, 2023

  • 多任务稀疏结构学习

    本文提出了一种新型 MTL 模型，通过交替极小化算法解决任务关系结构和任务参数的联合估计问题，应用于回归和分类问题，结合灰色图模型结构学习得出任务关系结构。在温度预测等多个数据集中，该模型展现出了显著的表现优势。

    Sep, 2014

  • 一种在线多核并行学习方案

    本文提出了一种学习方案，通过可扩展地结合多个基于单核的在线方法来减少内核选择偏差，从而扩展了单核解空间，增加了找到高性能解的可能性，并在累积正则化最小二乘成本指标方面实验证明所提出的学习方案优于单独使用的组合单核在线方法。

    Aug, 2023

  • 在线学习作为正则化路径的随机逼近

    本文介绍一种在线学习算法，该算法是收敛于再生核希尔伯特空间（RKHS）中的回归函数的正则化路径的顺序随机逼近。通过小心选择增益或步长序列，我们展示了可以生产出批量学习的最佳已知强收敛速率，并给出了弱收敛速率，其在文献中达到了最小化和个人较低速率的最优水平，并利用 Hilbert 空间中鞍点型不等式为鞍点型型不等式的马尔可夫过程推导出几乎肯定的收敛。通过类似于批量学习设置的偏差 - 方差分解，我们证明偏差包括沿正则化路径的逼近误差和漂移误差，这些误差显现了相同的收敛速率，而方差则来自样本误差，分析为反向鞍点型差分序列，上述速率通过偏差和方差之间的最佳折衷得到。

    Mar, 2011

  • 模态线性回归的核函数选择：最优核函数和 IRLS 算法

    研究了模态线性回归中核函数的选择问题，证明了 Biweight 核函数可最小化 MLR 参数的渐近均方误差，提出了一种核函数类，保证了迭代重加权最小二乘算法是收敛的，特别是证明了使用 Epanechnikov 核函数可实现计算效率，进一步完善了已有的 MLR 研究脉络，提供了核函数选择的指导。

    Jan, 2020

  • 异步多任务学习

    本文提出了一种分布式和异步优化的多任务学习框架，该框架能够有效地解决数据存储在不同地点时的挑战，同时能够提高多任务学习模型的泛化性能。实证研究表明本文提出的方法在合成和实际数据集上均表现出高效和有效的性能。

    Sep, 2016