AAAIFeb, 2024

带动态平均的核化成对学习的有限内存在线梯度下降

PDF
TL;DR在线梯度下降方法在配对学习中的应用以及引入具有子线性后悔界的轻量级在线梯度下降算法，该算法可适用于线性模型和核配对学习，通过集成随机傅里叶特征有效降低内核计算复杂度，并在离线和在线场景中优于内核和线性算法。
pairwise learningonline gradient descentkernel pairwise learningregret boundrandom fourier features
发现论文，激发创造
  • 有限内存下降低方差的在线梯度下降法在核化对学习中的应用

    在线渐减梯度法是解决涉及训练示例对的损失函数机器学习问题中至关重要的方法之一。本研究提出了一种扩展到核在线成对学习的有限内存在线渐减梯度算法，同时改善亚线性遗憾。通过构建在线渐减梯度与格雷特之间的清晰关系，并使用存储有限数量的最新分层样本构建在线渐减梯度，我们的算法在真实数据集上的实验证明其优于核化和线性的在线成对学习算法。

    Oct, 2023

  • 不精确近端在线梯度下降算法的在线学习

    提出了一种名为近端在线梯度下降（OGD）算法，用于解决具有不同 iable loss 函数和不可区分正则化器的复合目标函数的非可区分动态优化问题，该算法适用于在线学习框架，并允许损失函数的梯度存在误差。

    Jun, 2018

  • 关于在线学习算法在成对损失函数中的泛化能力

    本文研究了基于在线学习的随机方法的泛化特性，提出了一种通用的解耦技术，可以提供基于 Rademacher 复杂度的泛化误差界限，并进一步分析了一类内存效率的在线学习算法。

    May, 2013

  • 基于配对损失函数的在线学习

    本文研究了在线学习算法中带有成对损失函数的泛化性能，并提出了一种数据依赖性较小的界限来衡量在线学习算法的平均风险产生的序列的模型偏差，同时针对常见的机器学习问题，如基于排名和监督度量学习提出了实际应用案例。

    Jan, 2013

  • 可微的无偏在线学习排名

    Pairwise Differentiable Gradient Descent (PDGD) is an efficient and unbiased Online Learning to Rank approach that allows for effective optimization of non-linear models based on user interactions and preferences, providing a better user experience than previously possible.

    Sep, 2018

  • 正则化对偶平均的扩展及其动态

    通过提出广义正则化对偶平均（gRDA）算法，该算法首次推导了在线 l1 惩罚问题的渐近分布，并开发了在线稀疏线性回归和在线稀疏主成分分析的统计推断理论，以及进行了广泛的数值分析。

    Sep, 2019

  • 在线核回归的次线性计算复杂度近似最优算法

    本文提出了两种新的算法 AOGD-ALD 和 NONS-ALD，可以在亚线性计算复杂度下保持趋近最优的遗憾界，并给出算法适用的充分条件。

    Jun, 2023

  • SketchOGD：内存高效的持续学习

    本文提出 SketchOGD 作为解决连续任务中机器学习模型遗忘的内存高效算法，使用在线素描算法压缩模型梯度，并在理论和实验上进行了评估。

    May, 2023

  • 正交梯度下降进行连续学习的泛化保证

    为了处理深度神经网络在连续学习环境下的灾难性遗忘问题，该研究提出了正交梯度下降算法。在神经切向核区间的理论框架下，证明了该算法鲁棒性较高，并推导出了用于连续学习的 SGD 和 OGD 的首个推广限制。最后，研究了 OGD 的局限性，并强调了神经切向核变化对于 OGD 连续学习问题的重要性。

    Jun, 2020

  • 学习线性模型的自适应尺度不变在线算法

    本研究解决在线学习中的参数调整问题，提出用于线性模型的算法，使其预测结果不受特征缩放的影响，并且在保持运行时性能的同时达到与使用最优学习率的 OGD 算法相同的遗憾界限。

    Feb, 2019