Jan, 2024

提升支持向量回归的效率和鲁棒性：鹰眼损失

PDF
TL;DR提出了一种新型的对称损失函数 HawkEye 损失函数，将其整合到支持向量回归（SVR）的最小二乘框架中，得到了一种新的快速鲁棒模型 HE-LSSVR，通过应用自适应矩估计（Adam）算法解决 HE-LSSVR 的优化问题，并在 UCI、合成和时序数据集上验证了其卓越的泛化性能和训练效率。
support vector regressionbounded loss functionshawkeye loss functionhe-lssvr modeladaptive moment estimation
发现论文，激发创造
  • Wave Loss 函数推动监督学习：一种鲁棒而平滑的方法

    该研究论文介绍了一种名为 Wave Loss 的非对称损失函数，将其应用于支持向量机和双支持向量机模型的优化过程中，通过优化算法提高了预测准确性，并在多个领域的数据集上进行了实证评估。

    Apr, 2024

  • 基于新型损失函数的二分类支持向量机

    我们提出了一种基于置信边界的滑动损失函数来构建支持向量机分类器，通过引入近似稳定点的概念和利用利普希茨连续性的性质，我们为滑动支持向量机推导了一阶最优性条件，并定义了滑动支持向量和滑动工作集。为了高效处理滑动支持向量机，我们设计了一种带有滑动工作集的快速交替方向乘子方法，并提供了收敛性分析。在真实世界数据集上的数值实验证实了该方法的鲁棒性和有效性。

    Mar, 2024

  • 通过锥优化的鲁棒支持向量机

    使用混合整数优化技术得出一种新的损失函数，使之比现有方案更好地逼近 0-1 损失函数，同时保持学习问题的凸性，具有与标准支持向量机相竞争的性能，且在存在异常值时表现更好。

    Feb, 2024

  • RoBoSS：一种鲁棒、有界、稀疏和平滑的监督学习损失函数

    该研究论文提出了一种新颖的 RoboSS 损失函数用于监督学习，并将其应用于支持向量机中，命名为 Lrbss-SVM。通过实证实验，论文证明了该模型在分类任务中具有优秀的泛化性能和高效的训练时间。

    Sep, 2023

  • 基于下确界卷积的功能输出回归：探究 Huber 和 ε-insensitive 损失

    本文提出了一种基于 Huber 和 ε-insensitive loss 的可扩展框架，能够处理函数输出回归中的各种异常和稀疏情况，并在向量值复制核希尔伯特空间的背景下导出了计算上可行的算法。在合成和真实世界的基准测试上，论文的效率得到了展示并与传统的平方误差损失进行了对比。

    Jun, 2022

  • 带有 $l_0$ 范数 Hinge 损失的核支持向量机分类器

    本文讨论了用于二分类问题的支持向量机（SVM）中 $l_0$-norm hinge loss 和 ADMM 算法， 证明了其等价关系和局部最优解，并对比了实验结果。

    Jun, 2023

  • 梯度反演重建质量的预测：优化视角

    通过使用自适应的损失函数，本研究提出了一种用于梯度逆转攻击的敏感性代理指标，该指标能够更准确地捕捉样本的脆弱性，并为以后在联邦学习中应对多种潜在损失函数的安全问题提供了解决方案。

    Dec, 2023

  • 多元凸回归及其变形的计算框架

    本文针对多元凸回归函数的非参数最小二乘估计器提出一种基于增广 Lagrange 方法的可扩展算法框架，并且给出了平滑凸的 LSE 拟合（分段仿射）的凸逼近方法及近似质量的形式保证，此外，提出了一种 Lipschitz 凸回归的正则化方案，并研究了所得 LSE 的收敛速度．数值研究表明了本文所提算法的可扩展性。

    Sep, 2015

  • $H$- 一致性保证用于回归

    我们对回归的 H 一致性界限进行了详细研究，提出了适用于回归的 H 一致性界限的新定理，并针对对称分布和有界假设集的平方损失函数的代理损失函数证明了一系列新的 H 一致性界限，包括 Huber 损失、所有的 lp 损失 (p≥1)、平方 ε-insensitive 损失，以及在平方支持向量回归 (SVR) 中使用的 ε-insensitive 损失的负面结果。我们进一步利用我们对回归 H 一致性的分析，并推导出对抗性回归的合理代理损失函数，从而建立了新的对抗性回归算法，并在第 6 节报道了有利的实验结果。

    Mar, 2024

  • 当没有预警的异常值压倒时的连贯回归

    研究了具有重尾噪声分布的健壮线性回归模型，提出了 Huber 损失估计器，证明其在样本量近线性和异常值分数倒数多项式情况下具有一致性。

    Sep, 2020