RoBoSS:一种鲁棒、有界、稀疏和平滑的监督学习损失函数
该研究论文介绍了一种名为 Wave Loss 的非对称损失函数,将其应用于支持向量机和双支持向量机模型的优化过程中,通过优化算法提高了预测准确性,并在多个领域的数据集上进行了实证评估。
Apr, 2024
我们提出了一种基于置信边界的滑动损失函数来构建支持向量机分类器,通过引入近似稳定点的概念和利用利普希茨连续性的性质,我们为滑动支持向量机推导了一阶最优性条件,并定义了滑动支持向量和滑动工作集。为了高效处理滑动支持向量机,我们设计了一种带有滑动工作集的快速交替方向乘子方法,并提供了收敛性分析。在真实世界数据集上的数值实验证实了该方法的鲁棒性和有效性。
Mar, 2024
本文研究了鲁棒损失函数在标签噪声下的训练动态,通过重新表示大多数损失函数为具有相同类得分边界和不同样本加权函数的形式,提供了对训练动态的直观分析,证明了简单的修复可使欠拟合的鲁棒损失函数竞争力与最先进的方法相当,而训练时间表可以明显影响噪声鲁棒性,即使使用鲁棒损失函数。
May, 2023
本研究提出了一种基于 robust loss function 的在线学习算法,通过选择合适的 scaling parameter 和步长,可以达到最优的收敛速度并且实现在均方距离和 Hilbert 空间强收敛速度的最优容量相关率,这两个结果都是在线学习领域中的新成果。
Apr, 2023
本文证明了大多数知名损失函数的经验风险因子可分为线性项,聚合所有标签和不涉及标签的项,并且可以进一步表示为损失的和。这适用于任何 RKHS 中的非光滑、非凸损失。通过估计平均操作符,本研究揭示了这种分解的变量的充分统计量,并将其应用于弱监督学习。最后,本文展示了大多数损失都享有一种依赖于数据的(通过平均算子)噪声鲁棒性。
Feb, 2016
本文提出了一种高效的核存活支持向量机 (SSVM) 训练算法,通过直接优化主要目标函数,采用截断牛顿优化和随机统计树,降低了与现有训练算法相比的计算复杂度,并证明其可以用于规模更大的数据。
Nov, 2016
提出了一种新型的对称损失函数 HawkEye 损失函数,将其整合到支持向量回归(SVR)的最小二乘框架中,得到了一种新的快速鲁棒模型 HE-LSSVR,通过应用自适应矩估计(Adam)算法解决 HE-LSSVR 的优化问题,并在 UCI、合成和时序数据集上验证了其卓越的泛化性能和训练效率。
Jan, 2024
通过平滑的稀疏促进正则化的平方铰链损失最小化,研究了支持向量机的训练,并应用了基于主要化最小化方法的快速训练方法,提高了特征选择的性能,并在定量指标(准确率、精确率、召回率和 F1 值)以及计算成本方面表现出良好的性能。
Aug, 2023
本文提出了一个名为 TSS 的框架,用于证明机器学习算法具有普适的鲁棒性,能够有效地抵御各种对抗性的语义转换和攻击,特别是在图像分类领域中,对于像旋转,高斯模糊等紧密的语义转换表现出了优秀的鲁棒性。
Feb, 2020