Dec, 2023

TSVR+：带特殊信息的双支持向量回归

PDF
TL;DR在机器学习领域中，数据可能包含称为特权信息（PI）的附加属性，特权信息的主要目的是辅助模型训练，并利用所获得的知识对未知样本进行预测。支持向量回归（SVR）是一种有效的回归模型，然而由于解决一对约束下的凸二次问题（QP），它的学习速度较低。相比之下，双支持向量回归（TSVR）比 SVR 更高效，因为它解决了两个分别受一组约束的 QP。然而，TSVR 及其变种仅在常规特征上进行训练，不使用特权特征进行训练。为了填补这一空白，我们引入了特权信息与学习的 TSVR 融合，并提出了一种名为特权信息双支持向量回归（TSVR+）的新方法。所提出的 TSVR + 中的正则化项捕捉了统计学习理论的本质，并实现了结构风险最小化原则。我们使用过度放宽（SOR）技术来解决提出的 TSVR + 的优化问题，从而增强了训练效率。据我们所知，将特权信息的概念集成到双变量回归模型中是一种新的进展。对 UCI、股票和时间序列数据进行的数值实验证明了所提出模型的优越性。
发现论文，激发创造
  • 双支持向量分位数回归

    本研究提出了一种双支持向量分位回归（TSVQR）方法，利用分位参数有效地描绘了现代数据中关于各部分数据点的异质分布信息，并构建了两个小型二次规划问题（QPPs）来生成两个非平行平面，从而测量每个分位水平下下限和上限之间的分布不对称性

    May, 2023

  • 具有稳定学习规则的增强型 KNN 双支持向量机

    该研究提出了一种增强的、基于加权的正则化 KNN 双支持向量机，通过加权样本、增加稳定项和结合多距离 KNN 算法来解决 KNN-based TSVM 分类器的高计算成本和过拟合等问题，实验结果表明在分类准确度和计算时间上均有显著提高，最大加速比可达 14 倍。

    Jun, 2019

  • 基于投影的模糊最小二乘双支持向量机在类不平衡问题中的应用

    通过使用基于模糊逻辑的方法来处理类别不平衡和有噪声的数据集，对几种基准数据集和合成数据集进行了实验评估，结果显示所提出的 IF-RELSTSVM 和 F-RELSTSVM 模型在性能上优于基准算法，并进行了统计检验以验证所提出算法的显著性。

    Sep, 2023

  • 学习使用特权信息：SVM + 和加权 SVM

    该研究讨论了使用先验知识通过特权信息来提高学习算法的预测性能或减少所需的训练数据的方法，其中重点介绍了 SVM+ 框架，并通过特权特征确定了加权 SVM 可以复制 SVM+ 解决方案，同时讨论了当特权特征不可用时如何选择加权 SVM 的问题。

    Jun, 2013

  • 多输出支持向量回归用于多步预测时间序列

    使用多输出支持向量回归（M-SVR）和多输入多输出（MIMO）策略，实现了多步预测；论文比较了三种预测策略，并提供了实际影响；结果表明，M-SVR 使用 MIMO 策略实现了最准确的预测，但计算成本较低。

    Jan, 2014

  • 自适应 SVM+：使用特权信息进行域自适应学习

    本文提出了 Adaptive SVM + 的学习范式，利用特权信息来进行视觉识别任务的域适应设置，取得了在 Animals with Attributes and INTERACT 数据集上的最新成果。

    Aug, 2017

  • 成本敏感的支持向量机概率预测

    提供了一种生成支持向量机的概率输出的新方法，利用集成方法和自举估计，能够处理不平衡数据集，并在广泛的数据集测试中展现了优势。

    Oct, 2023

  • 鲁棒的双参数边距支持向量机用于多类别分类

    本文提出了一种双参数边距支持向量机（TPMSVM）模型来解决多类分类问题，该模型通过解决 TPMSVM 类型的模型构建分类器，并通过 Robust 优化技术来鲁棒化，初步实验结果表现良好。

    Jun, 2023

  • 原始形式下的拉普拉斯支持向量机训练

    本文提出两种解决原始 LapSVM 问题的策略，以改善在使用无标签数据进行分类时所遇到的问题，并在真实数据实验中验证了该方法的有效性。

    Sep, 2009

  • 新软件项目缺陷密度预测的 v-SVR 多项式核方法

    本文研究了使用支持向量回归（SVR）来预测 International Software Benchmarking Standards Group（ISBSG）Release 2018 数据集中新软件项目的缺陷密度（DD），实验表明 v-SVR 与多项式核比简单线性回归（SLR）在第三代编程语言下开发主机上的新软件项目的预测准确性更好。

    Dec, 2018