本文介绍了Relevance Vector Machine，它是一种概率模型，其功能形式相当于Support Vector Machine，提供完整的预测分布，并且需要更少的核函数。我们展示了如何通过变分推理在完全贝叶斯范式内构建和解决RVM，并给出超参数的后验分布。我们用人工合成和实际例子证明了变分RVM的实用性和性能。

Jan, 2013

本文展示了一种新的贝叶斯推断方法，即在奇异矩阵的奇异向量上定义适当的先验，以促进低秩重构，并通过数值逼近加速运算，然后将该算法应用于矩阵完整性和重构问题，并对其性能进行了数值研究。

Jun, 2014

本文研究了多分类算法的泛化性能，首次获得一种基于数据的泛化误差界限，并在现有数据相关泛化分析的线性依赖条件基础上，显著提高了类大小的对数依赖性。理论分析促使我们引入了一种基于$\ell_p$-范数正则化的新型多分类分类机器，其中参数$p$控制相应限制的复杂度。我们基于Fenchel对偶理论导出了一种高效的优化算法。对几个真实世界数据集的基准测试表明，所提出的算法可以实现显着的精度提高。

Jun, 2015

本研究提出了一种新的线性子空间学习技术，名为J-Play，可以有效的通过多个子空间，线性逼近最优映射来学习高级别和有意义的特征表示，并在对多标签分类问题的应用中展示了其卓越的效果和有效性。

Aug, 2018

本文研究了高超参数线性模型在多类别高斯协变量下的渐近泛化，包括对 Subramanian 等人所提出的双层模型的研究，提出了新的下界，证明了该模型的渐近一致性，并提供了一个在稀疏标签多类问题中广泛适用的 Hanson-Wright 不等式的变体。

Jun, 2023

支持向量机(SVM)在统计学习理论的成功应用方面获得了显著的赞誉。然而，在多类和多标签设置环境中，现有基于向量表示的SVM模型的依赖性对于灵活性和易于整合附加项以处理特定挑战方面存在局限性。为了克服这些限制，我们的研究重点介绍了一个有效解决这些约束的SVM矩阵形式。通过在对偶问题中应用加速梯度下降方法，我们显著提高了解决矩阵-SVM问题的效率。对多标签和多类数据集的实验评估表明，矩阵SVM实现了更高的时间效率，并且与二元相关SVM的结果相似。此外，我们的矩阵形式揭示了在传统基于向量符号中可能不容易察觉的重要见解和优势。我们强调，许多多标签模型可以被视为SVM的扩展，通过定制修改以满足特定要求。本文提出的矩阵形式为开发更复杂的模型奠定了坚实的基础，能够有效应对多标签学习中遇到的独特挑战。

Jul, 2023

本文介绍了一种适应于Subspace Support Vector Data Description（S-SVDD）的Newton方法的改进。通过利用Newton方法增强数据映射和描述，以实现基于子空间学习的一类分类的优化。实验证明，该优化策略在大多数情况下优于基于梯度的S-SVDD。

Sep, 2023

支持向量机（SVM）是机器学习中分类和回归问题中最研究的范例之一。矩阵格式的真实世界数据往往在SVM中通过将矩阵转化为向量的方式输入，但转化过程中会破坏矩阵数据中的空间关联性，并导致高维度的输入数据引入了显著的计算复杂度。为了克服这些问题，提出了支持矩阵机（SMM），该方法通过使用核范数和弗罗贝尼乌斯范数的光谱弹性网方法来保留矩阵数据的结构信息。本文首次深入分析了SMM模型的发展，可供初学者和专家使用的全面摘要。我们讨论了各种SMM变体，如鲁棒、稀疏、类别不平衡和多类别分类模型。我们还分析了SMM模型的应用，并通过概述潜在的未来研究方向和可能性来总结本文，以促使学术界推动SMM算法的发展。

Oct, 2023

我们提出了一种新的算法类别，即不变特征子空间恢复（ISR），用于实现分类和回归问题的可证明领域泛化。在二元分类方案中，我们的第一种算法ISR-Mean可以通过类条件分布的一阶矩来识别不变特征所张成的子空间，并在$d_s+1$个训练环境下实现可证明的领域泛化。

Nov, 2023

基于图像集分类的一种模型，使用广义相关学习向量量化来处理Grassmann流形数据，该模型返回一组原型子空间和相关向量，提供对模型决策的洞察，可成功地建模变化并具有较低的复杂度。

Mar, 2024