本研究提出并研究了几种从给定基类的凸包中度量函数复杂度的方法。这些复杂度度量考虑到凸组合的稀疏权重以及涉及其中的基函数的某些聚类属性。我们证明了一些新的上界置信区间,这些置信区间是应用新的复杂度度量和分类边际的经验分布的集成(投票)分类算法的泛化误差,提供了对于利用大边际分类方法的泛化性能的更好的解释。
May, 2004
该研究分析了梯度下降算法,引入了新的弱学习器性能度量,并扩展了 Boosting 方法,以支持任意凸损失函数,并给出了相应的弱到强的收敛结果。
May, 2011
非凸多视角表示学习问题最近在机器学习领域中备受关注,本文提出一种由简单随机梯度下降算法有效求解的非凸公式,并且通过扩散近似建立起渐近全局收敛速率的理论证明。
Feb, 2017
研究稀疏近似解决凸优化问题,基于非线性逼近理论中的贪婪逼近技术,可解决给定元素的稀疏逼近和能量函数最小化的稀疏解决方案,适用于工程应用中的优化问题。
Jun, 2012
本文研究了如何利用贪心算法对统计学习理论中的回归问题中的 Hilbert 空间中的元素进行逼近,提升了现有的收敛速率理论,并建立了一套基于贪心逼近的学习算法,具有普适一致性和可证明的收敛速率,大大降低了计算负担。
Mar, 2008
本文提出了基于多层在线集成的在线凸优化方法,具有两种不同的适应性水平,并针对强凸、指数 - 凹和凸损失函数分别获得了收敛等效性和遗憾上界。
Jul, 2023
本文提出了一种基于局部策略的多核学习方法,采用凸优化算法和 Fenchel 对偶表示,对于应用于计算生物学和计算机视觉等应用领域的真实数据集,相比全局和非凸局部策略,此方法能够获得更高的预测准确性。
Jun, 2015
本文旨在解决半监督二分类集合聚合问题,以最小化在未标记数据上产生的预测损失,并找到了一类最小 - 最大最优预测。结果是一组半监督集合聚合算法,能像线性学习一样高效,但无需放松任何限制。它们的决策规则采用决策理论中熟悉的形式,将 Sigmoid 函数应用于集合边缘的概念,而不需要通常在基于边缘的学习中做出的假设。
Oct, 2015
本文将扩展反推理论以解决在线学习中的回归问题,提出了两种弱学习算法模型,并提出一种在线梯度推进算法将弱学习算法转化为强学习算法,同时介绍了一种更简单的反推算法,并证明了其最优性。
本研究提出了一种新颖的理论框架,用于无监督学习,具有不需要任何生成模型和基于最坏情况性能指标的特点。特别地,本研究测量性能是相对于给定的假设类进行的比较,这有助于避免已知的计算难度结果和基于凸松弛的不当算法。我们展示了如何通过凸优化在我们的框架下有效地学习多个无监督学习模型家族,这些模型家族以前仅在概率假设下进行分析,并且在其他情况下是可以证明棘手的。
Oct, 2016