本文提出了一个正则化框架下的向量值学习算法的一般化分析。该论文扩展了现有假设空间,损失函数平滑性和低噪声条件的限制。此外,作者还将这些结果应用于多类别和多标签分类。
Apr, 2021
本论文提供了关于向量值随机特征(RF)学习的全面误差分析,为 RF 岭回归在输入输出设置下建立了理论,该方法直接分析了风险函数,避免随机矩阵理论中的浓度结果,主要结果包括在模型未规范化情况下向量值 RF 估计量的强一致性和在规范化设置下的极小极小收敛速度。
May, 2023
研究多输出学习的挑战以及为了在监督数据集上学习矢量值函数所需的自限制利普希茨条件,证明该条件可以产生多输出学习的乐观界限,并给出其在多类梯度提升方面的应用及其最优性。
Feb, 2020
研究一种基于条件风险价值(CVaR)的风险规避统计学习框架,提出了基于随机梯度下降的算法。对于凸和 Lipschitz 的损失函数,该算法收敛到最优 CVaR,而对于非凸和平滑的损失函数,该算法在 CVaR 上的泛化界表现良好。通过在各种机器学习任务上进行数值实验,证明了该算法有效地将 CVaR 最小化。
本文提出了一种用于衡量线性和神经网络分类器对对抗干扰的鲁棒性的对抗风险概念,并通过对函数变换的界定来推导出对抗风险的上界,藉此解决了标准学习理论技术无法解决的问题。同时,还探讨了该理论对于多分类和回归的扩展,并提出了两种算法用于优化线性案例下的对抗风险界,并与正则化和分布鲁棒性进行了联系。
Oct, 2018
该论文介绍了一种深度神经网络框架,结合了生成网络和分类组件,旨在建模和估计输入与输出之间的动态多值映射,并提供可靠的不确定性度量。通过使用离散码本和分类器,该框架可生成给定输入的多个解决方案,并通过优化码本和不确定性估计来实现高精度的近似。实验结果表明,该框架在不确定性估计下准确地估计了动态多值映射。
Jun, 2024
通过一个统一的统计框架来回顾多种基于集合值分类的公式,提供了可扩展的策略和构建数据驱动算法的方法,并在真实数据集上进行实验和提供一般的实用指导。
Feb, 2021
本文对使用深度神经网络以及权值衰减函数进行训练的常见方法进行了新的解释,同时对基于多输出 ReLU 神经网络的使用权值衰减函数进行训练的函数的学习、利用新的表示定理在 VV 空间内使神经网络成为解决学习问题的最佳方案、以及使用多任务套索问题的方法对权重进行压缩等内容进行了研究。
提出一种基于梯度的方法,利用导向高维不确定性量化问题中重要方向,构建函数的岭近似,对于向量值函数来说。该方法最小化近似误差的上界,通过子空间 Poincare 不等式获得。在参数空间配备高斯概率测度的情况下,提供了彻底的数学分析,结果表明,使用函数的梯度可以有效地降低维度。还展示了如何选择函数定域的规范对函数的低维近似有影响。该方法推广了与标量值函数相关联的主动子空间的概念。
Jan, 2018
本文详细证明了相对偏差界限的双侧不等式及其影响,并在损失函数的无界情况下给出了双侧广义界限的证明,其中假设损失的某一时刻有界。这些界限对于重要性加权和其他学习任务如无界回归的分析非常有用。
Oct, 2013