convex loss functions | BriefGPT

关键词convex loss functions

搜索结果 - 13

使用 Fitzpatrick Losses 学习
引入了 Fitzpatrick 损失函数，它是一种基于 Fitzpatrick 函数的新型凸损失函数，与 Fenchel-Young 损失函数具有相同的链接函数，但更紧致，同时保持预测的链接函数。
PDFa month ago
重尾数据的差分隐私随机凸优化的改进速率
本文研究带有重尾数据的随机凸优化问题，并在差分隐私（DP）约束条件下进行研究。该文提出了一种新的算法用于估计重尾数据的均值，并针对凸损失函数提供了改进的上界。同时，证明了私密随机凸优化的几乎匹配下界，这表明了纯 DP 和集中 DP 之间的新
PDF3 years ago
使用随机特征学习的精确性能分析
本文研究无法可知函数的学习问题，主要贡献在于使用高斯数据对这种学习问题进行精确的渐近分析。在特征矩阵的温和正则条件下，本文提供了在低参数与高参数模式下渐近的训练和泛化误差的精确刻画。该分析适用于一般的特征矩阵、激活函数和凸损失函数家族。数值
PDF4 years ago
带有偏置但一致的梯度估计的随机梯度下降
本研究针对带图等情景，探讨 Stochastic gradient descent (SGD) 中 consitent estimator 的效用及其相对于 unbiased estimator 的同等收敛性。实验证明，consistent
PDF6 years ago
使用 Fenchel-Young Loss 函数学习分类器：广义熵、边际和算法
本文研究了一种通用的凸损失函数构造方式：Fenchel-Young losses，分析了它们的特性，并表明这种构造方式统一了许多著名的损失函数，并能轻松创建有用的新函数；Fenchel-Young losses 来源于广义熵的特性，包括 S
PDF6 years ago
ICML拜占庭容错分布式学习：追求最优的统计速率
本文针对分布式学习中的安全问题，提出了基于中位数和截尾均值运算的两种鲁棒性分布式梯度下降算法，并证明了这些算法在强凸、非强凸和光滑非凸损失函数下均能达到次优统计误差率，并且进一步提出了一种基于中位数的分布式算法，可在一轮通信下达到与鲁棒性分
PDF6 years ago
线性预测中的跟随者和快速收敛：曲线约束集合和其他规律
研究了在线学习算法中的 Follow the Leader (FTL) 算法，证明在一定条件下即使未必为凸损失函数时，其仍可以表现出与曲率相似的性能，同时可以在保证最坏情况下得到良好的结果。
PDF7 years ago
ICML多次 SGM 的泛化性和隐式正则化特性
本论文研究了随机梯度方法在凸损失函数及线性参数函数学习中的泛化特性，证明了在无惩罚或约束的情况下可以通过调整步长或数据通行次数来控制算法的稳定性和逼近性质，这被看作是一个隐式正则化的形式，并给出了数值结果验证理论发现。
PDF8 years ago
在线梯度提升
本文将扩展反推理论以解决在线学习中的回归问题，提出了两种弱学习算法模型，并提出一种在线梯度推进算法将弱学习算法转化为强学习算法，同时介绍了一种更简单的反推算法，并证明了其最优性。
PDF9 years ago
凸损失函数学习的迭代正则化
本文提出了一种基于次梯度方法的新型迭代正则化形式，经过实验迭代停止可以实现广义化。在再生核希尔伯特空间的非参数设定下，我们证明了在一般正则条件下的有限样本损失风险界。本研究提供了一类高效正则化学习算法，并给出了统计学和优化学在机器学习中相互
PDF9 years ago
半随机梯度下降方法
本文提出了一种名为 S2GD 的新方法，为解决优化大量平滑凸损失函数的平均最小化问题，文章指出其期望工作量可以通过几个步骤推导得出。
PDF11 years ago
利用线性变换进行度量和核学习
本文研究了在高维数据情况下的度量学习问题，提出了一种基于 LogDet 距离的学习线性变换的框架，并证明了它可以被有效地核化以学习任意高维空间中的度量，同时还可以将广泛类别的凸损失函数类似地核化，以扩展度量学习的潜在应用。同时，我们证明了这
PDF15 years ago
截断梯度稀疏在线学习
这篇论文提出了一种新方法，称为截断梯度 (truncated gradient)，可以在凸损失函数的在线学习算法中诱导稀疏性，该方法具有连续控制稀疏化程度的参数，类似于 $L_1$ 正则化方法，理论上可以证明小的稀疏化率仅会导致额外的小代价
PDF16 years ago