使用置换辅助的熵维度降低线性可扩展学习平滑低维模式
研究高斯卷积下微分熵估计的样本复杂性问题,通过使用主成分分析方法解决了在数据维度指数级增长时估计微分熵的缺陷,并提出在深度神经网络中使用低维度 PCA 方法对信息流进行研究的应用,对噪声卷积神经网络的 MNIST 分类问题进行了实验验证。
May, 2023
该论文研究了一类随机降维映射及其在高维随机几何学中的新普适性,证明在特定数据集上降维成功的概率存在相变现象,从而为数值线性代数算法、压缩感知、随机线性编码等提供了设计原则,并在随机实验设计下为统计估计方法的性能提供了启示。
Nov, 2015
本文提出了一种基于概率模型的降维方法,通过在目标数据集和背景数据集之间寻找信号富集的模式,能够恢复目标数据集中潜在空间中的有趣结构,并可应用于去噪、特征选择和子组发现等领域。
Nov, 2018
该研究提出了一种使用参数化相似性度量的方法,将其作为具有特定稀疏结构的秩一矩阵的线性组合,此方法可以高效地处理高维稀疏数据,并通过近似的 Frank-Wolfe 过程优化参数以满足训练数据上的相对相似性约束,实验结果表明该方法具有分类、降维和数据探索的潜力。
Nov, 2014
传统的监督学习模型中,学习器的目标是基于一些类别中最适应的概念,通过学习任意分布的示例,输出一个与之相差不超过 epsilon 的假设。本研究引入了平滑分析框架,要求学习器只需与对小的随机高斯扰动具有鲁棒性的最佳分类器竞争,从而提供了广泛的学习结果。此类别包括依赖于低维子空间(即多索引模型)和具有有界高斯曲面积的概念。有趣的是,我们的分析还为传统的非平滑框架(如学习边际)提供了新的结果。特别地,在时间复杂度为 k ^poly(log(k)/(epsilon * gamma))的算法中,我们首次获得了关于 k 半空间求交的无偏学习算法,这里 gamma 是边际参数。在之前的工作中,最优的运行时间复杂度是指数级的(Arriaga 和 Vempala,1999 年)。
Jul, 2024
研究了基于 Nesterov 的对偶平均算法的随机优化算法,在预期损失是强凸的且最优解是(近似)稀疏的问题上进行优化,证明了在局部 Lipschitz 损失下,在 T 轮迭代后,我们的解决方案的误差最多为 O((slogp)/T),并确立了我们的收敛率是最佳的,且在数值模拟中通过对最小二乘回归问题进行几个基准线的比较,证实了我们方法的有效性。
Jul, 2012
本文综述了一些线性降维方法,以及它们如何作为矩阵流形优化问题进行求解,并提出了一种基于正交投影的典型相关分析方法,这种优化框架使得线性降维成为了一种面向各种数据类型的黑盒子数值技术。
Jun, 2014
通过将 $k$-means 聚类算法重写为最优传输任务,并加入熵正则化,我们提出了一种全新的方法,其中嵌入是由深度神经网络执行的,表明与现有的基于软 $k$-means 的最新方法相比,我们的最优传输方法提供更好的无监督准确度,不需要预训练阶段。
Oct, 2019
该研究旨在解决高维分布学习中的拜占庭敌人问题,提出了面向单高斯、超立方体上的乘积分布及其混合分布和球形高斯的分布学习的算法,并为高维数据的拜占庭敌人问题提供了一种通用的检测与纠正方案。
Apr, 2016