高维单指数模型学习
本文提出了高维度结构限制下单指数模型(Single Index Models)的计算有效算法,实验证明该方法相对于广义线性模型和单层前馈神经网络都有更好的预测性能并具有更低的计算成本。
Mar, 2016
高维数据的分析引起了对单指数模型和最佳子集选择的日益关注,本文提出了第一个在高维单指数模型中具有可扩展性的证明可规模化的算法来进行最佳子集选择,该算法使用广义信息准则来确定回归系数的支持大小,消除模型选择调优。
Sep, 2023
本论文给出了学习任意单指标模型的全新结果,其中所需的激活函数参数满足 Lipschitz 范数和单调性,算法及分析基于 Bregman 距离和匹配损失的联系,同时也对 GLMtron 和逻辑回归等算法在普遍学习场景给出了新的保证。
Jun, 2023
单指标模型是高维回归问题,根据未知的一维投影通过非线性、潜在非确定性的变换,标签与输入相关,涵盖了广泛的统计推断任务,提供了在高维领域研究统计和计算权衡的丰富模版。我们证明了在统计查询(SQ)和低次多项式(LDP)框架内计算高效算法所需的样本复杂度最低为 Ω(d^k/2),其中 k 是与模型关联的 “生成” 指数,我们明确定义了这个指数。此外,通过使用部分跟踪算法建立的匹配上界证明了这个样本复杂度也是充分的。因此,我们的结果表明,在 SQ 和 LDP 类中,只要 k>2,计算与统计之间存在明显的差距。为了完成这个研究,我们提供了具有任意大生成指数 k 的平滑和 Lipschitz 确定的目标函数的示例。
Mar, 2024
本研究针对一类单指数模型,在不同的数据分布和假设条件下分别采用切片逆回归、LASSO 以及协方差筛选等算法,实现对支持集的恢复,并对 LASSO 用于线性模型的支持恢复结果进行推广。
Nov, 2015
提出了一种物理信息驱动的机器学习方法,用于近似奇异干扰系统的慢不变流形,并提供了简单的功能形式,以促进简化模型的构建和数值积分。通过三个基准问题的评估,证明了该方法的效率和准确性优于传统的基于 Geometric Singular Perturbation Theory 的方法,并且对扰动参数的大小没有影响。
Sep, 2023
本文提出了交互式学习的抽象框架 —— 交互估计,其中目标是通过学习者查询的点与其类似性来估计目标。我们介绍了一种称为不相似维度的组合度量,从很大程度上捕获了我们模型中的可学习性。我们提出了一种简单、通用和广泛适用的算法,对其进行了后悔和 PAC 泛化边界的求解,这些边界在新维度中是多项式的。我们展示了我们的框架涵盖并统一了两个经典的学习模型:统计查询学习和结构化强化学习。我们还说明了不相似维度与两种框架的众所周知的参数的关系,在某些情况下得到了显着改进的分析。
Jun, 2023
本文提出了一种简化的半参数单指数模型,用于信号处理中的估计问题,理论基于可行集的平均宽度并通过线性估计和度量投影实现,即使在高噪声情形下,未知的非线性关系也不会显著降低确定信号的能力。
Apr, 2014
使用卫星图像与机器学习相结合,可以远程估计数据贫乏地区的社会经济和环境条件,而这种方法可能会受到资源需求的限制。该研究表明,一种单一的卫星图像编码可以概括各种预测任务的要求,如林地覆盖、房价和道路长度。该方法不仅能够在成本低的情况下达到与深度神经网络相同的准确率,而且同时具有全球扩展性、标签分辨率和不确定性特性,因此实现成果共享。
Oct, 2020