- 基于核 $ε$-Greedy 策略的情境赌博机
该研究提出了一种基于核的上下文臂策略,使用在线加权核岭回归估算器对奖励函数进行估算,并在一定条件下证明了该估计器的一致性,同时针对任何核和相应的 RKHS 均可实现次线性遗憾率和最优遗憾率。
- 具有顺序最优遗憾界限的核化强化学习
针对使用核回归时的强化学习问题,我们提出了一种乐观性的改进最小二乘法值迭代方法,我们证明了其在一般情况下具有一阶最优遗憾保证,其结果比现有技术有显着的多项式改进。
- 强健在线学习的最优性
本研究提出了一种基于 robust loss function 的在线学习算法,通过选择合适的 scaling parameter 和步长,可以达到最优的收敛速度并且实现在均方距离和 Hilbert 空间强收敛速度的最优容量相关率,这两个结 - 通过核回归理解对抗训练中的过拟合现象
本文对于在再生核希尔伯特空间中采用对抗训练和加噪数据增强的正则化回归方法进行了研究,发现这两种方法在一些情况下可能导致过拟合,但通过选择适当的正则化参数,这两种方法可以优于标准的核回归,实现小的广义误差和利普希茨常数。
- 流数据的主动成本感知标记
研究主动标注流数据的问题,提出了一种基于确定性阈值和时间成本依赖性阈值的算法,并考虑了数据输入属于离散或连续域的情况,得到了上限约束模型。通过模拟实验,并在医学和天文学领域进行实际测试,证明了该算法在实验结果上的优势。
- 度量学习和偏好学习的表征定理:一个几何学的视角
本文探讨了在希尔伯特空间中度量学习和偏好学习问题,通过借助问题结构内在特性中诱导的内积的范数,获得了一种创新的代表定理,并演示了如何将其应用于三元组比较的度量学习任务,并显示出它对于这个任务的代表定理是简单且自包含的。在再生核希尔伯特空间的 - 利用最大均值差异测量弱收敛性
本文证明了当核函数满足积分严格正定时,基于最大平均差距的测度可度量概率测度的弱收敛性,并且纠正了先前结果的错误。
- 在 RKHS 中对光滑函数进行多尺度零阶优化
提出一种新算法,通过在通用高斯过程代理模型中增加本地多项式估计函数 $f$ 来构建多尺度 UCB 以指导优化器的搜索,从而在预算 $n$ 的情况下获得理论上的累积失望次数界限。
- 容忍腐败的高斯过程赌博优化
使用高斯过程方法提出一种基于随机噪声反馈的未知非凸函数的优化算法 Fast-Slow GP-UCB,在考虑对抗性干扰的情况下,通过两个实例间的随机选择、扩大置信区间和悲观乐观法,提出了稳健性和非稳健性的区分的理论分析。
- 深度神经网络模型中带有跨连接的梯度下降算法分析
研究了具有跳跃连接的深度神经网络模型的梯度下降算法的行为。证明了在超参数化区域内,通过适当的初始化,梯度下降可以以指数速度找到全局最小值。建立了沿着梯度下降路径的泛化误差评估,并得出在目标函数是由初始化定义的核定义的再生核希尔伯特空间(RK - D2KE: 从距离到核函数和嵌入
针对结构化输入的机器学习问题,提出了一种只基于输入之间的距离度量而不是特征表示估算函数 f (x),应用正定核泛函和重现核希尔伯特空间来构建算法,并将其与现有的基于距离学习的方法进行比较,结果表明该方法在分类实验中具有更好的推广性能。
- 核条件指数族
本文提出了一个非参数条件分布族,使用适当的 RKHS 中的函数参数来推广条件指数族;给出了一个学习广义自然参数的算法,并在特定情况下建立了估计的一致性。在实验中,新方法通常优于具有一致性保证的竞争方法,并在表现突变和异方差性的数据集上与深度 - 核分布嵌入:分布上的通用核、特征核与核度量
研究核均值嵌入的三个问题:(I)对于给定的内核,可以嵌入哪些集?(II)嵌入何时在 M 上是单射的(在这种情况下,dk 是度量的)?(III)dk 诱导的拓扑与 M 上的其他拓扑如何比较?
- 高斯核距离的相对误差嵌入
本文研究了使用 Reproducing Kernel Hilbert Space 定义数据点的嵌入,以及这些映射到欧几里德空间的随机傅里叶特征的映射精度与高斯内核距离之间的关系。我们证明了使用 O ((1/ε²) log (n)) 个近似特 - 损失分解、弱监督学习和标签噪声鲁棒性
本文证明了大多数知名损失函数的经验风险因子可分为线性项,聚合所有标签和不涉及标签的项,并且可以进一步表示为损失的和。这适用于任何 RKHS 中的非光滑、非凸损失。通过估计平均操作符,本研究揭示了这种分解的变量的充分统计量,并将其应用于弱监督 - 基于核化局部敏感哈希的大规模图像检索改进研究
本文提出了一种针对核化局部敏感哈希(KLSH)的简单而强大的重新解释方法,该方法是在投影空间中查看 KLSH 算法步骤的基础上实现的,并具有几个关键的理论和实际优点,包括消除 KLSH 的现有动机中存在的问题,获取 KLSH 的首个正式检索 - 函数和函数数据的差分隐私
利用高斯过程加噪点的方法,实现了对具有不同隐私级别的查询的差分隐私保护,可以应用于例如核密度估计,核支持向量机等在核希尔伯特空间中的函数。
- 内核距离简介
本文介绍了核距离的定义和其作为嵌入向量空间中的各种图形的概率测度之间的 L_2 距离,以及如何利用这种结构解决数据分析问题,同时窥探了这种度量的数学基础及其在两个独立领域中的最新进展。
- 核学习中的正则化
本文研究了在重现核希尔伯特空间中进行正则化学习情景时,如何在核函数的温和假设下获得最佳的错误率。研究发现,可以利用一种增长速度比 RKHS 规范中的标准二次增长慢得多的正则化项。
- 概率测度的希尔伯特空间嵌入和度量
提出了一种将概率分布嵌入到 Reproducing kernel Hilbert space (RKHS) 中的方法,通过定义核函数,使用两个分布嵌入之间的距离来对概率分布空间中的分布进行比较,我们证明了一些距离函数的特殊性质,并讨论了它们