- 基于最大均值差异(MMD)统计量的集中不等式及其在生成模型中的应用
我们提出了一种均匀集中不等式,用于一类基于最大均值差异(MMD)的估计器的理论分析,特别是在生成模型中的应用。我们将该结果应用于最小 MMD 估计器和 MMD GAN 的泛化误差界的推导
- 基于被审查反馈的学习泛化误差界
非独立同分布的数据和带有审查反馈的数据对学习理论中的泛化误差界限有影响,本文通过推导改进的 Dvoretzky-Kiefer-Wolfowitz 不等式来界定这种影响,并通过分析探索技术的有效性提供新的误差界限模型。
- 关于深度复合高斯神经网络的泛化界限
通过边界限制 Rademacher 复杂度,我们为一类来自复合高斯先验的展开深度神经网络开发了新颖的泛化误差边界,可在信号维度和网络规模方面进行评估。
- 标签噪声随机梯度下降的泛化界
我们在非凸设置下,使用均匀耗散和平滑条件对带有标签噪声的随机梯度下降(SGD)进行了泛化误差界限的研究。在合适的半度量选择下,我们建立了依赖于参数维度 $d$ 的标签噪声随机梯度流的 Wasserstein 距离压缩。利用算法稳定性框架,我 - 延迟随机梯度下降的普适性理解探究
基于生成函数分析工具,我们研究了异步延迟 SGD 的泛化误差上界,结果表明异步延迟减少了延迟 SGD 算法的泛化误差。
- 深度学习算法的泛化能力理解:基于核化的 Renyi 熵视角
该论文提出了一种基于信息理论的方法,使用内核化的 Renyi 熵刻画了随机梯度下降算法的学习效率,实现了更紧密的泛化误差界限。
- ICML神经网络的谱间隔正则化
介绍一种基于 Fiedler regularization 和图谱结构信息的神经网络正则化方法,应用于节点嵌入学习,通过实验验证其有效性和可行性。
- 关于随机子集泛化误差界和随机梯度 Langevin 动力学算法
本研究基于 Hellström 和 Durisi 的框架整合了几个使用随机子集的期望泛化误差界限,其中包括了 Bu 等人关于样本互信息和 Negrea 等人关于数据集的随机子集的界限。然后,我们介绍了 Steinke 和 Zakynthin - 从数据中学习稳定证明
我们开发了一种算法,从轨迹数据中学习证明函数。我们从轨迹数据中建立了证明函数,并将其转换为全局稳定性保证,可以应用于其他任务中。
- 鲁棒联邦学习:仿射分布转移的案例
本文提出了 FLRA 框架,该框架可以应对联邦学习中用户间分布的移位问题。通过优化方法和梯度下降和上升(GDA)方法,解决了 FLRA 的分布式极小极大化问题。此外,通过实验结果,证明了该算法相比于标准的联邦学习和对抗训练方法,能够显著提高 - 从标签比例中学习:一个相互污染的框架
本文以相互污染模型为基础,对标签比例学习进行了研究,提出了一种新的实验设置并首次建立了一致的学习流程。研究结果还包括非独立抽样计划下的无偏损失和泛化误差界限。
- Dropout: 显式形式和容量控制
研究了 Dropout 在不同机器学习问题中提供的容量控制能力。在深度学习中,Dropout 的数据依赖正则化直接控制了基本深度神经网络类的 Rademacher 复杂度,并在矩阵完成和训练深度神经网络中给出了具体的泛化误差界限。在真实数据 - ICML基于扩展 PAC-Bayes 理论调整先验知识的元学习
提出了基于一般化误差界的元学习框架,通过构建学习任务的假设分布,并在新任务上使用以经验为依据的先验知识进行学习,我们可以在捕捉学习任务公共结构的同时保证学习者灵活地适应新任务的不同方面,通过深度神经网络的数值实验来证明元学习的基于梯度的算法 - ICML基于正类和未标记数据分类的半监督分类
本文提出一种新的半监督分类方法,通过将无标签数据引入到分类模型中,使模型的下降边界可以与无标签数据的数量成比例而不需要假设簇的条件。经过实验证明这种方法的有效性。
- ICML关于学习排序中损失函数的 Lipschitz 连续性和光滑性
本研究探讨了在学习排序问题中,利普希茨连续性和平滑性如何影响泛化误差,并使用∞-norm 改进了现有界限。此外,选择好的范数使得在平滑性假设下,我们证明了介于 1 / 根号 n 和 1/n 之间的比率。
- 关于预测稀疏编码的样本复杂度
本文研究预测性稀疏编码的推广性能,提出了学习界限并通过稳定性特征刻画了稀疏编码器的性质,进而在超完备和高维情况下提供了精确的估计.