- 自然离散组合突变易导致数据误差的机器学习中的数据规模缩放:以肽和小分子为案例研究
通过研究在蛋白质或有机小分子等易突变的离散组合空间中训练的机器学习(ML)模型的数据误差缩放行为的趋势,我们发现了学习过程中出现的不连续的单调阶跃现象,其表现为特定训练数据阈值时测试误差的快速下降。我们发现了饱和和渐近衰减两种学习模式,并发 - 对于无偏 PAC 学习的误差指数
在本文中,我们通过考虑错误指数这一在信息理论中广泛应用的分析方法,研究了统计学习理论和可能近似正确(PAC)准则。在一定的稳定性假设下,我们发现二分类问题中 PAC 错误概率的指数行为,从而建立了对无知学习中可能近似正确学习的理论分析基础。 - 统计学习理论下的实用性泛化与认识不确定性
研究论文旨在探讨统计学习理论中的中心概念,如实现性和泛化性,如何在训练和测试分布来自同一可信集合(即概率分布的凸集)的假设下推广,这可视为在不确定性认知下的统计学习更一般处理的第一步。
- 利用 PAC-Bayes 理论和 Gibbs 分布进行具有复杂度度量的泛化界限
该研究利用分解的 PAC-Bayes 边界框架得出一个可适配任意复杂度度量的一般泛化边界,其中关键步骤是考虑一系列常用的分布:Gibbs 分布。该边界在概率上同时适用于假设和学习样本,允许复杂度根据泛化差距进行调整,以适应假设类和任务。
- 可信学习理论
统计学习理论是机器学习的基础,为从未知概率分布中学习的模型的风险提供了理论上的界限。然而,在实际应用中,数据分布可能会变化,导致领域适应 / 泛化问题。本文通过使用概率凸集(credal sets)模型化数据生成分布的可变性,为学习的 `c - 通过近似贝叶斯最优预测进行信息泄露检测
在当今数据驱动的世界中,公开可用信息的广泛传播加剧了信息泄漏(IL)的挑战,提高了安全性问题。本研究利用统计学习理论和信息论建立了一个理论框架来准确量化和检测 IL。该方法通过近似贝叶斯预测器的对数损失和准确度来准确估计互信息(MI),并使 - 量子机器学习:从 NISQ 到容错
量子机器学习的综述,包括在量子设备上运行机器学习算法的各种概念,介绍了在 Noisy Intermediate-Scale Quantum (NISQ) 技术中使用的技术和与容错量子计算硬件兼容的算法方法,同时涵盖了量子机器学习的基本概念、 - 统计学习理论与奥卡姆剃刀:基于经验风险最小化的论证
该论文考虑了归纳推理中由统计学习理论框架得出的简洁性偏好的认识论理解。通过结合先前论证的元素,该论文阐述了一个基于统计学习理论的、有限的目的手段和模型相关的证明论论证,建立在经验风险最小化方法的统计学习理论的中心数学学习保证的基础上。
- 将统计学习理论应用于深度学习
从学习理论的角度来理解深度学习时,我们讨论了一些主要问题,包括统计学习理论、随机优化、梯度下降对线性对角网络的隐式偏差。
- 应用于统计学习的平滑模型预测控制
本论文研究采用阻碍函数作为硬约束的线性模型预测控制策略的平滑逼近,通过精细的分析展示其平滑常数可以被仔细控制,从而为采样状态 - 动作对逼近 MPC 策略的新样本复杂度结果铺平道路
- ICLR学习 ReLU 网络以高均匀精度是不可解的
本文中,我们在非线性神经网络学习问题上,通过精确量化每个训练算法所需的最小训练样本数量,以保证目标类中包含或由预定义结构的 ReLU 神经网络的高精度,从而证明了在非常一般的假设下,训练样本的最小数量随着网络结构的深度和输入维度呈指数级增长 - AAAIKAM 理论遇上统计学习理论:具有非零训练损失的哈密顿神经网络
本研究将统计学习理论与 Kolmogorov-Arnold-Moser 理论相结合,提供了对 Hamiltonian neural network 学习误差不为零时的行为进行理论分析的方法,并提供了 Hamiltonian neural n - 强制可解释性及其统计影响:准确性与可解释性之间的权衡
本文针对机器学习中的可解释性问题,提出将可解释性视为对学习算法的限制条件,以此模拟保持可解释性的影响并利用已知的统计学习理论结果来分析摆脱这个限制条件的代价问题。
- ICML不可信来源中的健壮学习
该研究通过统计学习理论视角研究了机器学习中如何从分布式、众包等外部数据源中进行稳健学习,提出了一种通过自动抑制无关或损坏数据的过程, 并通过实验证明其比鲁棒统计和分布式优化的替代方法具有更高的精度和准确性。
- ICML基于神经网络的通用离散降噪器去噪损失的界限
通过最小化经验估计损失函数,从噪声受损数据中适应性地学习参数的神经网络 DUDE 的去噪损失限制类似于监督学习中标准经验风险最小化器(ERM)的泛化误差下限。我们表明其本质上也存在于去噪损失限制中,在所有有界的网络参数和所有基础干净序列上都 - 多类别分类中的拒绝和修正选项
本文提出了一种基于边际的带拒绝选项的多类别分类方法,引入了一种新颖的改进选项,可以识别出易错观测值,并且在低噪音假设下可优化统计学习理论与方法。
- ABRA: 使用 Rademacher 平均值在静态和动态图中逼近介数中心度
利用随机采样和统计学习理论,我们提出了 ABRA 算法,可以高效地计算和维护所有节点或边的介数中心性,相较于目前同等质量保证和样本数的最先进算法更具优势。
- 一种应用特定算法选择的 PAC 方法
本文使用统计和在线学习理论的概念来分析特定应用领域下的算法选择问题,并将算法选择建模为统计学习问题,同时研究了在线算法选择问题的可能性和不可能性结果。
- 网络可塑性作为贝叶斯推断
通过统计学习理论的通用结论,我们提出了一个模型,即通过采样网络结构的后验分布,突触可塑性和神经元网络可以进行概率推断,这个模型比现有的模型更好地解释了网络可塑性的随机特性对神经可塑性的影响。
- 计算机视觉应用领域的适应性
本研究关注最近在计算机视觉领域的早期领域转移学习方法,强调借助标记数据从不同域进行域适应以在目标域中提高数据分类准确度。