- 关于可重参数化强化学习中的泛化差距
研究重点在于利用再参数化技巧解决强化学习的泛化问题,并利用监督学习和迁移学习理论分析其推广能力,结果证明推广能力与环境转移、回报和策略函数类等因素有关。
- 可微架构压缩(DARC)
本文提出一种新的范例叫做 Differentiable ARchitecture Compression (DARC),这种方法结合了模型压缩和架构搜索的优势从而能够学习出在推理时更加高效的模型,DARC 能够应用于任何神经架构,并在现代卷 - 不可知论联邦学习
该研究提出了一种基于混合客户端分布的不可知联合学习框架,以增加对客户端的公正性,并给出了一种快速的、随机的最优化算法,以用于其目标下的联合学习。
- ICML神经网络中超参数化的强大作用与二次激活函数
本文研究了神经网络学习中超参数化的有效性,提出了一种使用局部搜索算法寻找全局最优解的方法,并使用 Rademacher 复杂性理论证明了在权重衰减的情况下,解决方案在数据采样自正态分布等正则分布的情况下也能很好地推广,同时还分析了具有二次激 - AAAI基于加权 Rademacher 复杂度的近似推理
利用加权集合大小的一种新技术来估计加权设置大小的新广义 Rademacher 复杂度的上限和下限,并且可以通过解决随机扰动最优化问题来估计加权 Rademacher 复杂度。
- 神经网络的大小无关样本复杂度
研究神经网络学习的样本复杂度,提供了关于每层参数矩阵范数约束的 Rademacher 复杂度的新界限,改进了前人的成果,并使用一些新技术获得了网络深度的改进关系,且在一些额外假设的情况下,完全独立于网络大小 (深度和宽度)。
- 基于统一 PAC-Bayesian-Rademacher-Shtarkov-MDL 复杂度的紧致过量风险界
提出了一种新的学习理论复杂性概念,它在经验风险最小化和贝叶斯估计器的情况下分别以数据无关的 Rademacher 复杂度和数据相关的信息复杂度进行上限绑定,并通过 Rademacher 复杂度将其与 $L_2 (P)$ 熵进行关联。该研究进 - 一种样本复杂度度量及其在学习最优拍卖中的应用
介绍一个新的样本复杂度测量方式,称为分割样本增长率,利用其强化 Rademacher 复杂度分析,只需在拍卖设计的任何样本或子样本上使用 ERM 即可推导出许多文献中所研究的拍卖类的样本复杂度,并表明期望泛化误差由对数的素材复杂度的平方根上 - AAAIUniversum Prescription: 利用未标记数据进行正则化
本论文提出了一种称为 “宇宙处方” 的方式,通过向未标记数据简单地分配 “以上皆非” 的标签,对监督学习产生了有益的正则化效应,它在用于 CIFAR-10,CIFAR-100,STL-10 和 ImageNet 数据集的深度卷积神经网络训练 - 通过平方和层次法实现带噪声张量补全
该论文提出了一种基于六阶 sum-of-squares 层次结构的多维张量补全算法,其在观察到 $n^{3/2} r$ 个条目时能够在多项式时间内完成补全,并且该算法具有通用性,可以处理维度 $r > n$ 的张量补全问题。
- 多标记学习的本地 Rademacher 复杂度
本文研究了基于 ERM 的多标签学习算法的本地 Rademacher 复杂度,并提出一种新算法,通过集中在尾奇异值上而不是所有奇异值上,更好地恢复多标签预测器的低秩结构,从而利用标签之间的相关性。我们提出了一种新的条件奇异值阈值算法来解决本 - 深度神经网络的 Dropout Rademacher 复杂度
本文研究了 dropout 的不同类型的 Rademacher 复杂性,我们的理论结果揭示出,对于浅层神经网络(具有一层或无隐藏层),dropout 能够在多项式时间内降低 Rademacher 复杂度,而对于深度神经网络,它能够惊人地导致 - 传导式 Rademacher 复杂度及其应用
利用转导 Rademacher 复杂度及其 Error bounds 技术,借助新型的算法误差求解及算法刻画技术,得出三个已知的算法误差边界并针对混合转导算法提出新的 PAC-Bayesian 边界。
- ICML关于在线学习算法在成对损失函数中的泛化能力
本文研究了基于在线学习的随机方法的泛化特性,提出了一种通用的解耦技术,可以提供基于 Rademacher 复杂度的泛化误差界限,并进一步分析了一类内存效率的在线学习算法。
- 领域自适应的泛化界限
本文提出了一种新的框架,通过应用获得的领域自适应学习过程的泛化界,分析了学习过程的渐近收敛。为了测量两个领域之间的差异,使用积分概率度量。通过不同的不等式和复杂度测量,证明了领域自适性学习的一些性质,并用数值实验验证了理论结果的正确性。
- 漂移分布学习的新分析和算法
利用差异的理念,我们对批处理情景下学习漂移分布的问题进行了新的分析,并证明了基于假设集和分布的差异的 Rademacher 复杂度的学习界限,包括漂移 PAC 情景和跟踪情景。 我们提出了一种新算法,利用这些学习保证,我们展示了该算法可以被 - Lp 范数多核学习的本地 Rademacher 复杂度
本文针对不同特征映射的多核学习,推导出其本地 Rademacher 复杂度的上限,提供了比全局方法更紧致的超限风险边界,并在 1<=p<= 无穷的所有情况下进行了分析。作者还通过推导获得了 O (n^-alpha/(1+alpha)) 的快 - 在线学习:超越遗憾
本研究探讨了一类广泛问题的在线可学性,并将其扩展到远超过外部遗憾的性能评估简单规范。我们的框架同时捕捉了其他著名规范,例如内部和一般 Phi 规范、学习使用非加性全局成本函数、Blackwell 的可挑战性、预测者的校准、自适应遗憾等。我们 - 平滑损失学习的乐观速率
本文针对 H-smooth 损失函数和具有 Rademacher 复杂度 R_n 的假设类的经验风险最小化,建立了 O(HR_n^2 + R_n sqrt {HL*})的过量风险界,其中 L * 是假设类可实现的最佳风险。针对典型的假设类,