Aug, 2021

具有普遍单调误差的普遍一致学习规则

PDF
TL;DR我们提出了一种普遍一致的学习规则，其期望误差在每个数据分布下随样本量单调非增。该规则是一种完全确定性的、数据依赖的划分规则，使用循环顺序在任意域（标准 Borel 空间）中构建。其核心思想是只在每个步骤中对那些表现出足够经验多样性的循环区间进行划分，从而避免误差函数为凸函数的区域。
learning ruleexpected errorsample sizedata-dependent partitioningempirical diversity
发现论文，激发创造
  • 单调学习

    通过黑盒 Oracle 访问和转换算法 A，提出了将任意学习算法 A 转换为具有类似表现的单调算法的方法，并解决了多个关于单调学习算法的问题。

    Feb, 2022

  • 利用单调性约束从稀疏数据中学习

    本文通过将定性单调性知识表现为概率分布约束，并将其纳入贝叶斯网络学习算法，从而改善在小规模数据训练下的准确度提升。

    Jul, 2012

  • 利用单调递增分辨率的量化随机学习方程

    通过单调递增的量化分辨率和随机分析，提出了一个量化学习方程。根据稠密均匀分布的量化误差的白噪声假设，通过量化误差的 i.i.d. 白噪声，证明了单调递增量化分辨率的学习方程从分布的角度弱收敛。研究表明，对于满足 Lipschitz 条件的域，可以实现全局优化，而不是目标函数的 Hessian 约束的局部收敛性质。

    Dec, 2021

  • 单调函数的无偏妥善学习：超越黑盒校正障碍

    本论文提出了第一个适用于单调布尔函数的无偏、高效、正确的学习算法，并使用凸优化步骤增进了不正确学习算法。同时，该工作还给出了估计未知函数到单调性的距离的算法，这两个算法的运行时间及假设评估时间为 2^(Õ(√n/ε))

    Apr, 2023

  • 测试者学习半空间的通用算法

    本研究提出了一种普适性的半空间测试学习算法，它可以在所有满足 Poincaré 不等式的分布上获得较小误差，具体实现是使用 sum-of-squares 算法检查分布的超对称性。

    May, 2023

  • 统计学习中的风险单调性

    本文针对机器学习中数据采集的困难和对泛化理解的缺乏，提出一种风险单调且效率较高的学习算法，解决了 Viering et al. 2019 提出的风险曲线非单调性的问题，同时提出了专门针对马尔可夫差分序列等非独立同分布的过程的经验 Bernstein 集中不等式的新方法。

    Nov, 2020

  • 使得学习者 (更) 单调

    提出了三种算法，使监督学习模型呈现更加单调的性能表现，其中算法 MT_HT 将 MNIST 数据集上的非单调决策控制在 1% 以下，并在误差率上保持与其他基线模型的竞争力。

    Nov, 2019

  • 批量鲁棒学习的通用方法

    研究了在数据存在噪声和对抗性的情况下如何进行鲁棒学习，同时提出了有效的学习算法来解决分段区间分类和分布估计的问题。

    Feb, 2020

  • 非均匀在线学习：走向理解归纳

    物理学家和归纳推理的非均匀在线学习的作用和限制，以及与在线学习理论和 Littlestone 类的关系。

    Nov, 2023

  • 关于强鲁棒分类的困难程度

    本文研究了机器学习模型对抗攻击的容易受攻击性问题，并从计算学习理论的角度探究了鲁棒学习的可行性和计算复杂度，并给出了相应的计算困难性证明。

    Sep, 2019