Jun, 2023

交互式估计的统一模型和维度

PDF
TL;DR本文提出了交互式学习的抽象框架 —— 交互估计，其中目标是通过学习者查询的点与其类似性来估计目标。我们介绍了一种称为不相似维度的组合度量，从很大程度上捕获了我们模型中的可学习性。我们提出了一种简单、通用和广泛适用的算法，对其进行了后悔和 PAC 泛化边界的求解，这些边界在新维度中是多项式的。我们展示了我们的框架涵盖并统一了两个经典的学习模型：统计查询学习和结构化强化学习。我们还说明了不相似维度与两种框架的众所周知的参数的关系，在某些情况下得到了显着改进的分析。
interactive learningestimationdissimilarity dimensionregretpac generalization bounds
发现论文，激发创造
  • 交互式决策的统计复杂度

    提供决策 - 评估系数，作为评估交互式学习复杂度的量，从而实现与样本效率无关的最佳后悔，同时引入了一种新的选择 Estimation-to-Decisions（E2D），使得监督学习的算法适应于在线决策，从而实现了准确的与样本效率无关的学习，在强化学习中，该决策 - 评估系数可以快速恢复现有的大多数困难结果和下限。

    Dec, 2021

  • 鲁棒交互式学习的通用框架

    提出了一种基于 Angluin 等人的等效查询模型和 Littlestone 的在线学习模型的交互式学习模型的一般框架，旨在利用少数迭代来学习地面真实模型，该模型基于图表示和用户反馈，但是这不一定要求相应的权重在信息安全的环境下 100% 正确。

    Oct, 2017

  • 基于模型的强化学习和逃避维度

    本文研究学习优化未知马尔可夫决策过程问题，并通过参数化已知函数类来获得标度为系统维度而非基数的遗憾界，并提出了一种简单而计算高效的后验采样算法（PSRL）来满足这些界。

    Jun, 2014

  • 信息约束下交互式高维估计的统一下界

    本文提出了一种统一的框架，用于基于交互式协议的分布式参数估计，可以导出各种紧密下限，适用于不同的参数分布族；特别是在高斯家族的原型情况下，我们的方法可以规避以往技术的局限性，并补充了匹配的上限。

    Oct, 2020

  • 高维情形下无需计算难度的鲁棒估计

    该研究旨在解决高维分布学习中的拜占庭敌人问题，提出了面向单高斯、超立方体上的乘积分布及其混合分布和球形高斯的分布学习的算法，并为高维数据的拜占庭敌人问题提供了一种通用的检测与纠正方案。

    Apr, 2016

  • 近似即可：基于概率的维度与边界复杂度变体

    研究了近似维度和间隔复杂度的概念，这些概念相对于确切表示给定的假设类所需的嵌入的最小维度或范数来近似表示。发现这些概念不仅足以用于使用线性预测器或核进行学习，而且与确切的变体不同，它们也是必要的。因此，它们更适合讨论线性或核方法的限制。

    Mar, 2020

  • 分布式统计估计和维度的通信成本

    探索分布式学习中维度和沟通成本之间的关系，研究估计未知高维高斯分布均值的问题。同时，提出了一个基于阈值的协议，可在保证相同平方损失的前提下节省通信开销。

    May, 2014

  • 利用有限样本在神经表示上估计形状距离

    通过推导上、下界，分析了高维网络表示的几何相似性测量方法的统计效率和估计不确定性，提出了一种新的矩法估计器，在高维特征空间中优于标准估计器，为高维形状分析奠定了统计理论基础。

    Oct, 2023

  • 可实现回归的最优学习方法：PAC 学习与在线学习

    通过确定维度来对可实现回归进行统计复杂性及在线学习进行了全面分析，并提出了与学习能力相关的维度，从而在实践和理论上取得了显著的进展。

    Jul, 2023

  • 数据复杂性的几何视角：基于扩散模型的高效局部内部维度估计

    基于扩散模型的 Fokker-Planck 方程提供了一种解决现有方法缺陷的局部内在维度估计器 FLIPD，它兼容于各种流行的深度生成模型，并在局部内在维度估计基准测试中优于现有基线模型。

    Jun, 2024