May, 2012

漂移分布学习的新分析和算法

PDF
TL;DR利用差异的理念，我们对批处理情景下学习漂移分布的问题进行了新的分析，并证明了基于假设集和分布的差异的 Rademacher 复杂度的学习界限，包括漂移 PAC 情景和跟踪情景。 我们提出了一种新算法，利用这些学习保证，我们展示了该算法可以被表述为一个简单的 QP。
learningdrifting distributionsdiscrepancyrademacher complexityalgorithm
发现论文，激发创造
  • 学习漂移离散分布的改进算法

    我们提出了一种适用于在分布漂移下学习离散分布的新的自适应算法。

    Mar, 2024

  • 学习漂移目标概念

    本文研究了在存在漂移的目标概念的情况下的学习问题，提出了误差率的上界，并给出了一个能够适应目标概念不断漂移的算法的一般结果，其中包括了该设置的积极学习变体，并提供了得到错误率上界所需的点标签查询数量的界限。

    May, 2015

  • 一种适应未知分布漂移学习的算法

    我们开发和分析了一种普适技术，可以在未知分布漂移的情况下进行学习。给定一个来自漂移分布的最后 $T$ 步的独立观测序列，我们的算法在时刻 $T$ 对当前分布进行从容学习。与先前的工作不同，我们的技术不需要关于漂移幅度的先验知识，而是根据样本数据进行算法调整。我们的算法学习了一类函数，其误差几乎与预先了解漂移幅度的学习算法相同。此外，由于我们的算法适应数据，它可以保证比依赖漂移松限制的算法具有更好的学习误差。

    May, 2023

  • 学习中的分布偏移的高效差异性测试

    提供了可靠与高效的算法来测试本地化的差异距离，进一步扩展了 TDS 学习模型并改进了之前相关的工作，同时提供了针对常数深度电路的指数级改进，与低维凸集的首个正面结果。

    Jun, 2024

  • 随机学习的 PAC-Bayesian 分析及其在随机梯度下降中的应用

    通过 PAC-Bayes 和算法稳定性的结合研究了随机梯度下降算法的泛化误差，提出了一种基于后验优化的自适应采样算法，并在基准数据集上进行评估。结果表明，相较于均匀采样，自适应采样既可以更快地降低经验风险，也可以提高样本外准确性。

    Sep, 2017

  • 领域自适应：学习界限和算法

    本文介绍了一种针对域自适应问题的新型分布距离度量 —— 偏差距离，并给出了不同损失函数的估计方法以及普遍推广界限。同时，本文也探讨了偏差距离减少和多种损失函数的最小化算法，并验证了其在不同应用场景的有效性。

    Feb, 2009

  • 通过延迟的在线到 PAC 转换推导混合过程的归纳界

    通过将训练数据从一个混合过程进行采样，我们研究了统计学习算法在非独立同分布的环境中的泛化误差，并基于延迟反馈的在线学习提出了一个分析框架。特别地，我们展示了即使数据序列是从混合时间序列采样得到的情况下，通过存在一个具有有界遗憾的在线学习算法（针对一个固定的统计学习算法，在一个特殊构建的延迟反馈的在线学习博弈中），所述统计学习方法的泛化误差较低。这些速率展示了在线学习博弈中的延迟量和连续数据点之间的依赖程度之间的权衡，当延迟适当地调整为过程的混合时间的函数时，可以在许多研究良好的情形下恢复近乎最优的速率。

    Jun, 2024

  • 使用 Kullback-Leibler 散度跟踪变化的连续学习

    介绍了一种利用 Kullback-Leibler 散度来监控多维数据流概率分布变化，以预测概念漂移事件并了解其本质的新方法，并探讨了其在预测维护等实际任务中的应用。

    Oct, 2022

  • 概念漂移中的分布式在线分类

    研究分布式在线学习算法在静态和非静态环境下的泛化能力，推导连通学习者网络中每个节点达到的超额风险界限并研究扩散策略相对于个体非合作处理的性能优势。通过广泛的模拟来说明结果。

    Jan, 2013

  • 从不受信任的批次中学习离散分布

    考虑在包含 ε 部分恶意数据源的情况下学习离散分布的问题，提供两种算法：一种在支持集大小 n 的指数时间复杂度下恢复 p，第二种在适用于 η = 0 的情况下，通过近似一个张量来实现，虽然其运行时间为 poly ((nk)^k)，但可以提供 O（ε/√k）的恢复保证，这可能具有独立的利益。

    Nov, 2017