Feb, 2024

PriorBoost：一种自适应聚合响应学习算法

PDF
TL;DR研究聚合反馈学习的算法，重点关注事件级损失函数的聚合集（文献中称为 bags）的构建。理论上证明了对于线性回归和广义线性模型（GLMs），最优的 bagging 问题可以简化为一维受约束的 k 均值聚类问题。进一步地，定量地证明了使用精心选择的聚合集相比于随机聚合集的优势。然后，提出了适应性形成样本聚合集的 PriorBoost 算法，以改善模型质量，聚合集与（未观测到的）个体反馈越来越同质化。研究了用于聚合学习的标签差分隐私，并通过广泛实验表明，PriorBoost 定期实现了事件级预测的最优模型质量，与非适应性算法形成鲜明对比。
发现论文，激发创造
  • 从聚合响应中学习：实例级和包级损失函数

    由于隐私关切的增加，在许多实际应用中，培训数据在与学习者共享之前被聚合，以保护用户敏感响应的隐私。本文研究了两种用于从聚合响应中学习的自然损失函数：基于包的损失和基于实例的损失。我们展示了实例层面的损失可以被视为包层面损失的正则化形式。我们引入了一种结合这两种方法的新型插值估计器。对于线性回归任务，我们在训练集大小与特征维度成比例的渐近情况下，精确刻画了插值估计器的风险。我们的分析使我们能够从理论上理解不同因素对模型预测风险的影响。此外，我们提出了一种从聚合响应中实现差分隐私学习的机制，并在预测风险 - 隐私权衡方面推导出最佳包大小。我们还进行了彻底的实验证实了我们的理论，并展示了插值估计器的有效性。

    Jan, 2024

  • 从聚合数据中学习：编辑包和随机包的比较

    本文探讨了使用聚合的数据标签训练机器学习模型的可行性，并针对策展袋和随机袋进行了两种自然聚合过程的研究。在策展袋设置下，通过使用聚合标签计算损失函数的梯度，证明我们可以实现不降低性能的基于梯度的训练。在随机袋设置下，基于 Rademacher 复杂度提供了一种广义风险边界，并展示了如何通过经验风险最小化进行正则化以实现最小风险界限，我们的实验结果表明，聚合学习可以有效地保护用户隐私并保持模型精度。

    May, 2023

  • 装袋法显著提升泛化效果

    通过在参数化级别适当地聚合基学习器而非输出级别，Bagging 能够以指数衰减减少慢慢消失的推广误差，从而显著提升推广性能。

    May, 2024

  • 聚合输出的回归主动学习

    提出使用互信息测量方法的主动学习模型，使用 Bayesian linear basis functions 模型，在训练聚合数据的回归模型时减少标注集的成本，并实现更好的预测性能。

    Oct, 2022

  • 从聚合观察中学习

    本文提出了一个概率框架，将多实例学习扩展到多类分类和回归等其他问题，并引入一种新的一致性概念来表征估计器，证明了在温和的假设下具有良好的收敛性。实验证明，该方法在三种问题设置中具有有效性。

    Apr, 2020

  • 通用损失下的最优二分类器集成

    本文旨在解决半监督二分类集合聚合问题，以最小化在未标记数据上产生的预测损失，并找到了一类最小 - 最大最优预测。结果是一组半监督集合聚合算法，能像线性学习一样高效，但无需放松任何限制。它们的决策规则采用决策理论中熟悉的形式，将 Sigmoid 函数应用于集合边缘的概念，而不需要通常在基于边缘的学习中做出的假设。

    Oct, 2015

  • 在线 boosting 的最优与自适应算法

    研究在线提升的两种算法：boost-by-majority 和自适应在线提升算法，证明其在可接受精度下基本上是最优的。两种算法都能处理样本的重要性权重，并且使用了在线损失最小化技术。

    Feb, 2015

  • 分布式统计学习的引导模型聚合

    本文提出两种方差降低方法对分布式、隐私保护学习中使用的基于自助法的方法进行改善，包括权重 M - 估计器等。进行了理论和实证分析以证明我们的方法。

    Jul, 2016

  • 批量鲁棒学习的通用方法

    研究了在数据存在噪声和对抗性的情况下如何进行鲁棒学习，同时提出了有效的学习算法来解决分段区间分类和分布估计的问题。

    Feb, 2020

  • 聚合实现的标签差分隐私保护

    本研究首次证明了在回归任务中，使用加权聚合方法（不需要或只需很小的附加噪声）可实现标签差分隐私（label-DP）。

    Oct, 2023