使用最大熵模型从汇总数据中学习

Oct, 2022

使用最大熵模型从汇总数据中学习

Learning from aggregated data with a maximum entropy model

Alexandre Gilotte, Ahmed Ben Yahmed, David Rohde

TL;DR本文研究了如何通过最大熵假设来学习到未观测特征分布的新模型，并将其应用于一类常见的隐私数据集聚合模式中，从而使得该模型在相应公共数据集上的性能与传统逻辑回归模型在全数据集上训练的性能相当。

Abstract

Aggregating a dataset, then injecting some noise, is a simple and common way to release differentially private data.However, aggregated data -- even without noise -- is not an appropriate input for machine learning this http URL this work, we show how a new model, similar to a logistic

differential privacy machine learning maximum entropy hypothesis markov random field logistic model

发现论文，激发创造

从聚合数据中学习：编辑包和随机包的比较

本文探讨了使用聚合的数据标签训练机器学习模型的可行性，并针对策展袋和随机袋进行了两种自然聚合过程的研究。在策展袋设置下，通过使用聚合标签计算损失函数的梯度，证明我们可以实现不降低性能的基于梯度的训练。在随机袋设置下，基于 Rademacher 复杂度提供了一种广义风险边界，并展示了如何通过经验风险最小化进行正则化以实现最小风险界限，我们的实验结果表明，聚合学习可以有效地保护用户隐私并保持模型精度。

May, 2023

从聚合观察中学习

本文提出了一个概率框架，将多实例学习扩展到多类分类和回归等其他问题，并引入一种新的一致性概念来表征估计器，证明了在温和的假设下具有良好的收敛性。实验证明，该方法在三种问题设置中具有有效性。

Apr, 2020

不确定最大熵原理

介绍不确定最大熵法，将黑盒机器学习模型的输出作为输入，使其能够使用噪声观测，同时提高预测精度。

May, 2023

最大扩散强化学习

通过利用各态过程的统计力学，提出了一种称为最大扩散增强学习的方法，在单次部署中可使代理能够连续学习，无论如何初始化。该方法可以去除代理经验之间的相关性，证明了其优于流行基准的最优性能，并为增强学习代理（如行走机器人和自动驾驶车辆）的透明和可靠决策铺平了道路。

Sep, 2023

无需几乎没有训练的聚合相关估计

通过考虑相关性，本文提出了不同的聚合规则，并将它们与朴素规则进行了比较。通过基于合成数据的各种实验证明，当关于误差之间的相关性已知足够信息时，最大似然聚合应该优先考虑。否则，通常情况下，建议使用一种称为嵌入式投票（EV）的方法。

Sep, 2023

隐私意识智能体中的群体决策

如何在个人的隐私需求和安全顾虑中实现个体之间的信息交流以彼此学习？通过采用严格的统计担保，基于差分隐私（DP）控制信息泄露，我们使得保护个人隐私和实现高效社会学习成为可能。我们的研究结果揭示了在质量、学习准确性、通信成本和个体隐私保护水平之间在有限和无限信号环境下的权衡性质。

Feb, 2024

聚合输出的回归主动学习

提出使用互信息测量方法的主动学习模型，使用 Bayesian linear basis functions 模型，在训练聚合数据的回归模型时减少标注集的成本，并实现更好的预测性能。

Oct, 2022

使用集合图模型差分隐私学习无向图模型

研究如何使用 Laplace 机制以不确定的理论基础为代价，在一个期望极大化框架内，通过使用集体图模型的形式化方法对真实充分的统计数据进行推理，以解决学习离散的，无向的图模型的问题，以在合成数据和真实的人员流动数据案例研究中获得比竞争方法更好的模型。

Jun, 2017

差分隐私分布式估计与学习

本文研究了分布式估计和学习问题。利用线性聚合方案和调整的随机化方案，通过交换信息，聚合数据并在保护个体隐私的前提下估计未知特征值。通过对一些例子的验证，证明该算法的高效性和性能保障。

Jun, 2023

分布式统计学习的引导模型聚合

本文提出两种方差降低方法对分布式、隐私保护学习中使用的基于自助法的方法进行改善，包括权重 M - 估计器等。进行了理论和实证分析以证明我们的方法。

Jul, 2016