Oct, 2023

分布式个性化经验风险最小化

PDF
TL;DR该论文提出了一种新的个性化经验风险最小化（PERM）范式，以便从异质数据源中学习，而不对参与设备共享的计算资源施加严格的约束。在 PERM 中，我们旨在通过有效估计数据分布之间的统计差异来学习每个客户端的不同模型，从而实现所有局部分布的最佳统计准确度并克服数据异质性问题。为了在规模上学习个性化模型，我们提出了一种分布式算法，用模型洗牌来同时优化所有设备的 PERM 目标，取代了标准的模型平均。这还允许我们为不同的客户端学习不同的模型架构（例如，具有不同参数数量的神经网络），从而限制了各个客户端的底层存储和计算资源。我们对所提算法的收敛性进行了严格分析，并进行了实验证明了所提范式的有效性。
发现论文，激发创造
  • 正则化经验风险最小化的分布式块对角逼近方法

    本文提出了一种通过求解对偶问题的分布式经验风险最小化训练框架，可以用于各种机器学习问题，具有全局线性收敛和更快的实证性能。

    Sep, 2017

  • 联邦学习中的混合模型：隐私、通讯和准确性权衡

    为了解决联邦学习框架下传统 ERM 问题所面临的隐私保障、低带宽、动态客户端等挑战，我们开发了最优通信 - efficient 私密方案，可以使客户端参与到 ERM 的优化中，同时保证通信和隐私效果，并利用数据和客户端抽样实现隐私扩大，验证了我们的解决方案既能够获得相同的隐私、优化 - 性能操作点，又能大幅降低通信成本。

    Aug, 2020

  • 费米博士：一种随机分布鲁棒公平经验风险最小化框架

    提出了首个具有收敛保证的随机分布鲁棒公平性框架，不需要对因果图的了解，在分布转移的环境中将公平推断制定为 $L_p$ 范数不确定性集合下的分布鲁棒优化问题。

    Sep, 2023

  • 差分隐私经验风险最小化

    本研究提出了一个隐私保护的机器学习算法，基于差分隐私定义，首先将 Dwork 等人的输出扰动思想应用于 ERM 分类，然后通过扰动目标函数来设计一个新的 objective perturbation 方法，对于满足某些凸性和可微性条件的损失函数和正则化方法，我们证明了我们的算法可以保护隐私，并提供线性和非线性核的泛化界，同时我们提供了一种隐私保护的技术来调整通用机器学习算法的参数，从而为训练过程提供了端到端的隐私保证。实验结果表明，与输出扰动方法相比，我们的 objective perturbation 方法在处理隐私保护和学习性能间的固有权衡方面更加卓越。

    Dec, 2009

  • 在个性化层上进行联合学习

    本文介绍了 FedPer，一种基本 + 个性化层式的联邦深度前馈神经网络训练方法，旨在对抗数据异质性的负面影响，提升联邦学习的训练效果。FedPer 的有效性在 CIFAR 数据集和 Flickr 个性化图像美学数据集上得到了证明。

    Dec, 2019

  • 从几何视角看概率鲁棒学习的边界问题

    本文提出了对于概率鲁棒学习方法的新的几何观点，针对其原始公式存在的细微缺陷，引入了一族概率非局部周长函数，通过新颖的松弛方法证明了解的存在性，并研究了所引入的周长的性质与局部极限。

    May, 2023

  • 差分隐私经验风险最小化与输入扰动

    提出了一种新的差分隐私 ERM 框架：输入扰动。在这种框架中，每个数据贡献者独立地对其数据进行随机化并将扰动数据提交给数据库。我们证明了该框架在一定条件下，确保了使用随机化数据学习到的模型最终满足差分隐私，同时确保本地差分隐私得到了保证。该方法也展示了有关模型的风险界限。

    Oct, 2017

  • 异构风险最小化

    提出了异质风险最小化 (HRM) 框架来实现数据的异质性联合学习和不变关系， 实现了稳定的预测，从而解决了许多不变学习方法无法应用的问题。

    May, 2021

  • 核化异构风险最小化

    本文介绍了一种基于核化的异构风险最小化算法，实现了潜在特性探索和不变学习，并通过指定不变梯度方向向原始神经网络传递反馈。我们从理论和实践两方面证明了我们的算法的有效性。

    Oct, 2021

  • 基于差分隐私的加权经验风险最小化程序及其在结果加权学习中的应用

    将差分隐私应用于加权经验风险最小化，提出了第一个具备严格理论证明的差分隐私加权经验风险最小化算法，并评估了在真实临床试验中的可行性和性能。

    Jul, 2023