Oct, 2020

基于汤普森采样的联邦贝叶斯优化

HTML
PDF
TL;DR本文提出联邦 Thompson 采样（FTS）方法，将贝叶斯优化扩展到联邦学习环境中，以协作方式解决黑盒优化问题，用随机傅里叶特征来逼近高斯过程代理模型，采用 Thompson 采样的方式来降低交换的参数数量，并提供了一个理论保证。实验表明 FTS 有效地解决了沟通效率、计算效率和实际性能等问题。
发现论文，激发创造
  • 联邦优化:面向设备智能的分布式机器学习

    本研究提出了一种称为联邦优化的新的分布式机器学习设置，其中优化定义的数据分布在大量节点之间，通过少量通信轮次训练高品质集中模型，本文提出的新算法对于稀疏凸问题的实验结果表现可圈可点，并为未来的联邦优化研究提供了借鉴。

    Oct, 2016

  • 具分布式探测的差分隐私联邦贝叶斯优化

    在联邦学习中添加差分隐私框架来保护用户隐私，并结合分布式探索技术进一步提高效能，从而实现隐私保护和效能之间的权衡。

    Oct, 2021

  • 基于随机零阶优化的联邦学习通信高效实现

    本文提出了一种基于随机梯度估计器的多次本地更新和部分设备参与的无导数联邦零阶优化算法（FedZO），并介绍了一种适用于无线网络的空气计算辅助FedZO算法。在非凸设置下，研究了FedZO算法的收敛性能，并表征了本地迭代次数和参与边缘设备数量对收敛性的影响。

    Jan, 2022

  • 样本后优化批量神经汤普森采样

    文章提供了Sample-Then-Optimize批量神经TS (STO-BNTS)和STO-BNTS-Linear算法，这两种算法可以使用高度表达性的神经网络作为替代模型，绕开了推论参数矩阵的限制，并且在某些情况下具有渐近的无后悔算法证明。

    Oct, 2022

  • 使用轨迹信息的联邦式零阶优化

    基于轨迹信息的梯度替代物的联邦零阶优化算法 (FZooS) 通过减少函数查询次数和改进通信效率来提高联邦优化中的效果。

    Aug, 2023

  • 减小自适应无偏客户抽样的方差以探索联邦优化

    提出了一种自适应客户端采样的新方法K-Vib，可以在不需要额外的本地通信和计算的情况下，构建可靠的全局估计，从而提高联邦优化的性能。

    Oct, 2023

  • 高效沟通的联邦非线性赌博机优化

    我们提出了一种名为Fed-GO-UCB的新算法，用于具有通用非线性目标函数的联邦赌博优化问题，通过严格证明，Fed-GO-UCB能够以次线性速率实现累积遗憾和通信成本。

    Nov, 2023

  • 关于联邦学习的原则性本地优化方法

    本篇论文以三个方向推动本地方法的理论基础：（1）建立FedAvg的尖锐界限；（2）提出了FedAvg的有原则的加速方法FedAc；（3）研究了扩展经典平滑设置的Federated Composite Optimization问题。

    Jan, 2024

  • 协作与联邦黑箱优化：贝叶斯优化视角

    本研究关注协作和联邦黑箱优化（BBOpt），解决代理在协作序列实验中优化异质黑箱函数所面临的分布式实验、异质性和隐私等基本挑战。提出了三个统一框架，包括集中协调的全球框架、基于最小共享信息的局部框架以及通过协作增强局部代理的预测框架，以改善决策。研究的关键发现是，推动联邦学习从主要的描述/预测模式转向更具指导性的模式，尤其是在BBOpt这一固有的序列决策问题上。

    Nov, 2024

  • 联邦鲁棒剪枝：基于组合汤普森采样的方法

    本研究针对联邦学习中高计算和通信需求对资源有限设备的挑战，提出了一种新颖的联邦鲁棒剪枝框架（FedRTS）。该方法通过基于汤普森采样的调整机制，利用稳定和前瞻性的信息作出决策，从而提高鲁棒性和性能。实验结果表明，FedRTS在计算机视觉和自然语言处理任务上表现出色，同时降低了通信成本，特别是在数据分布异构和部分客户端参与的场景中。

    Jan, 2025