本论文研究了一组学习代理在协作对等网络中,每个代理根据自己的学习目标学习个性化模型。本文介绍和分析了两种异步流言算法,以完全分散的方式运行。我们的第一种方法旨在在网络上平滑预训练的本地模型,同时考虑每个代理在其初始模型中的置信度。在我们的第二种方法中,代理共同学习和传播其模型,基于其本地数据集和邻居的行为进行迭代更新,为了优化这一具有挑战性的目标,我们的分散算法是基于 ADMM。
Oct, 2016
本研究提出分布式算法,可用于在具有时间变化连接性的网络上,将多个代理的估计与特定值对齐,并着重研究约束问题的实现与收敛性分析。该算法可用于处理一致性问题或优化问题,其中全局目标函数为局部客体函数的组合。最终,该算法表现出了良好的收敛率与收敛效果。
Feb, 2008
研究低通信成本的分布式平均估计的通信高效算法,实现数据的结构化随机旋转和编码策略,并在 k-means 和 PCA 的分布式算法中应用。
Nov, 2016
本文研究如何在分布式计算环境中在通信成本约束下,适应一系列随机化算法以在预期的通信成本和估计误差之间进行权衡,实现对一组向量的平均值估计,为分布式优化和学习算法中的 reduce-all 操作提供了一种解决方案。
本文研究了分布式估计和学习问题。利用线性聚合方案和调整的随机化方案,通过交换信息,聚合数据并在保护个体隐私的前提下估计未知特征值。通过对一些例子的验证,证明该算法的高效性和性能保障。
Jun, 2023
本文研究了加权模型平均对任意标量均值估计问题的影响,发现加权平均模型可以减少局部模型的期望平方误差,并量化了加权模型平均的(可能为负的)益处。这项研究正式确定了一种量化协作学习个性化价值的方法,并为未来多元参数估计和基于一系列假设的检验研究提供了框架。
Oct, 2021
在多跳无线网络中,通过分布式可扩展的采样和传输策略以及图神经网络结构,优化采样和远程估计研究的主要问题包括缓存并从其他代理处获得最新样本、无线冲突通道和各个网络节点之间的决策制定。
Apr, 2024
一种考虑了分散式机器学习和数据保护的联邦学习方式,通过构建本地图和局部连接来训练个人的、个性化的非线性模型,实现了低通讯成本和对数据的隐私保护。
Jan, 2019
本文提出了一种基于优化的分布参数估计和观察性社交学习方法,演示了如何使用分布式,在线的 Nesterov 双平均法解决纯粹依靠本地信息的估计,并证明了代理最终可以使用随机瓦解方案学习真实参数。
Sep, 2013
提出了一种新的算法框架 ProjUnit,用于保证局部隐私均值估计,该算法框架通过将随机器的输入投影到随机低维子空间并规范化结果,然后在低维空间中运行优化算法来实现计算效率高,通讯复杂度低,并且具有最优误差,同时,通过适当地对设备之间的随机投影矩阵进行相关性,可以实现快速服务器运行时间,最后,实验表明,该算法框架在保持优异的准确度的同时,具有显著较低的通讯和计算成本。