KDDMar, 2024
赋能数据网格的联邦学习
Empowering Data Mesh with Federated Learning
Haoyuan Li, Salman Toor
TL;DR数据架构的演变引发了数据湖的崛起，旨在解决数据管理的瓶颈并促进智能决策。然而，这种集中式架构受到数据源增多和及时分析处理需求增长的限制。提出了一种新的数据范式，Data Mesh，以克服这些挑战。将数据所有权从中心团队分布到每个数据域，同时保持联邦治理以监视域和其数据产品。在这种数据由每个域团队本地保存的分散架构中，传统的集中式机器学习无法在多个域之间进行有效的分析，尤其是对于对安全敏感的组织。为此，我们引入了一种创新的方法，将联邦学习与 Data Mesh 结合起来。据我们所知，这是第一个将联邦学习方法应用于 Data Mesh 范式的开源工作，彰显了在 Data Mesh 架构中实现保护隐私和分散化数据分析策略的前景。