Sep, 2023

自适应分布式核岭回归：一种适用于数据孤立的可行分布式学习方案

PDF
TL;DR基于自主性参数选择、通信非敏感信息的隐私保证和性能改进的协作性的自适应分布式核岭回归 (AdaDKRR) 是解决数据孤岛问题的可行方案，并能在智能决策、价格预测和产品性能预测等领域发挥作用。
发现论文，激发创造
  • 高效通讯的分布式鲁棒性分布式学习

    本文介绍了一种分布式学习算法 —— 去中心化单环梯度上升 / 下降算法（AD-GDA），以解决设备之间数据分布不均导致合作训练模型性能下降的问题，并采用压缩共识方案提高通信效率，并给出了平滑凸和非凸损失函数的收敛性保证。

    May, 2022

  • 基于数据相关随机特征的去中心化核岭回归

    在去中心化的核岭回归中，为了保证节点之间的一致性，通常会对特征系数施加约束，但是在许多应用中，不同节点上的数据在数量或分布上存在显著差异，因此需要能够生成不同随机特征的自适应和数据相关方法。针对这个关键难题，本文提出了一种新的去中心化核岭回归算法，该算法通过追求决策函数的一致性，实现了对节点上数据的灵活适应。经过严格的收敛性分析和数值验证，我们得出结论：在保持与其他方法相同的通信开销的同时，我们在六个真实世界数据集中平均提高了 25.5％的回归准确性。

    May, 2024

  • 基于知识蒸馏的模型无关联合学习

    该研究考虑设计一个通用的 API 用于联邦学习，但发现大多数基于知识蒸馏的联邦学习协议表现不佳，因此提出了一个新的理论框架（联邦核岭回归）来解决模型和数据异构性的问题，并根据知识蒸馏设计了新的协议，通过实验验证了该框架的理论预测。

    Oct, 2021

  • 分治核岭回归：一种带有极小化最大风险的分布式算法

    我们建立了基于分解的可扩展核岭回归方法的最优收敛速率。该方法通过将大小为 N 的数据集随机分为 m 个大小相等的子集，为每个子集计算独立的核岭回归估计器，然后将局部解的平均值得到全局预测器，从而在计算时间上实现了大幅度的减少。

    May, 2013

  • 自适应参数选择的核岭回归

    基于核岭回归的参数选择问题，通过细致的参数区间划分和早停策略运用 Lepskii 原则，实现了学习率的优化和对不同规范的适应，为核方法的参数选择提供了新的突破记录。

    Dec, 2023

  • 自适应深度核学习

    该研究基于深度神经网络学习参数化的内核算子，在 few-shot 回归任务中学习内核家族，从而使算法能够识别每个任务的适当内核，并通过实际应用于药物发现领域的 few-shot 回归任务与现有算法进行比较，表明其在复杂任务分布和状态下的性能优越。

    May, 2019

  • 通过内部数据知识蒸馏在去中心化学习中统一非独立同分布数据

    本文提出一种叫作 IDKD 的分布式学习方法，通过使用公共数据集而不会破坏隐私约束以实现数据分布的同质化，该方法在多个图形拓扑结构上实验证明可以达到比传统知识蒸馏更好的效果。

    Apr, 2023

  • 纵向分区数据的联邦双随机核学习

    本论文提出了一种名为 FDSKL 的算法，该算法使用随机特征来近似内核映射函数并使用双随机梯度更新解决方案，旨在高效地学习垂直分割的数据而保持数据安全和隐私。实验结果表明，该算法在处理内核时比现有的联合学习方法更快，并保留了类似的泛化性能。

    Aug, 2020

  • 高性能核机器：隐式分布式优化和随机化

    本文提出了一个基于分布式凸优化和随机化的算法框架和高性能实现，以实现基于核方法的统计模型的海量规模训练，以便有效地利用大数据。

    Sep, 2014

  • 使用随机傅里叶特征在 RKH 空间中进行网络分布式在线学习

    我们提出了一种新颖的扩散方案，用于在网络上进行基于内核的在线学习，通过使用 Random Fourier Features，将解决方案近似为固定大小的向量，并提供了渐近收敛和网络遗憾的限制条件。

    Mar, 2017