我们研究了一个具有非平稳标签转移的半监督分类问题,通过观察一组有标签的数据集和一系列无标签的协变量向量,我们的目标是预测每个协变量向量的相应类别标签,而无需观察除初始有标签数据集之外的真实标签。通过建立一个在任何给定测试时间内自适应地适应未知动态边缘标签概率的高概率遗憾上界,我们探索了一种基于统计方法的自适应迁移学习的替代方法,并给出了与在线学习方法相匹配的平均动态遗憾界限的界限。
May, 2024
本文研究了分布式概念漂移下的联邦学习,提出了两种新的聚类算法以适应数据异质性和时间变化的漂移,并且通过实验验证表明它们的准确性显著优于现有的基线算法,接近理想算法。
Jun, 2022
本研究针对分布式学习进行了线性回归分析,发现当节点估计未知数接近观测数时,与集中化解决方案相比,分布式解决方案的泛化误差大幅增加。
Apr, 2020
本文提出一种多尺度算法框架,该框架结合了 FedAvg 和 FedOMD 算法在接近静态场景下的理论保证,同时采用非静态检测和自适应技术以改善 FL 泛化性能,并给出了多尺度算法框架,在具有广义凸损失函数的情况下,每 T 个回合导致动态后悔的上限为 Tilde {O}(min {sqrt {LT},Delta^{1/3} T^{2/3} + sqrt {T}})
Nov, 2022
本文提出了一种新型的分布式在线学习算法,并采用差分隐私来保护学习者的隐私。通过使用在线学习的遗憾界,实现离线学习算法的快速收敛。在模拟中,证明了我们所提出的定理的正确性和算法的普适性。
May, 2015
本文提出了一种新的框架,用于分析实际系统中分布转移的动态,该框架捕捉算法学习和它们所部署的分布之间的反馈循环,并针对两种常见的机器学习情景,通过偏微分方程模型证明了再训练过程的渐近收敛性,同时通过实证研究表明,该方法能够很好地捕捉自然数据中的分布变化。
Jul, 2023
本文讨论了机器学习中的持续学习问题,通过引入上下文变量来解决数据分布的变动所引起的问题,并提出了处理上下文变动的机制以及通过数据分布漂移框架提供持续学习领域中常用术语的更精确定义。
Apr, 2021
本文研究了社交机器学习框架中的错误概率,包括独立训练阶段和在图上进行合作决策阶段。针对两种有限观测的分类任务,我们描述了分布式学习规则并相应地分析了错误概率。针对统计分类问题,我们采用几何社交学习规则进行性能分析。针对单样本分类任务,我们建立了一个分布式学习规则作为集成分类器,并构建了该集成分类器的错误概率上界。
Jun, 2023
利用差异的理念,我们对批处理情景下学习漂移分布的问题进行了新的分析,并证明了基于假设集和分布的差异的 Rademacher 复杂度的学习界限,包括漂移 PAC 情景和跟踪情景。 我们提出了一种新算法,利用这些学习保证,我们展示了该算法可以被表述为一个简单的 QP。
May, 2012
本文介绍了一种基于 P2P 通信的分布式在线学习算法,允许使用随机梯度并使用有限时协调协议来将本地训练模型进行聚合运算,以适应隐私、安全或成本限制等的数据分布式情境。并通过逻辑回归任务的实验结果来验证该算法的性能。