Apr, 2021

高效个性化的联邦彩票票学习

PDF
TL;DR本研究提出了一种个性化和通信高效的联邦彩票学习算法 CELL 来解决 LotteryFL 忽略减缓迟滞者的问题，该算法利用下行广播来提高通信效率，同时采用一种新颖的用户分组方法，从而在 CIFAR-10 数据集下获得了多达 3.6% 的个性化任务分类精度提高和 4.3 倍较小的总通信成本。
发现论文，激发创造
  • LotteryFL: 针对非独立同分布数据个性化且通信高效的彩票假说联邦学习

    LotteryFL 是一个个性化、通信高效的联邦学习框架，通过利用彩票票据假设来个性化地学习每个客户端的网络，从而极大地降低了通信成本，并在基于 MNIST、CIFAR-10 和 EMNIST 的非独立同 Distributed (IID) 数据集上获得了更好的性能。

    Aug, 2020

  • 边缘计算中基于抽奖票剪枝的增强隐私效率联邦学习

    提出了 Fed-LTP，它是一种高效的隐私增强的联邦学习框架，能够通过稀疏到稀疏训练解决资源限制问题，并使用两种修剪方案（即基于权重的修剪和迭代修剪）生成被修剪的全局模型，拥有更好的通信、计算和存储效率，并采用基于拉普拉斯机制的模型验证实现更好的收益隐私权衡。

    May, 2023

  • 用于目标识别的彩票票据假设

    文章探讨了深度学习神经网络中 Lottery Ticket Hypothesis（LTH）方法对于物体识别、实例分割和关键点预测任务的模型剪枝效果，结果表明通过该方法找到的初始模型可以在不影响性能的情况下达到 80% 的稀疏度。

    Dec, 2020

  • 抽奖票据假设调查

    抽奖票假设（LTH）指出，一个密集的神经网络模型包含一个高度稀疏的子网络（即获奖票），当单独训练时可以实现比原始模型更好的性能。尽管 LTH 已经在许多工作中经过了经验和理论上的证明，但仍然存在一些待解决的问题，如效率和可扩展性。此调查旨在提供 LTH 研究现状的深入了解，并建立一个有序维护的平台来进行实验并与最新基准进行比较。

    Mar, 2024

  • LOFT: 通过逐层过滤训练查找彩票券

    本文研究了 Lottery Ticket Hypothesis，并提出了一种称为 LOttery ticket through Filter-wise Training 的卷积神经网络预训练算法来识别优秀的 filters 并减少预训练的内存和通信成本，同时保持甚至提高了准确度。

    Oct, 2022

  • 双重彩票神经元假设

    本论文提出 Dual Lottery Ticket Hypothesis 和 Random Sparse Network Transformation 实现稀疏神经网络训练，并通过实验证明了其有效性。

    Mar, 2022

  • 成功将抽奖票假设应用于扩散模型

    通过将 Lottery Ticket Hypothesis 应用于扩散模型，本研究首次在基准测试上发现了在稀疏度为 90%-99% 时仍能保持性能的子模型，并提出了一种可以在模型的不同层之间具有变化稀疏度的方法。

    Oct, 2023

  • 实用的彩票票假设在对抗训练中的应用

    本文提出彩票票据假说，展示了深度神经网络中存在的可训练子网络，这些子网络在相同的训练步骤下表现不亚于原始模型。研究表明存在某些子网络能够更快地收敛，我们的实验表明这些子网络在各种模型结构和超参数的限制条件下的一致存在性，此外，这些子网络能够在对抗性训练中将总时间缩短至最新技术的 49％。

    Mar, 2020

  • 并非所有的抽奖都平等

    通过实验证明，在可接受的神经网络大小下，要发现优秀的稀疏子网络，比较小的神经网络更容易受益于 Lottery Ticket Hypothesis 并且得到更好的训练效果。

    Jun, 2022

  • 深度生成模型中的中奖彩票

    本研究证实了 Lottery Ticket Hypothesis 可适用于 deep generative models 并提出了一种寻找 winning tickets 的有效方法，同时发现这些 winning tickets 有跨模型的传递性，因此可以帮助训练多种深度生成模型，并通过 early-bird tickets 的方式可以大幅减少训练时间和 FLOPs。

    Oct, 2020