subnetworks | BriefGPT - AI 论文速递

关键词subnetworks

搜索结果 - 32

CVPR计算机视觉模型的有监督和自监督预训练的 “彩票票据” 假设
本研究探讨基于经典的 ImageNet 有监督预处理和新兴的自监督预处理方法，如 simCLR 和 MoCo 的预训练模型，通过 LTH 找到高度稀疏的匹配子网络，并验证其在多个下游任务的可迁移性，结果表明，在 59.04％至 96.48％
PDF4 years ago
ICLR训练独立子网络以实现鲁棒预测
本文介绍了一种新的方法，在单个模型的前向传递中免费实现了实现多个预测的好处，利用多输入多输出（MIMO）配置，可以使用单个模型的能力来训练多个子网络，从而提高模型鲁棒性，而不增加计算成本。
PDF4 years ago
ICLRHeteroFL：用于异构客户端的计算与通信高效联邦学习
本文提出名为 HeteroFL 的新型联邦学习框架，旨在解决具有非常不同计算和通信能力的异构客户端的问题，并通过几种策略增强 FL 训练。通过在三个数据集上进行五个计算复杂性级别的三种模型架构的广泛实证评估，通过自适应分配子网络来提高 FL
PDF4 years ago
剪枝方法的合理性检查：随机选票或中大奖
本文提出了一种利用随机比率和初始值提取的网络子结构的方法，称为随机票选，并通过实验发现它的性能与利用训练数据提取的子网络的性能相似或更优，并进一步介绍了一种使用随机票选和一个现有子结构提取方法的混合票选方法，被称为混合票选。
PDF4 years ago
叠加中的超级面罩
介绍了一种称为 “超置换中的超蒙版”（SupSup）的神经网络模型，能够在不遗忘以前学习的任务的情况下，按顺序学习数千个任务，并通过存储各种任务的子网络来实现这一点。同时，该模型能够在保持最小内存使用的情况下，检测新任务并在运行时动态地添加
PDF4 years ago
ICML优秀子网络存在的证明：基于贪婪前向选择的剪枝
我们通过提出一种基于贪心策略的网络修剪方法来证明神经网络修剪的有效性，理论上能够通过在足够大的预先训练的网络上应用贪心选择策略找到具有更低损失的小型子网络，并在 ImageNet 上实现了更好的结果，实践中利用修剪的子网络可以从大型模型中获
PDF4 years ago
ICML线性模式连通性与彩票票证假说
研究神经网络优化是否在不同的 SGD 噪声样本下优化到相同的线性连接最小值；发现标准视觉模型在训练早期就变得稳定了，IMP 只有在稳定下来 SGD 噪声时才能达到完全准确性。
PDF5 years ago
CVPR随机加权神经网络中隐藏了什么？
本研究表明，随机加权神经网络中存在着无需训练权重值就能达到惊人性能的子网络，并提供了一种有效的算法来发现这些未经训练的子网络。随着随机加权神经网络变得更加宽和深，未经训练的子网络将逐渐接近具有已知权重的神经网络的准确性水平。
PDF5 years ago
AAAI为多个任务学习稀疏共享架构
研究深度多任务学习的参数共享机制，提出了一种自动发现稀疏共享结构的方法，利用子网络对多个任务进行部分重叠并行训练，取得了良好的实验效果。
PDF5 years ago
ICML稳定彩票假设
本文介绍了一种新的 IMP 修剪算法，用于提前训练深层网络而不是仅在初始化时进行修剪，从而找到可在更挑战的任务上与原始网络准确匹配的深层次子网络，并提出了结果。新的 IMP 算法可以更好地稳定修剪子网的训练参数，这为之后更早地修剪大规模网络
PDF5 years ago
ICLR彩票假说：寻找稀疏的可训练神经网络
该文在进行神经网络剪枝过程中提出了 “彩票票假设”，即在一个密集、随机初始化的前馈神经网络中存在一些幸运的子网络，当其被隔离地训练时，可以在相似的迭代次数内达到与原始网络相当的测试准确性，通过一系列实验验证了该假设的正确性和这些幸运初始化的
PDF6 years ago
估计网络中社区的数量
本文描述了一种使用最大似然方法查找网络中社区数量的数学原理方法，并在一系列具有已知社区结构的实际示例中演示了其正确确定社区数量的能力。
PDF8 years ago