- 残差网络的 ADMM 训练算法:收敛性、复杂度和并行训练
我们设计了一系列串行和并行的近似点(梯度)ADMM 方法来解决全连接残差网络(FCResNets)训练问题,并引入辅助变量。通过基于 Kurdyka-Lojasiewicz(KL)属性分析框架证明了近似点版本的收敛性,并且可以根据不同的 K - 通过 ADMM 基于梯度更新的方法提高联邦自然策略梯度的通信效率
联邦强化学习通过 ADMM 方法有效降低通信复杂性,实现了与标准联邦自然策略梯度相同的收敛速度。
- SCQPTH:一种用于凸二次规划的高效可微分分裂算法
SCQPTH 是一种针对凸二次规划问题的可微分一阶分裂方法,通过 ADMM 和 OSQP 求解器的实现,在大规模凸二次规划问题中具有较高的计算效率。
- 学习(通过)分布优化
本文概述了分布式优化技术的历史发展轨迹,从 20 世纪 60 年代 Dantzig、Wolfe 和 Benders 开创的基于对偶的方法追溯到增广拉格朗日交替方向不精确牛顿(ALADIN)算法的出现。该文重点介绍了凸问题的拉格朗日松弛和分解 - 利用杠杆采样和张量 QR 分解进行张量补全以进行网络延迟估计
本文提出了一种新的方法,通过改进张量采样策略和引入张量 QR 分解来加速张量完成,以更快地进行网络延迟估计,同时保持高准确性。我们使用张量 $L_{2,1}$- 范数来完成不完整的张量并将张量 QR 分解引入到 ADMM 框架中。数值实验表 - 曲率正则化用于下采样数据的非直视成像
本文提出两种新的非直视成像的曲率正则化模型,基于交替方向乘子法与 GPU 实现的优化算法,实现快速成像和压缩感知重建。经过对合成和真实数据的评估,所提出的算法在压缩感知设置下表现出卓越的性能,是一个解决非线性反问题的有效方法。
- 鲁棒性共识聚类及其在广告预测中的应用
提出了一种基于 ADMM 的稳健共识聚类算法,能够在聚类结果中对异常点和噪声有很好的鲁棒性,应用于广告预测任务中产生了较好的结果。
- 回收 ADMM: 提高分布式算法的隐私性和精度
提出了基于线性逼近、节省计算量和数据隐私的递归交替方向乘法算法(R-ADMM),并进一步修改(MR-ADMM)。该算法可用于解决分布式环境中的凸优化问题,改进了隐私 - 准确性权衡。
- IJCAI零阶随机交替方向乘子法用于非凸非光滑优化
本文提出了一种基于坐标平滑梯度估计器的快速零阶随机 ADMM 方法(即 ZO-SVRG-ADMM 和 ZO-SAGA-ADMM),用于解决具有多个非光滑惩罚的非凸问题,证明了这两种方法的收敛速率为 $O(1 / T)$,可以有效地解决许多复 - 故障偷袭:用于误导深度神经网络的隐蔽框架
本研究提出了一种基于 ADMM 的故障潜入攻击框架,旨在通过最小化修改模型参数的同时维持模型准确性,从而实现将某些输入图像误分类为指定标签,具有多个潜入故障注入的能力。
- 插拔式方法在经过适当训练的去噪器的证明下收敛
本文介绍了一种名为 Plug-and-play(PnP)的非凸架构,它将现代去噪先验(如 BM3D 或基于深度学习的去噪器)集成到 ADMM 或其他近端算法中。我们在不使用缩小步长的情况下理论上建立了 PnP-FBS 和 PnP-ADMM - ICML利用渐进式 ADMM 在 DNN 中实现极低比特数和无损准确性
通过 ADMM 算法的系统框架,延伸了基于 ADMM 的神经网络权重量化方法,提出了一种逐步递进的神经网络权重量化方法,可实现更进一步的权重量化,并通过实验证明了优越的性能。
- 渐进式 DNN 压缩:使用 ADMM 实现超高剪枝和量化率的关键
通过 ADMM(Alternating Direction Methods of Multipliers)方法,本文提出了一种新的基于 DNN 模型的结构压缩框架,实现了在不损失精度的情况下对 Lenet-5,AlexNet 和 ResNe - 通过结构稀疏正则化滤波器剪枝实现紧凑型 ConvNets
本文提出了一种名为结构化稀疏正则化(SSR)的滤波器剪枝方案,它通过两种不同的正则化方法来适应性地裁剪卷积神经网络(CNN)的滤波器,从而提高计算速度和降低内存开销,并通过实验验证了其优异性能。
- ADMM-NN: 使用交替方向乘积算法的 DNN 的算法硬件协同设计框架
研究对于 DNN 模型的压缩有两类深入了解,如权重修剪和量化;文章研究提出了第一个基于 ADMM 的 DNN 算法硬件协同优化框架 ADMM-NN,该框架可以最大化的提高优化性能以达到更高的 DNN 模型压缩比,并且在不损失准确性的情况下可 - 预处理和简单子问题程序加速原始 - 对偶方法
本文提出了一种优化方法,使用非对角的预处理器,代替对角预处理器,通过几个近端梯度迭代或几个近端块坐标下降的迭代代替了某些子问题的闭式解,实现全局收敛并保持较低的迭代成本,具有较好的优化效果。
- 使用 ADMM 进行深度神经网络的渐进剪枝
该篇论文提出了一种基于 ADMM 的渐进式权重剪枝方法,可以在中等剪枝率下进行局部剪枝,从而达到极高的剪枝速率,避免了准确度降低和收敛速度缓慢的问题。该方法在 ImageNet 和 MNIST 数据集上实现了高达 34 倍和 167 倍的剪 - MM分布式算法中的回收型 ADMM: 降低计算量,提高隐私性和准确性
本研究提出了一种名为 R-ADMM 的新方法,它可以在分布式系统中,通过每个偶数迭代时应用线性近似,同时只使用上一个奇数迭代的结果来计算,从而减少了计算量和隐私泄露,并根据目标扰动提供了隐私分析等.
- 基于潜空间秩最小化的张量环分解:张量补全的高效方法
本文提出了一种新颖的张量完成方法,该方法通过利用张量环潜空间的低秩结构,将核范数正则化引入潜在 TR 因子,从而通过奇异值分解,同时获得最优秩的潜在 TR 因子和恢复的张量。实验结果表明,所提出的方法相对于现有的算法具有更好的表现和效率。
- DP-ADMM: 基于 ADMM 的差分隐私分布式学习
本文提供了 DP-ADMM 算法,它结合了近似增广拉格朗日函数和时间变化的高斯噪声添加,以在相同的不同隐私保证下,实现更高效的一般目标函数的分布式学习,同时应用矩 accountant 方法来限制端到端的隐私损失。DP-ADMM 算法可以用