网络套索:大型图中的聚类和优化
本文提出了一种新的两阶段方法来解决在高密度无线合作网络中解决大规模凸最优化问题,其中原始的凸问题通过矩阵填充转化为标准锥编程形式,并采用交替方向乘子法(ADMM)求解。与二阶方法相比,ADMM 能够在合理的时间内并行地解决大规模问题。
Jun, 2015
本研究比较了在求解有约束的 Lasso 问题中的几种不同的计算策略(包括二次规划、交替方向乘子法、以及一种高效的求解路径算法)。在通过模拟和真实数据示例的比较之后,提出了适用于不同数据规模下的实际建议,同时也发现一般化 Lasso 可以转化为有约束的 Lasso 问题,但反之则不成立。因此,该研究的方法也可以用于估计具有广泛应用的一般化 Lasso。
Oct, 2016
本文介绍了一种基于时间可变图拉索(TVGL)的方法,利用交替方向乘子方法(ADMM)以一种高效的方式推断时间可变网络,评估了该算法的性能,并通过实验结果显示该算法优于最先进的基线算法。
Mar, 2017
通过使用凸优化理论和稀疏恢复模型来改进神经网络的训练过程,并对其最优权重提供更好的解释,我们的研究侧重于以分段线性激活函数构建的两层神经网络的训练,证明了这些网络可以表达为一个有限维的凸规划问题,其中包括促使稀疏性的正则化项,构成 Lasso 的变种。通过大量的数值实验,我们展示了凸模型可以胜过传统非凸方法,并且对于优化器的超参数并不敏感。
Dec, 2023
利用统计学和机器学习相结合的方法,本文将变量选择的统计技术 Lasso 通过神经网络进行表示。观察到尽管统计方法和其神经版本具有相同的目标函数,但由于优化方法的不同而存在差异。为了更准确地估计参数,特别是在训练集较小的情况下,提出了一种模仿统计框架的标准神经网络训练方法的改进。新的优化算法用于识别显著变量,并且实验结果表明,与之前的三种优化方法相比,该算法的性能更好。
Sep, 2023
本文研究使用高维数据集对多个相关但不同的图形模型进行估计问题,在基于组织样本的基因表达数据的分析中应用联合图形 Lasso 方法,以获得更准确的网络和协方差结构估计。
Nov, 2011
本文研究了具有强凸局部目标函数的去中心化一致性优化问题,并建立了其线性收敛速率及加速的指导原则,其中采用了交替方向乘子方法 (ADMM) 来解决该问题,该方法可在单个代理处进行迭代计算并在邻居之间进行信息交换。
Jul, 2013
本研究提出了基于 ADMM 算法的分布式算法,用于通过网络通信最小化局部已知的凸函数之和,研究表明,在函数为凸函数时,目标函数值和可行性冲突都会收敛,当函数是强凸函数且有 Lipschitz 连续梯度时,该算法生成的序列会线性收敛到最优解。此外,我们的分析还通过节点的最大和最小度以及网络的代数连通度凸显了网络结构对收敛速度的影响。
Jan, 2016
本文提出了一个基于决策的新颖学习方法,将常见图形优化问题的可微分代理作为学习系统中的一层进行集成,其主要思想是学习一个映射将原始优化问题映射到可以高效差分的简单代理问题。实验结果表明,我们的 ClusterNet 系统胜过纯粹的端到端方法(直接预测最优解)和完全分离学习和优化的标准方法。
May, 2019