- 凸约束下的谱聚类
我们引入了一种能够很好地将约束引入到半定谱聚类的新框架,通过扩展半定谱聚类的能力来捕捉复杂的数据结构,以更有效地解决现实世界中的聚类挑战。此框架在各种真实数据集和学习场景中展示了超越现有光谱聚类方法的优越性,为处理复杂聚类问题提供了一种多功 - ICLR推广 LipSDP: 新型二次约束用于超越斜率限制的激活函数
我们的研究拓展了 LipSDP 方法,提供了新的约束条件,以估计一类富有的神经网络结构的 L2 和 L∞ Lipschitz 边界,包括非残差和残差神经网络以及隐式模型,其激活函数包括 GroupSort、MaxMin 和 Househol - 快速、可扩展、带有谱绑定和素描的半定规划温启动
用于解决大规模 SDP 问题的 SpecBM 算法具有渐近最优的收敛速度和快速计算时间,在多个应用中展现了其在大规模实例上的实证效果。
- 优化与机器学习:半监督支持向量机的精确算法
支持向量机(SVM)是用于二分类的广泛研究的监督学习模型。半监督支持向量机(S3VMs)通过利用有标签和无标签数据,扩展了传统的 SVM 分类器,旨在在存在无标签数据的情况下最大化样本间的边界,以实现比传统 SVM 更高的准确性和鲁棒性。本 - 图神经网络是否最优逼近算法?
我们设计了图神经网络架构,利用半定规划的强大算法工具,来获得一类组合优化问题的最优逼近算法。通过研究,我们证明了多项式大小的消息传递算法可以表示 Max Constraint Satisfaction Problems 的最强多项式时间算法 - 无特征差距的聚类
我们研究了随机块模型(SBM)中具有大型簇和无法恢复的小型簇的图聚类。我们提出了一种基于半定规划(SDP)的算法,可以恢复大型簇而不受其余簇大小的影响。我们的研究结果在存在大量小簇的情况下,达到了更低的样本复杂度,并为递归聚类问题提供了改进 - 内存高效优化的锥下降
通过对第一阶锥下降(CD)求解器进行直观性、理论性和算法实现方面的改进研究,发现 CD 可以通过对偶问题的几何推导得到直观的解释,从而为新算法设计打开了大门,其中包括动量变量 MOCO。进一步深入研究了 CD 和 MOCO 的对偶行为,揭示 - 利用流和重新加权特征值进行有向图划分的快速算法
提供了一种基于对称正定半定规划的指向图划分算法,同时证明了此算法具备较好的扩展性。
- 分布式在线学习的优化梯度跟踪
本文提出了一种基于广义梯度跟踪(GGT)框架的去中心化在线学习算法,并使用新的半定编程分析理论对其性能进行了理论分析和优化,进而得到实际数据集上的优异表现。
- 预定主成分分析:两阶段随机优化的降维
本文讨论了将高维数据的低维表示学习任务与用该表示解决随机规划的优化任务进行对齐,提出了通过解决分布鲁棒优化问题实现预制降维的框架。实验表明,该方法在仓库中转问题和车辆重定位问题上明显优于传统的主成分分析方法。
- 通过非负低秩半定规划实现统计最优 K-means 聚类
该论文提出了一种基于 Burer-Monteiro 分解的 NMF-like 算法,通过将 SDP 松弛的 K-means 问题约束为非负低秩矩阵,实现了和 NNF 算法一样简单、可扩展且具有强大的统计优化保证的聚类效果。该算法在实验中的误 - 稳定凸松弛法私有鲁棒估计
提出了一种新的框架,以将鲁棒性的凸松弛算法修改为满足适当参数规范的强最坏情况稳定性保证。通过这一框架,提出了一个可以在存在恶意数据干扰下实现微分隐私的高阶矩的鲁棒估计的算法,包括均值和协方差的估计。该算法成功地应用于成族分布,并在适当参数范 - 确证最优离群点鲁棒几何感知:半定松弛和可扩展全局优化
该研究提出了第一个通用且可扩展的框架,用于设计可靠的几何感知算法,以在存在异常值的情况下证明其准确性,并在六个几何感知问题上进行了评估。
- CVPR旋转坐标下降算法用于快速全局最优的旋转平均
该论文介绍了一种名为旋转坐标下降(RCD)的快速算法,用于全局优化的旋转平均问题。该算法直接维护并更新所有有效旋转,避免了存储大型稠密半定矩阵的需求,并且可以进一步加速通过本地优化程序。
- 联合雷达通信设计的 Cramér-Rao 界限优化
本文提出了一种多输入多输出(MIMO)波束成形设计,以实现联合雷达探测和多用户通信,并证明最佳解决方案始终可通过半定向规划实现,提高了雷达目标估计性能。
- 全局凸优化:通过神经半定程序提升多项式激活神经网络的神经谱聚合
本文提出了基于半定规划的二层神经网络的精确凸优化公式,可在多种神经网络体系结构中实现全局最优解,相比标准反向传播方法速度更快且准确性更高。
- 通过内存高效的半定规划使验证无关网络实现认证
该论文介绍了一种新的 SDP 算法,利用迭代特征向量方法将其各种操作表达为网络正反向传播。在 MNIST 和 CIFAR-10 数据集上的两个验证矢量网络中,将 L-inf 的验证鲁棒准确性从 1%提高到 88%和从 6%提高到 40%
- 稀疏主成分分析的近似算法
本文介绍了一种名为门限法的难以置信的精简主方向载荷方法,并将其与半定规划松弛相结合,以改进主成分分析的解释性。
- 半定松弛用于证实对抗样本鲁棒性的严密度研究
通过解决凸松弛,可以证明神经网络对抗性示例的鲁棒性。最近,提出了一种基于半定编程松弛的较少保守的鲁棒性证明方法。本文提出一种几何技术,用于确定该 SDP 证书是否是精确的,并在单隐藏层下证明该证书的精确性,并验证其理论洞见。
- TSSOS:一种利用项稀疏性的 Moment-SOS 层次
本文介绍了一个新的半定编程松弛分层方法,可利用输入多项式的项(或单项式)稀疏性,包括使用在一个迭代过程中生成的与原始数据中的术语相关的邻接图的连通分量的完成得到的块对角矩阵。该框架应用于计算多项式优化问题的下界。