- 对抗平衡自监督对比学习的可证明优化
研究自监督学习中公平编码器的学习,在这种情况下,所有数据都没有标签,并且只有其中一小部分数据带有敏感属性的注释。通过最小化无标签数据上的对比损失和最大化在具有敏感属性的数据上预测敏感属性的对抗损失,对抗公平表示学习非常适合这种情况。通过构建 - AAAI大规模非凸随机约束分布鲁棒优化
该论文主要研究了分布鲁棒优化(Distributionally Robust Optimization,DRO)中的约束问题,针对非凸损失函数提出了一种随机算法并进行了性能分析,证明了该算法能够找到一个满足 ε- 稳定点,而且计算复杂度为 - SPFQ:一种用于神经网络量化的随机算法及其误差分析
本文提出了一种快速随机算法来对完全训练的神经网络权重进行量化,建立了全网络错误边界,证明了过参数化程度增加时相对平方量化误差呈线性衰减,同时展示了在每个权重上仅使用 O (log (log N)) 位可以达到等同于无穷字母表情况下的错误边界 - 应用于多任务深度 AUC 最大化的多块最小 - 最大二级优化
本文探讨了多块最小最大双层优化问题,提出了一种单循环随机算法,其样本复杂性为 O(1/ϵ^4),应用于多任务深度 AUC 最大化和多任务深度局部 AUC 最大化。
- 基于在线黎曼 PCA 的随机规范相关分析
我们提出了一种有效的随机算法(RSG+),使用投影矩阵的重新参数化来进行规范相关分析(CCA),并展示了这种重新参数化如何直接提出机会来重新设计和调整用于 Riemann 流形上数值优化的成熟技术。
- SNIPS: 随机求解有噪反问题
本文介绍了一种称为 SNIPS 的新型随机算法,用于从任何线性反问题的后验分布中抽取样本,其中假定观测结果受到加性白噪声的污染。该算法利用来自 Langevin 动力学和牛顿方法的思想,并利用经过预训练的 MMSE 高斯去噪器。该算法可以为 - PMGT-VR:分散的近端梯度算法框架与方差缩减
本研究提出了一种新的分散化随机算法框架 PMGT-VR,它结合了多种技术,包括多一致性、梯度跟踪和方差缩减。该框架依赖于中心化算法的模仿,并且证明算法在该框架下的收敛速度类似于其中心化对应物。我们还介绍和分析了两个代表性算法 PMGT-SA - 连续正则化 Wasserstein 重心
通过引入随机算法,该研究提出了一种计算连续分布的 Wasserstein 重心的有效在线算法,该算法基于优化输运理论和 Wasserstein 重心,并使用其对偶势隐式地参数化了该问题。
- ECCV用随机束调整进行高效可扩展的三维重建
提出了一种基于 LM 算法的随机捆绑调整算法,通过图像的聚类,将 RCS 近似分解到 LM 迭代中以提高计算效率并改进可扩展性,实验结果表明该方法在无序网络图像集、SLAM 图像集和大规模数据集上都具有很高的效率和可扩展性。
- 双时间尺度双层优化框架:复杂性分析及其在演员 - 评论家算法中的应用
本文研究了用于双层优化的两时间尺度随机算法框架,并分析了算法的收敛性及应用于自然演员 - 评论家算法的情形。
- 智能反射面辅助 MISO 上行通信网络:完美和不完美 CSI 的可行性和功耗最小化
该论文研究了多用户多输入单输出(MISO)上行无线网络中基于智能反射面的质量服务(QoS)约束下的权重和功率最小化问题,提出了基于 PDD 和 neADMM 的解决方案,并发展了一种在线随机算法,可以随机地满足 QoS 约束,而不需要先前的 - 平滑强凸函数的随机逼近:超越 $O (1/T)$ 收敛速度
利用凸性和平滑性同时优化了随机逼近的收敛速度,并构建了高效的随机算法来达到风险界限。
- ICML面向更高效的随机分散式学习:更快的收敛与稀疏通信
本研究提出了一种名为 DSBA 的随机算法,通过将分散的优化问题推广为单调算子求根问题来解决这一问题,具有线性收敛速度和只需稀疏通讯的优点,同时还能有效地处理像 AUC 最大化这样的学习问题。
- ICML随机瓦热斯坦重心
本文通过随机算法来计算具有 Wasserstein 距离下的一组概率分布的重心,该方法不同于以往的方法,可以适用于连续输入分布,并允许在每个迭代中调整重心的支持,该算法能够恢复出一个锐利的输出,其支持集合包含在真实重心的支持集合内,并能在一 - AAAI稳定的 Barzilai-Borwein 步长的随机非凸序嵌入
通过引入一种新的稳定 Barzilai-Borwein (SBB) 方法,我们提出了一种叫做 SVRG-SBB 的随机算法,用于从相对相似性比较中学习表示,该方法不需要使用奇异值分解(SVD),具有良好的可扩展性以及自适应步长选择。 同时, - Natasha 2:比 SGD 更快的非凸优化
本文设计了一种随机算法,使用 O (ε^{-3.25}) 次反向传播来训练任何平滑神经网络到 ε- 近似局部极小值,并能够在不需要凸梯度下降的情况下,以速率 O (ε^{-3.25}) 找到任何平滑非凸函数的 ε- 近似局部极小值。
- 用于非光滑和随机优化的随机块镜像下降方法
本篇论文介绍了一种新的随机算法 ——Stochastic Block Mirror Descent(SBMD)方法,用于解决大规模非光滑和随机优化问题,其通过加入块状坐标分解和增量式块状平均方案到经典(随机)镜像下降法中,以显著降低后者算法 - 快与更快:两种流式矩阵分解算法的比较
本文研究了常量内存和具有单个传递特性的分布式算法与两个阶段随机算法之间的比较,以及分布式计算,过采样和内存权衡对这两种算法的准确性和性能的影响,使用的实际数据是英文维基百科的全部内容,在 Latent Semantic Analysis 应 - MM确定性树突状细胞算法
本文提出了一种 Dendritic Cell Algorithm 的确定性版本,用端口扫描数据集进行实验,发现时间窗口和细胞数量的变化有影响,引入了一种新的评估算法输出的度量方法,比原来的算法更敏感。
- 广义模拟退火
该研究提出了一种新的随机算法(广义模拟退火),用于在连续的 D 维空间中定义给定的(不一定是凸的)能量 / 成本函数,以计算找到全局最小值。该算法恢复了经典(“Boltzmann 机器”)和快速(“Cauchy 机器”)模拟退火,并且比两者