关于 “模糊 c 均值的迭代加权算法” 的评论
本文针对人力众包任务标注中工作者不可靠的情况,提出一种基于权重投票的错误率上界优化方法,并给出了多类标注错误率(包括期望和概率)的有限样本指数界。实验结果表明该方法不仅在模拟数据上表现良好,而且在实际数据上与现有方法一致,但计算成本要小大约 100 倍。
Nov, 2014
本研究提出并分析了一种基于新的 away steps 方法的 Frank-Wolfe 方法变种,重点研究了在 Simplex 上的一般凸优化问题。 研究表明,该方法与传统的 away steps 可以达到相同的收敛速率和迭代次数,实验结果显示该方法比经典的 away steps 方法更快,而且精度不降。
Apr, 2013
本论文提出了一种基于 Junction chains 和线性规划的算法来处理图模型中的近似 MAP-MRF 推断问题,并且在计算机视觉领域取得了一定的性能提升。
May, 2012
本文介绍了一种基于条件梯度法和最大后验概率调用的全局收敛算法,用于优化边际多面体上的树重新加权 (TRW) 变分目标,此算法模块化结构使我们能够利用黑盒 MAP 求解器 (精确和近似) 进行变分推理,并获得比优化本地一致性放宽的 tree 重新加权算法更准确的结果,从理论上解释了该算法的次优性,并在合成和实际应用实例中展示了收缩边际多面体和生成树多面体可以提高结果质量。
Nov, 2015
通过理论建立不同变体的 Frank-Wolfe(FW)算法的自适应步长,对一些机器学习及物理学问题,能够得到无需映射和保留稀疏性的优化,且对于具有无限曲率的自共轭函数,也可以获得全局收敛速率为 O (1/k) 或线性收敛速率的新的 FW 方法。
Feb, 2020
本文提出了一种新的主化 - 最小化(MM)方法,适用于非光滑和非凸规划,其广泛性足以涵盖现有的 MM 方法。与现有的 MM 方法相比,该方法构建替代函数的方式更优越,相应的算法在抗干扰矩阵分解问题(RMF)中得到应用,并非仅仅基于平滑部分逼近的代理函数,而是直接逼近非平滑目标函数。
Nov, 2015
本文研究了 Frank-Wolfe 算法,提出了几个变体并分别给出了全局线性收敛性证明,证明了不同算法的收敛速度取决于几何量与条件数的乘积,这些算法在机器学习,子模优化等领域取得了实际应用。
Nov, 2015
通过对残差数据进行迭代重新加权算法的分析,提出了一种平滑的代理函数,该函数的最小化导致一个极其简单的最大共识迭代加权算法。我们证明了我们的算法在许多情况下非常高效,并产生全局解,从而成为随机方法和全局优化器的一个有吸引力的替代方法.
Mar, 2018
本文介绍了两种新的 Frank-Wolfe 算法变体,用于随机有限和最小化。这些方法在凸和非凸目标函数方面,都具有最佳的收敛保证。同时,本文提出的两种方法都不需要永久收集大批量数据和完整确定性梯度,可用于优化机器学习等领域中的结构约束问题。
Apr, 2023
针对类别不平衡学习任务,在多个训练模型的基础上使用模型权重平均化技术(Model Weight Averaging,MWA)可以提高性能,而在早期时期进行模型平均化比后期效果更好。本文提出了一种名为迭代模型权重平均化(Iterative Model Weight Averaging,IMWA)的用于类别不平衡学习任务的新型 MWA 技术,通过将整个训练阶段划分为多个时期,在每个时期内从相同的初始化模型权重并行训练多个模型,然后进行平均得到一个模型。IMWA 相比于标准 MWA 可以在相同的计算成本下实现更高的性能改进,同时能够进一步提高采用 EMA 策略的方法的性能,从而显示出 IMWA 和 EMA 具有互补效应。对于多个类别不平衡学习任务的大量实验证明了 IMWA 的有效性。
Apr, 2024