Mar, 2024

大规模全局优化的复合分解方法

PDF
TL;DR合作共进化算法（CC）经过密切结合策略发展为解决大规模全局优化（LSGO）问题的主导方法，而其效率和准确性主要受到分组阶段的影响。本文提出了一种复合可分性分组（CSG）方法，将差分分组（DG）和一般分离分组（GSG）有机整合到问题分解框架中，充分发挥两种方法的优势，以应对高计算复杂度的挑战。CSG 引入了逐步分解框架，通过递归地考虑每个非可分变量与已形成的非可分组之间的相互作用，准确地分解各种问题类型，并使用较少的计算资源。此外，为了增强 CSG 的效率和准确性，我们引入了两种创新方法：一种是乘性可分变量检测方法，另一种是非可分变量分组方法。通过广泛的实验结果表明，与 GSG 和最先进的 DG 系列设计相比，CSG 在更低的计算复杂度下实现了更准确的变量分组。
cooperative co-evolutiongrouping stagecomposite separability groupingefficiencycomputational complexity
发现论文，激发创造
  • 图像分割与物体提议生成的多尺度组合分组

    本文提出了一种统一的方法，通过应用多尺度组合分组（MCG）进行自下而上的分层图像分割和目标提议生成，达到了精确提议和轮廓的最新水平。

    Mar, 2015

  • 可分解次模函数的高效最小化

    本文研究了一类新的子模函数优化问题，提出了一种基于平滑凸优化的算法 SLG，可用于解决具有数万个变量的分解子模函数问题，而且在一些合成基准测试和联合分类和分割任务中优于现有的子模函数优化算法。

    Oct, 2010

  • 非线性协调图

    本研究提出了第一个非线性协调图，探讨如何在新的函数类中进行贪心行动选择，使用 LeakyReLU 激活的混合网络解决此问题，提出具有全局最优性保证的枚举方法和具有局部最优性保证的有效迭代优化方法的动机。在多个代理协调任务中取得了卓越性能。

    Oct, 2022

  • 大规模高斯过程回归的贪婪块坐标下降

    通过提出变量分解算法 - greedy block coordinate descent（GBCD）-，我们将密集高斯过程回归变得实用，解决了现有方法的局限性，并将主动集选择转化为零规范约束优化问题，使用贪心方法求解，进而在实证比较中证明了 GBCD 具有全局收敛的能力并且比竞争算法更快、更准确。

    Jun, 2012

  • 组合问题拉格朗日分解的双重升级框架

    提出了一种通用的双升算法框架来处理组合问题的 Lagrangean decomposition，表现出明显的效能优势，可用于图匹配和多切问题等多种应用。

    Dec, 2016

  • 随机组合梯度下降算法的稳定性和概化能力

    通过统计学习理论的算法稳定性角度，本文提供了随机组合梯度下降算法的稳定性和泛化分析，包括引入组合均匀稳定性的概念、建立其与复合优化问题泛化性能的定量关系、针对两种常用的随机组合梯度下降算法 SCGD 和 SCSC 建立组合均匀稳定性结果，并通过权衡稳定性结果和优化误差，导出了 SCGD 和 SCSC 的维度无关的超额风险界限。据我们所知，这是第一次关于随机组合梯度下降算法稳定性和泛化分析的结果。

    Jul, 2023

  • 非凸优化的递归分解

    本研究提出一种基于问题分解的非凸优化方法 ——RDIS 算法，通过图分割选择变量进行递归设置，将目标函数简化为近似独立的子函数，并证明了其相对于随机重启的梯度下降等标准技术可以指数倍数解决广泛的非凸优化问题。

    Nov, 2016

  • GroSS：用于群组化架构搜索的群组大小串级分解

    本文提出了一种能够探索神经网络内部分组卷积结构的新方法，GroSS 是第一个能够训练单层内不同组数以及所有层之间所有可能组合的方法，这使得 GroSS 能够同时训练整个分组卷积架构搜索空间。通过在多个数据集和网络上进行架构搜索，GroSS 能够更有效、高效地搜索分组卷积结构。

    Dec, 2019

  • 混合变量全局敏感性分析用于知识发现与高效组合材料设计

    本文介绍了一种基于 Latent Variable Gaussian Process 的混合变量全局敏感性分析方法，通过数值案例研究验证和证明了该方法的有效性，并将其与多目标贝叶斯优化集成，应用于金属有机骨架材料的敏感性感知设计框架，极大地加快了对新型金属有机骨架候选材料的探索。

    Oct, 2023

  • 广义超树结构的增量更新

    本文提出并实现了一个有效的更新广义超树分解的框架，解决了约束满足问题中更新分解的问题，并通过实验验证了算法在实践应用中的功效。

    Sep, 2022