- ICML学习解决方案感知的变压器以高效解决二次分配问题
利用机器学习的能力,针对组合优化中的 Quadratic Assignment Problem (QAP) 提出了第一种针对 QAP 的学习优化方案,该方案使用 Solutions AWare Transformer (SAWT) 架构来有 - 模拟、快慢学习:学习黑箱优化的策略
通过学习主动学习策略和使用代理模型的梯度从而使用梯度下降法优化模拟参数,本文引入了一种新的方法来解决类似黑盒优化问题的一类问题。经过训练后,相对于局部代理模型方法、数值优化和贝叶斯方法,基于黑盒模拟器的问题的下游优化仅需要约 90%较少的昂 - 在 Wasserstein 空间中的非测地凸优化
研究了定义在 Wasserstein 空间(概率测度空间)中的一类优化问题,其中目标函数沿广义测地线是非凸函数。当正则化项为负熵时,优化问题转化为一个采样问题,在概率测度(优化变量)和目标概率测度之间最小化 Kullback-Leibler - 混合变量问题的混合强化学习框架
通过结合强化学习和贝叶斯优化技术,我们提出了一个混合强化学习框架,以解决由离散和连续变量构成的优化问题。我们的方法在合成函数和实际机器学习超参数调优任务中均超越了传统强化学习、随机搜索和独立的贝叶斯优化方法,在有效性和效率方面表现出色。
- 增长微小网络:发现并优化表达能力瓶颈
在这篇研究论文中,我们提出了一种新的机器学习方法,通过在训练过程中动态地调整神经网络的架构来解决架构选择和优化问题,从而避免了需要进行昂贵的架构参数优化。我们通过从反向传播中提取信息来检测和解决功能梯度路径上的表达能力瓶颈,从而实现可扩展性 - 学习优化:连续和混合整数优化的教程
学习优化(L2O)介于传统优化和机器学习的交叉点,利用机器学习的能力增强传统优化技术,通过考虑实际应用的前提和优化问题的结构,提供了一个综合指南,加速优化算法并适应更加真实的应用。
- 在固定预算设置下构建算法选择中的算法组合对计算密集型黑箱优化问题的解决
离线算法选择,算法组合,固定预算设置,函数评估,优化问题。
- 约束超分位数优化的快速计算通过隐式场景缩减
介绍了一种快速、可扩展和强大的二阶计算框架来解决带有超量分位数约束的大规模优化问题。
- Wave Loss 函数推动监督学习:一种鲁棒而平滑的方法
该研究论文介绍了一种名为 Wave Loss 的非对称损失函数,将其应用于支持向量机和双支持向量机模型的优化过程中,通过优化算法提高了预测准确性,并在多个领域的数据集上进行了实证评估。
- 基于广义特征值问题的数据协作分析的新解决方案
近年来,随着各个机构间数据的积累,保密数据分析技术备受关注,它通过在多个机构间共享数据来提高分析准确性,同时保护敏感信息。其中,数据协同分析(DCA)作为一种高效的计算成本和通信负载的方法,在保护机密信息的同时促进了不同机构间数据共享和分析 - 模型预测控制与神经网络之间的映射
用隐式神经网络准确表示具有二次成本和线性约束的线性系统的模型预测控制,并引入一种将隐式神经网络解开为显式网络的方法,这些结果强调了隐式神经网络表示优化问题解决方案的能力,因为这些问题本身是隐式定义的函数。
- 稀疏梯度的差分隐私优化
在大型嵌入模型应用的推动下,我们研究了带有个体梯度稀疏性的差分隐私(DP)优化问题,我们得到了经典均值估计问题的新近最优界限,但这是在稀疏数据情况下,改进了先前的算法,特别是在高维情况下。在此基础上,我们提出了几乎最优的 DP 算法和近似 - 通过部分解决方案挖掘潜在解释性模式
通过引入部分解决方案来改善组合优化问题的解释能力,我们提出了一种算法,该算法选择一系列部分解决方案以在高适应度、简单性和原子性之间取得平衡,实验证明该算法能够以合理的计算成本找到改善解释能力的部分解决方案而不影响搜索性能。
- 带有平滑对数障碍函数的有约束强化学习
我们提出了一种新的约束强化学习方法,称为 CSAC-LB(具有对数势函数的约束软 Actor-Critic)。通过将线性平滑对数势函数应用于附加的安全评论家,它实现了适应性政策学习的惩罚,并减轻了对数势函数方法应用中已知的数值问题,从而在几 - 学习增强的邻域选择在车辆路径问题中的应用
将机器学习技术应用于大邻域搜索算法(LNS)以提高解决优化问题的效率和结果质量。
- 关于一些推前约束的非凸性及其在机器学习中的影响
通过推限操作,可以通过确定性映射重新分配概率度量,从而在统计学和优化中发挥着关键作用。本文旨在填补相关领域(最优传输、生成模型和算法公平性等)中关于这些约束的凸性(非凸性)及其对相关学习问题的影响的缺乏理论洞察力的现状。
- 并行量子退火在多问题同时优化中的潜力研究:一项全面研究
并行量子退火通过在单个退火周期中处理多个独立问题来优化量子拓扑结构上可用量子位的利用,从而最小化闲置量子位和比传统量子退火方法提供更快的解决时间。
- 关于神经网络优化中凝聚 - 聚合群存在的证据、定义与算法
理解神经网络的收敛过程是机器学习领域中最复杂和关键的问题之一。尽管名人成功与人工神经网络的收敛紧密相关,但这一概念仍然主要是理论性的。这篇论文通过观察人工神经网络优化过程中出现的凝聚 - 融合群体,讨论一种基于不同方法的人工神经网络收敛。
- LM4OPT: 大型语言模型在数学优化问题制定中的潜力揭示
在自然语言处理领域,通过将语言描述转化为数学优化问题的数学表达式是一个具有挑战性的任务,本研究比较了 GPT-3.5、GPT-4 和 Llama-2-7b 等重要的大型语言模型在零射和单射设置下的性能,结果表明 GPT-4 在单射场景中表现 - OptiMUS: 可扩展的使用 (MI) LP 求解器和大型语言模型的优化建模
OptiMUS 是一种基于大型语言模型(LLM)的代理程序,旨在从自然语言描述中解决(混合整数)线性规划问题。OptiMUS 能够开发数学模型,编写和调试求解器代码,评估生成的解决方案,并根据这些评估改进其模型和代码。在实验证明,对于简单数