- 组合优化的随机键 GRASP
该研究提出了一种使用随机密钥优化器(RKO)范例的与问题无关的 GRASP 元启发式算法,通过在贪婪随机自适应搜索过程中重复应用半贪婪构造和局部搜索过程来优化组合优化问题。使用 RKO 编码的随机密钥 GRASP 用于连续优化,并在单位超立 - 通过自适应的稠密到稀疏约束优化实现高效 LLM 越狱
最近的研究发现,大型语言模型(LLMs)易受到越狱攻击,可以生成有害内容。本文介绍了一种新颖的令牌级攻击方法,自适应密集到稀疏约束优化(ADC),该方法有效越狱了几个开源 LLMs。我们的方法将离散越狱优化放松为连续优化,并逐渐增加优化向量 - 基于水动力学的元启发式算法:水动力如何帮助我们解决 NP 难题
通过引入并解释了水基优化元启发式方法,本文旨在澄清这些方法之间的差异,并强调它们在仿真自然水力学方面的不同之处。
- 利用预期分区函数和连续优化设计信使和非编码 RNA
设计信使 RNA 和非编码 RNA 是离散优化问题,我们提出一种基于 “期望分割函数” 的连续优化框架,通过梯度下降优化方法逐渐缩小分布,以解决这些问题。在 mRNA 设计和非编码 RNA 设计两个重要案例中,我们的方法取得了有希望的初步结 - 量子自适应分布搜索进行连续优化
该论文介绍了量子自适应分布搜索(QuADS),这是一种整合了格罗弗自适应搜索(GAS)和协方差矩阵适应 - 进化策略(CMA-ES)的量子连续优化算法,用于更高效的优化。通过自适应调整初始状态分布而非持续使用均匀状态,QuADS 取得了比 - 基于连续全局优化的符号回归 ParFam
采用参数化函数族和全局优化的方法,将离散的符号回归问题转化为连续优化问题,以解决符号回归问题,并证明了该方法在常见符号回归基准测试中取得了最先进的结果。
- 无约束结构学习与平滑无环定向
COSMO 是一种无约束的连续优化方案,用于无环结构学习,通过参数化的优先级向量定义可微分的方向矩阵的近似,能够以渐近更快的速度收敛到无环解,且在图结构重建方面相比其他方法表现优异。
- KDD微温度即可完成可微架构搜索
通过利用小的温度值来稀疏化训练阶段中的连续分布,来缩小训练中弱化超网络与评估中的修剪后网络之间的差距,以提高 Differentiable Architecture Search 的效率和功效。
- 连续优化结构学习:审慎地观察和开拓
本研究探讨了连续优化在有向无环图结构学习中表现良好和表现不佳的情况及原因,并提供了可能的改进方向。研究发现,非等噪声方差情况下存在非凸性问题,而连续结构学习的最新进展未能在此情况下实现改进。因此,未来研究应考虑非等噪声方差以处理更广泛的设置 - 连续优化合成程序
该文提出了一种将程序合成作为连续优化问题的新型方法,并使用现代演化方法解决问题,同时提出了一种映射方案将连续形式转换为实际的程序。通过比较 GENESYS 和其他程序综合技术,证明 GENESYS 在相同的时间预算内综合出更多程序。
- 基于分形分解元启发式算法的低维黑盒优化问题研究
本研究探讨了分形分解算法(FDA)在低维连续优化问题中的性能,并在 Black Box Optimization Benchmark(BBOB)上评估了 FDA 的性能,结果表明,在其当前形式中,FDA 的表现还不够理想。
- DAGMA: 基于 M 矩阵和对数行列式无环特征学习 DAGs
该研究提出了一种基于对数行列式函数的新型有向无环图(DAG)的无环性描述,该描述利用 DAG 的幂零属性将其与正定矩阵锥定义的经典对数行列式函数进行了区分。该方法与现有技术相比,对于检测大型循环性更好,在梯度方面更好,并且实际运行时间大约快 - 最优随机分类树
本文介绍一种新的决策树分类算法,该算法采用连续优化,每个决策节点采取随机决策,实现了较好的性能效果。
- 学习优化:入门与基准
本文是第一篇关于连续优化问题的、全面的学习优化(L2O)综述和基准论文。我们对现有方案和研究方向进行分类,并对若干最具代表性的优化问题进行了基准测试。同时,我们在 Open-L2O 包中发布了我们的实现和数据,以进行可重复的研究和公平的基准 - 无惧 DAG:深入研究连续优化用于学习贝叶斯网络
研究学习贝叶斯网络的连续优化框架 NOTEARS,推导该优化问题的 KKT 条件,提出一种基于 KKT 条件的局部搜索后处理算法并在测试中得到了结构汉明距离的显著和普遍提高。
- ICML因果模型的可迁移性结构映射
本文介绍了一种基于对象导向表现形式的迁移学习框架,该框架利用人类学习因果模型并将其用于环境的变量之间的迁移。作者将连续优化的结构学习技术应用于对象之间的因果关系的显式学习中,并通过基于因果知识的对象分类将其迁移到目标领域。最后,在强化学习中 - ICLR神经架构搜索的几何感知梯度算法
本文研究神经架构搜索中的优化问题,提出一种基于单层经验风险最小化的几何感知框架,结合梯度下降和正则化的优化器,通过基于连续优化的松弛方法实现对离散寻找空间的搜索,成功为计算机视觉中的最新 NAS 基准提供了一种优异的算法。
- 协方差矩阵适应性算法及其在行为空间快速搜索中的应用
本文提出了结合协方差矩阵自适应技术和档案映射技术以维持多样性的新型 quality diversity 算法 (CMA-ME),在连续空间的测试表明,CMA-ME 相较于 MAP-Elites 能够找到更好的解决方案以及策略多样性,表现翻倍 - 从未知干预中学习神经因果模型
本研究提出了一个基于连续优化和神经网络的框架,以创建联合观测和干预数据模型的方法,能在不知情干预变量的情况下获得强大的基准结果,包括从合成图和来自 Bayesian Network Repository 的标准图中恢复结构。
- 神经架构优化
本论文提出了一种基于连续优化的自动神经架构设计方法,使用编码器、预测器和解码器组成的方法在连续空间中进行梯度优化,通过将较好的嵌入解码成新的架构,最终实现在 CIFAR-10 和 PTB 数据集上高效发现神经网络,并与之前的方法相比实现了较