ICMLNov, 2022

推广高斯平滑用于随机搜索

PDF
TL;DR通过从更大的分布族中采样扰动来选择波动分布，以最小化梯度估计的均方误差（MSE），提出了三个分布，其 MSE 比高斯平滑更小。通过在线性回归，强化学习和 DFO 基准测试中评估了三个采样分布以验证我们的说法，提案通过相同的计算复杂度改进了 GS，并且通常与计算成本更高的 Guided ES 和 Orthogonal ES 竞争甚至表现更好。
gaussian smoothingoptimizationgradient estimatemean squared errorperturbations
发现论文，激发创造
  • 可解释人工智能方法的可靠性和稳定性如何？

    黑盒模型、可解释人工智能方法（XAI 方法）、eXirt、扰动等是本研究的关键词，通过实验和生成解释以评估 XAI 方法的稳定性和可靠性。结果表明，eXirt 能够识别出最可靠的模型，同时发现当前 XAI 方法对扰动敏感，但存在一个特定方法例外。

    Jul, 2024

  • 如何提升任何损失函数

    使用提供偏离随机猜测的分类器的弱学习算法进行优化，无需一阶信息即可学习任意良好模型。通过使用量子微积分等工具，证明了使用任何损失函数进行优化的可行性，从而在经典 0 阶设置中实现了一项前所未有的成就。

    Jul, 2024

  • 大型语言模型自动适应规则优化

    采用大型语言模型作为优化器构建和优化自适应规则的方法经过 SWIM 中的初步实验验证了其有效性和局限性。

    Jul, 2024

  • 处理时间序列预测中的预测延迟：采用导数正则化的连续 GRU 方法

    传统时间序列预测任务的新视角和通过时间导数正则化减小预测延迟的一种新解决方案。采用基于神经元常微分方程的连续时间门控循环单元（GRU）可以监督显式的时间导数，方法在 MSE、动态时间规整和时间扭曲指数等指标上优于其他方法，并在多个数据集中展示了低预测延迟的特点。

    Jun, 2024

  • 大型语言模型对电力调度的用户导向方法

    传统的优化与调度方案往往只考虑固定的系统要求，而未来的系统将采用用户驱动的方法和个性化服务，致力于实现高质量体验和灵活性。本文首次提出了一种新颖的资源调度架构，通过构建三个大语言模型代理来将任意用户的语音请求转化为资源分配向量。通过针对电动汽车充电的典型语音请求进行测试，结果表明所提出的架构的高效性。

    Jun, 2024

  • 多任务多约束差分进化算法中基于优秀导向的知识传递在煤矿综合能源系统调度中的应用

    煤矿综合能源系统的调度优化是一个具有高维度、强耦合约束和多目标的挑战性问题。针对此问题，我们开发了一个多任务进化算法框架，利用调度相关领域知识来有效处理强约束和多目标优化。通过复杂约束关系分析和处理，我们首先探索了一种可能的进化多任务构建策略，即约束耦合空间分解、约束强度分类和约束处理技术。在多任务进化优化框架中，进一步开发了两种策略，即通过设计特殊的拥挤距离机制从每个任务中选择主导个体的精英引导知识传递以及基于自适应邻域技术的突变，以有效平衡每个优化任务的多样性和收敛性。通过与 CPLEX 求解器和七种约束多目标进化算法的比较，在一个煤矿综合能源系统的案例研究中展示了所提出算法在可行性、收敛性和多样性方面的性能。

    Jun, 2024

  • 强凸性和利普希茨 Hessian 下的随机零阶优化：极小 - 最大样本复杂度

    在在线学习中，优化随机零阶反馈下的凸函数一直是一个主要而具有挑战性的问题。本文考虑了仅能对目标函数进行噪声评估的情况下，对二阶平滑和强凸函数进行优化的问题；通过提出匹配的上下界，第一次对最小化最大简单后悔的速率进行了紧密的刻画。我们提出了一种算法，结合了启动阶段和镜像下降阶段。我们的主要技术创新包括对高阶平滑性条件下球形采样梯度估计器的尖锐刻画，从而使算法能够在偏差 - 方差权衡方面达到最优平衡，以及一种用于启动阶段的新的迭代方法，它能够保持无界 Hessian 的性能。

    Jun, 2024

  • 通过复合算子在 $L^2$ 中诱导 Riesz 和正交基

    我们通过由映射 $h$ 诱导的复合算子 $C_h$ 来研究 $L^2$ 的规范正交基的扰动。我们对映射 $h$ 所需的综合特征进行了描述，以使扰动序列成为正交基或 Riesz 基。在我们将分析限制为可微映射时，我们发现给定形式的所有 Riesz 基均由双 Lipschitz 映射诱导。此外，我们讨论了这些结果对逼近理论的影响，强调使用双射神经网络构建具有有利逼近性质的完备序列的潜力。

    Jun, 2024

  • 通过块替换提高部分顺序计划的执行并发性

    通过引入并行执行和优化，将部分有序计划（POP）转换为并行计划，以提高计划的灵活性和资源利用效率。

    Jun, 2024

  • 从数据中学习动态贝叶斯网络：基础，原理和数值比较

    本文简要介绍了学习动态贝叶斯网络（DBNs）的基本原理及其在变量分布、学习方法和优化方面的应用。

    Jun, 2024