Jan, 2024

从函数到分布建模：离线优化的 PAC - 生成方法

PDF
TL;DR该研究论文探讨了离线优化的问题，其中目标函数除了一系列 “离线” 数据示例外是未知的。与近年来关于将各种机器学习技术应用于离线优化问题的研究相比，大多数工作集中于学习未知目标函数的替代模型，然后应用现有的优化算法。与学习未知目标函数并优化它的想法相比，本文采用了一种不太直观但更直接的观点，即优化可以被视为从生成模型中进行采样的过程。通过对离线数据示例进行有效的生成模型学习，我们考虑了 “重新加权” 的标准技术，并且我们的主要技术贡献是对自然优化目标的可能近似正确 (PAC) 下界的确定，这使得我们能够共同学习一个加权函数和基于分数的生成模型。通过使用标准离线优化基准进行的实证研究证明了所提方法的稳健竞争性能。
发现论文，激发创造
  • 离线基于模型的优化：通过策略引导梯度搜索

    离线优化是一个新兴的问题，在许多实验工程领域，包括蛋白质、药物或飞机设计，由于在线实验以收集评估数据费时或危险，必须在仅有一组固定输入的离线评估基础上优化一个未知函数。为了避免这种情况，可以学习一个未知函数的代理模型并对其进行优化，但这种简单的优化器容易对离线数据集之外的输入过于高估代理模型（可能会因为在有偏函数评估样本上过度拟合）。为填补这一重要空白，我们将离线优化重新定义为一个离线强化学习问题，引入了一种新的学习搜索视角。我们的建议是通过明确学习从离线数据创建的代理模型中获得最佳策略来进行梯度搜索。我们对多个基准测试的实证结果表明，所学习的优化策略能够与现有的离线代理模型相结合，显著提高优化性能。

    May, 2024

  • 具有 PAC-Bayesian 保证的学习优化：理论考虑和实践实现

    用 PAC-Bayesian 理论为学习优化问题提供了第一个具备可证估计以及收敛保证和收敛速度权衡的框架，学习出的优化算法在比起仅从最坏情况分析得出的算法上具备可证的优越性能，基于指数族的 PAC-Bayesian 上界对一般的、可能无界的损失函数提供了可行性，我们通过将学习过程转化为一维最小化问题并研究全局最小值的可能性，提供了一个具体算法实现和学习优化的新方法，并进行了四个实际相关的实验来支持我们的理论，展示出该学习框架使得优化算法的性能有了数个数量级的改进。

    Apr, 2024

  • 生成对抗贝叶斯优化用于替代目标

    我们提出了一种使用自适应源批评正则化的生成对抗贝叶斯优化 (GABO) 框架，用于贝叶斯优化，在优化过程中使用一个 Lipschitz 边界的源批评模型来约束优化轨迹，使其落在代理函数可靠的区域。我们的算法在连续输入空间先验的某些假设下，动态调整源批评正则化的强度。GABO 在多个不同的离线优化任务和科学领域中超过了现有基线。

    Feb, 2024

  • 工业过程控制可靠的离线基于模型的优化

    利用条件生成对抗网络集成的动态模型和基于信息不确定性的奖励评估函数，实现离线建模优化在工业过程控制中的精确应用。

    May, 2022

  • 在线到 PAC 转换：通过遗憾分析获得泛化界

    本文提出了从在线学习的角度推导统计学习算法的泛化界限的新框架，建立在线学习算法与统计学习算法之间的联系，通过构造一种在线学习游戏来实现该框架并得到多种泛化保证。

    May, 2023

  • 通过加权重新训练，在深度生成模型的潜在空间中实现高样本效率的优化

    提出了一种利用深度生成模型进行优化的方法，通过周期性地在优化轨迹中重新训练生成模型并根据目标函数值加权来有效地提高样本效率和性能。

    Jun, 2020

  • 基于数据驱动的经典优化器和学习优化器的性能保证

    介绍了一种数据驱动的方法，利用统计学习理论的泛化保证来分析连续优化算法的性能。研究经典优化器和学习优化器来解决参数优化问题的族群。建立了经典优化器的泛化保证，利用样本收敛界限，以及学习优化器的泛化保证，利用 Probably Approximately Correct (PAC)-Bayes 框架。通过使用基于梯度的算法直接最小化 PAC-Bayes 上界来训练学习优化器。在信号处理、控制和元学习的数值实验中展示了我们的框架能够在固定迭代预算的情况下为经典和学习优化器提供强大的泛化保证。对于经典优化器而言，我们的界限比最坏情况保证的界限要严格得多。对于学习优化器而言，我们的上界优于观察到的非学习对应的实际结果。

    Apr, 2024

  • 基于悲观模型的部分覆盖离线强化学习

    研究在线学习中常见的数据不全覆盖情况，提出 Constrained Pessimistic Policy Optimization (CPPO) 算法，基于模型类别的限制来表示悲观情况，算法可以在数据不全覆盖的情况下具有 PAC 保证。

    Jul, 2021

  • 广义函数逼近下的最优保守离线强化学习增广朗格朗日方法

    本文基于边缘化重要性取样 (RL) 提出了一种新的离线强化学习算法，以实现一般函数逼近和单策略可集中性的统计最优性，无需不确定性量化，并且通过应用增广 Lagrange 方法，保证某些占用有效性约束的近似满足。与以往力图通过行为规则化等方法引入额外保守性的算法不同，本文方法证明消除了这种需求，并将规则化器重新解释为 “占用有效性的执行者”，而不是 “保守性的促进者”。

    Nov, 2022

  • 广义偏好优化：一种离线对齐的统一方法

    离线偏好优化通过直接从离线数据微调大型模型，已在最近的对齐实践中证明了其有效性。我们提出了广义偏好优化（GPO），一种由一类凸函数参数化的离线损失函数家族。GPO 实现了对偏好优化的统一视角，包括现有的算法，如 DPO、IPO 和 SLiC 等特殊情况，同时自然地引入了新的变量。GPO 框架还揭示了离线算法如何通过定义损失的凸函数来实现正则化。我们的分析和实验揭示了离线正则化与规范化神经网络的 KL 散度正则化之间的联系和微妙区别。总之，我们的结果向对齐实践者呈现了新的算法工具和实证洞见。

    Feb, 2024