Dec, 2014

使用 Optunity 进行轻松的超参数搜索

PDF
TL;DROptunity 是一个免费软件包，专门用于超参数优化，包含各种类型的优化器，主要关注易用性、灵活性、代码清晰度和在机器学习环境中的兼容性，可与 Python、R 和 MATLAB 等环境进行交互，采用 BSD 许可协议并在网上免费提供。
发现论文，激发创造
  • Optuna: 一款下一代超参数优化框架

    本研究旨在介绍下一代超参数优化软件的新设计标准，其中包括可动态构建参数搜索空间的 define-by-run API、高效的搜索和修剪策略的实施以及易于设置且多用途的架构，并通过 Optuna 来证明我们的观点，我们将介绍在满足上述标准的软件开发中所必需的设计技术，并通过实验结果和真实世界应用程序展示我们新设计的强大之处。

    Jul, 2019

  • 基于同伦的超参数优化方法

    使用基于广义加法模型（GAM）替代与同伦优化结合的数据驱动方法，我们提出了一种新的超参数优化方法 HomOpt，以提高现有方法在连续、离散和分类域空间上的性能和效果，并在多个优化技术（如随机搜索、TPE、贝叶斯和 SMAC）应用 HomOpt，展示了对许多标准机器学习基准和具有挑战性的开集识别任务的改进性能。

    Aug, 2023

  • 优化器基准测试需考虑超参数调整

    本文的研究结果表明，Adam 优化器是一种实用的解决方案，尤其在低预算场景中，因为评估不同优化器的性能必须考虑到超参数搜索的计算成本和难度。

    Oct, 2019

  • GPflowOpt：使用 TensorFlow 的贝叶斯优化库

    介绍了一种用于贝叶斯优化的新型 Python 框架 GPflowOpt，该框架基于 GPflow 库，利用 TensorFlow 的自动微分、并行计算和 GPU 计算。GPflowOpt 旨在提供易于扩展的框架，包括自定义收益函数和模型。当前版本的 GPflowOpt 包括一些标准的单目标收益函数，最先进的最大价值熵搜索以及贝叶斯多目标方法。最后，它允许在 GPflow 中实现自定义建模策略的轻松使用。

    Nov, 2017

  • 一个用于图形和成像中非线性最小二乘优化的领域特定语言

    该研究展示了一个可用于图像和视觉数据非线性最小二乘目标函数最优化的新语言 Opt，其数学描述非常简洁，但在实现过程中需要考虑到现代 GPU 在交互式应用中实时性能的优化。该语言生成的 GPU 求解器在精度、矩阵无关方法和求解器方法中均具有良好的折衷、性能优异，经实验证明，它们的性能竞争力可以与已发布的手动调优、应用特定的 GPU 求解器相媲美。

    Apr, 2016

  • 超参数优化：基础，算法，最佳实践和开放挑战

    本文介绍了自动超参数优化方法，并回顾了包括格子搜索、随机搜索、进化算法、贝叶斯优化、Hyperband 和竞速等在内的重要超参数优化方法及其实际运用中要注意的事项，并提供了具体实现方案及软件包信息，使得机器学习算法的配置能力更为高效地进行。

    Jul, 2021

  • SMOOTHIE：软件分析的超参数优化理论

    该研究论文介绍了一个名为 SMOOTHIE 的新型超参数优化器，通过考虑‘平滑性’指导其优化过程，并在多个软件分析任务中进行了实验验证，结果表明 SMOOTHIE 在性能上优于现有的优化器，并且运行速度比之前的最新技术快 300%。

    Jan, 2024

  • 基于代理的协作随机搜索用于超参数调优和全局函数优化

    本文提出了一种基于代理的协作技术，以找到任意一组超参数（或决策变量）的近似最优值，其设计了分布式搜索操作的分层代理架构，使用基于自适应宽度的随机采样技术进行合作搜索，并在机器学习和全局函数优化应用中，通过与两种常用随机调整策略的比较得出，该模型在多维度和设备资源有限的情况下优于其他方法。

    Mar, 2023

  • 顺序基于偏好的优化

    本文介绍了一种名为 PrefOpt 的开源软件包，用于简化包含人类偏好反馈的顺序优化任务，其方法是扩展了一种现有的二元偏好潜变量模型，允许对用户进行等效偏好的观察。

    Jan, 2018

  • SMAC3：一种用于超参数优化的全能贝叶斯优化包

    本研究介绍了 SMAC3，它是一个用于机器学习算法超参数优化的鲁棒性强、灵活性高的贝叶斯优化框架，它可以在少量评估中提高性能，包括优化超参数、解决人工全局优化问题和配置算法以跨多个问题实例表现良好。

    Sep, 2021