Jun, 2023

使用深度学习进行数据库管理系统的自动调优

PDF
TL;DR通过使用 OtterTune 自动化工具，利用监督和无监督机器学习技术实现对数据库系统配置的自动管理，并通过对比实验证明，其生成的配置与人工专家配置相当或甚至更优，本文则是在原有的自动化技术基础上，利用机器学习方法进一步优化了新的数据库系统的部署，特别是在准确性预估上。
database systemconfigurationmachine learningottertunelatency prediction
发现论文，激发创造
  • 基于深度学习的数据库管理系统自动调优

    利用 OtterTune 的方法，通过有监督和无监督的机器学习方法选择对系统有影响力的 knobs，映射未知的工作负载，推荐 knob 设置，并改进延迟预测，并使用 GMM 聚类去除指标并组合集成模型（如 RandomForest）与非线性模型（如神经网络）进行预测建模。

    Apr, 2023

  • LLMTune：利用大型语言模型加速数据库参数调优

    基于大型语言模型的配置生成器 LLMTune 加速了优化器的调优过程，通过提供高质量的起始配置，避免了对不高效区域的冗余探索，从而在发现最佳配置方面取得显著的加速效果。

    Apr, 2024

  • 基于机器学习的索引调优：最近进展与开放挑战概述

    在自动索引调优中，机器学习技术为缓解相关挑战提供了新的机会，涉及工作负载选择、候选索引筛选、加速索引配置搜索、减少查询优化器调用和降低性能回归可能性等方面。此外，我们还提出了一个跨平台设计，旨在在多个 SQL-like 系统中实现索引调优的民主化。

    Aug, 2023

  • VDTuner: 向量数据管理系统的自动性能调优

    VDMS 自动调优框架 VDTuner 利用多目标贝叶斯优化，能够高效探索复杂多维参数空间，并在搜索速度和召回率之间达到最佳配置，显著提高 VDMS 性能（搜索速度提高 14.12％，召回率提高 186.38％），相比于默认设置更加高效，优于最先进的基准测试（调优时间最多快 3.57 倍），并可扩展到特定用户偏好和成本感知优化目标。

    Apr, 2024

  • KnobTree：基于可解释强化学习的智能数据库参数配置

    提出了 KnobTree 框架，用于优化数据库参数配置，其中包括基于强化学习不同树的可解释数据库调优算法，以及利用 Shapley 值进行参数重要性评估的可解释方法。在 MySQL 和 Gbase8s 数据库上进行的实验证实了 KnobTree 模型具有出色的透明度和可解释性，并在吞吐量、延迟和处理时间等方面略优于现有的基于强化学习的调优算法。

    Jun, 2024

  • Autotune: 一种无导数优化框架，用于超参数调优

    该论文提出了一种自动化的并行无导数优化框架 ——Autotune，它结合了多种专业的采样和搜索方法，可有效地调整机器学习模型的超参数，从而提高模型质量和训练效率，并通过并行计算和分布式训练优化算法的资源性能。

    Apr, 2018

  • 机器学习算法的实用贝叶斯优化

    本研究基于贝叶斯优化框架，建立高斯过程模型，通过前期实验获得的信息来优化机器学习算法的超参数调整，作者提出可以超过经验人类调参表现的自动算法，并介绍收集实验信息、利用多核心并行实验等新算法。

    Jun, 2012

  • muNet: 将预训练的深度神经网络进化为可扩展的自动调整多任务系统

    采用预训练深度神经网络层作为基块构建多任务学习系统，通过动态选择相关的先验知识、模型参数和超参数进行自动调优，控制模型规模实现高质量模型与较小的规模之间的权衡，并在 10 个多样化的图像分类任务中，相对于标准调优，提高了平均精度 2.39％而使用了每个任务 47％ 以上的参数。

    May, 2022

  • 大数据性能优化自主架构

    KERMIT 是一种自主架构，可以自动调整 Apache Spark 和 Hadoop，并能识别和分类复杂的多用户工作负载，以达到比人工管理员的启发式调优快 30％，并且比通过对调优参数空间进行透彻搜索获得的最快调优结果快高达 92％。

    Mar, 2023

  • LiveTune: 动态参数调整用于深度神经网络训练

    通过存储参数在系统的指定端口上并允许动态调整，我们提出了一个新的框架 LiveTune，允许在训练过程中实时调整参数，从而提供持续的训练会话。通过对我们的框架进行广泛评估，我们发现每次超参数改变可以节省高达 60 秒和 5.4 千焦的能量。

    Nov, 2023