Jan, 2024

Sibyl: 预测时间演化的查询工作负载

HTML
PDF
TL;DR数据库系统通常依赖于历史查询跟踪来进行基于工作负载的性能调优，然而实际生产工作负载是时变的，因此历史查询对于优化未来工作负载无效。为应对这一挑战，我们提出了SIBYL，一个端到端机器学习框架，准确地预测未来查询序列，并能在各种预测窗口中提供完整的查询语句。通过从真实工作负载中获取的见解，我们提出了基于模板的特征化技术，并开发了采用编码-解码结构的堆叠LSTM用于准确预测查询工作负载。我们还开发了改进在大预测窗口下的预测准确性，并能在具有查询到达率高度变化的大工作负载上实现高扩展性的技术。最后，我们提出了处理工作负载漂移的技术。我们对四个真实工作负载进行评估，结果表明SIBYL可以以87.3%中位数F1分数预测工作负载，并在应用于物化视图选择和索引选择应用程序时分别实现了1.7倍和1.3倍的性能改进。
发现论文，激发创造
  • 强化学习增强的缓存：实验研究

    使用机器学习和加强式算法提高缓存置换的性能

    Jun, 2021

  • Twitter SQL查询成本预测

    本文介绍了一种使用机器学习技术来预测 SQL 查询资源使用的服务，并且可以帮助改善查询调度，解决 SQL 引擎集群中不平衡的 OLAP 工作负载问题。

    Apr, 2022

  • 混合工作负载环境中学习型查询优化的加速

    本文提出了一种新的使用数据库统计信息和元数据来调整学习查询优化器以提高性能的集成学习模型BitE，并对现有传统方法进行了比较评估。

    Jun, 2023

  • Kepler: 快速参数查询优化的稳健学习

    Kepler是一种基于端到端学习的参数化查询优化方法，采用行数演化算法和神经网络不确定性模型，以实际执行数据评估候选方案并预测最快速的查询计划, 从而显著提高PostgreSQL上多个数据集的查询运行时间。

    Jun, 2023

  • 基于机器学习的索引调优：最近进展与开放挑战概述

    在自动索引调优中，机器学习技术为缓解相关挑战提供了新的机会，涉及工作负载选择、候选索引筛选、加速索引配置搜索、减少查询优化器调用和降低性能回归可能性等方面。此外，我们还提出了一个跨平台设计，旨在在多个SQL-like系统中实现索引调优的民主化。

    Aug, 2023

  • LearnedWMP: 使用查询模板分布进行工作负载内存预测

    在现代数据库管理系统中，工作内存常常是处理内存分析查询操作（如连接、排序和聚合）时的限制因素。本研究旨在预测工作负载的内存需求，并提出了学习的工作负载内存预测（LearnedWMP）方法，以改善和简化对工作负载的工作内存需求的估计。经过全面的实验评估，证明了LearnedWMP方法的优势以及对查询性能优化的广泛影响潜力。

    Jan, 2024

  • Roq: 基于风险感知学习成本模型的稳健查询优化

    在本篇论文中，我们提出了基于风险感知学习方法的全面框架Robust Optimization of Queries（Roq），它通过一种新颖的鲁棒性概念的形式化和定量测量，实现了鲁棒查询优化。Roq还包括查询计划评估和选择的新策略、算法以及预测查询执行成本和相关风险的新型学习成本模型。我们通过实验证明，与现有技术相比，Roq显著提高了鲁棒查询优化的效果。

    Jan, 2024

  • 在关系型工作负载中优化LLM查询

    本文探讨了如何优化在关系查询中调用大型语言模型的LLM推断，包括重排行以最大化LLM推断引擎内的键值（KV）缓存重用，重排列列以进一步增加缓存重用，并去重复冗余的推断请求。我们在Apache Spark中实现了这些优化，在真实数据集上的多样化LLM查询基准测试中，最终端到端延迟提高了4.4倍。据我们所知，这是第一个明确解决在SQL查询中优化LLM调用问题的研究。

    Mar, 2024

  • 预算感知查询调优：一种AutoML视角

    通过将代价单元视为变量，本文挑战了传统的代价模型观点，并提出了查询优化和工作负载调优的解决方案，实验证明了该方法的有效性。

    Mar, 2024

  • LLMTune：利用大型语言模型加速数据库参数调优

    基于大型语言模型的配置生成器LLMTune加速了优化器的调优过程，通过提供高质量的起始配置，避免了对不高效区域的冗余探索，从而在发现最佳配置方面取得显著的加速效果。

    Apr, 2024