Spark 调优框架采用自动调优技术，通过贝叶斯优化解决了参数调优中的问题，提高了效率。

Sep, 2023

利用 OtterTune 的方法，通过有监督和无监督的机器学习方法选择对系统有影响力的 knobs，映射未知的工作负载，推荐 knob 设置，并改进延迟预测，并使用 GMM 聚类去除指标并组合集成模型（如 RandomForest）与非线性模型（如神经网络）进行预测建模。

Apr, 2023

通过使用 OtterTune 自动化工具，利用监督和无监督机器学习技术实现对数据库系统配置的自动管理，并通过对比实验证明，其生成的配置与人工专家配置相当或甚至更优，本文则是在原有的自动化技术基础上，利用机器学习方法进一步优化了新的数据库系统的部署，特别是在准确性预估上。

Jun, 2023

本文介绍了 Twitter 实时相关查询建议和拼写更正服务的架构，讨论了如何在面对‘大数据’ 事件的高实时需求时通过从 Hadoop-based 分析栈向专为任务设计的自定义内存处理引擎的转变解决相关问题。

Oct, 2012

基于大型语言模型的配置生成器 LLMTune 加速了优化器的调优过程，通过提供高质量的起始配置，避免了对不高效区域的冗余探索，从而在发现最佳配置方面取得显著的加速效果。

Apr, 2024

本文通过离线学习常见应用的专用内存模型并结合 Apache Spark 的 CPU 和内存运行时数据，对数据分析应用任务进行批处理，并通过对任务进行特定的 co-location，统计考虑了任务运行所需的内存和 CPU 资源的情况下，合理放置任务可以显著提高服务器利用率和系统吞吐量。

Oct, 2017

Karasu 是一种更高效的资源配置剖析方法，通过促进类似基础设施、框架、算法或数据集的用户之间的数据共享，训练轻量级性能模型并将它们组合成一个集成方法，以开发配置搜索空间中固有的知识，同时优化多个目标，从而显著提升现有方法在性能、搜索时间和成本方面的表现。

Aug, 2023

本文演示了如何利用多智能体系统开发一个分布式技术，用于确定任意集合的超参数的近似最优值，并在机器学习和全局函数优化应用中进行了研究。研究表明，在更高的维度下，所提出的模型在分类误差和函数评估方面都优于其底层随机调优策略。

May, 2022

评估和比较了六种流行的自动机器学习框架在 100 个数据集上的性能，并考虑了时间预算、搜索空间大小、元学习和集成构建等因素对比较的影响，结果揭示了多种有趣的见解。

Apr, 2022

使用深度增强学习优化分布式文件系统的性能，提高系统吞吐量最高可达 91.8%，相对于基线提升了 39.7%。

Jul, 2022