利用 OtterTune 的方法，通过有监督和无监督的机器学习方法选择对系统有影响力的 knobs，映射未知的工作负载，推荐 knob 设置，并改进延迟预测，并使用 GMM 聚类去除指标并组合集成模型（如 RandomForest）与非线性模型（如神经网络）进行预测建模。

Apr, 2023

通过使用 OtterTune 自动化工具，利用监督和无监督机器学习技术实现对数据库系统配置的自动管理，并通过对比实验证明，其生成的配置与人工专家配置相当或甚至更优，本文则是在原有的自动化技术基础上，利用机器学习方法进一步优化了新的数据库系统的部署，特别是在准确性预估上。

Jun, 2023

利用大型语言模型 (LLMs) 来自动调谐粒子加速器的能力，通过自然语言提示将粒子加速器的子系统调谐到最佳状态，并与贝叶斯优化 (BO) 和强化学习训练优化 (RLO) 算法进行性能比较。该研究的目标是加快自动调谐算法在粒子加速器的日常操作中的实际应用。

May, 2024

在大型语言模型的迅猛发展中，高度可用、可集成和可扩展的 LMTuner 系统为迅速和最小人为干预训练大型语言模型提供了解决方案，支持从 300M 到惊人的 130B 参数的单服务器训练。

Aug, 2023

通过细调用于现有数据的多控制调优方法，本文提出一种能够精确控制大语言模型输出的多个语言复杂性的方法。实验证明该方法不仅显著改善了大语言模型的多复杂性可控性，还保持甚至提升了响应质量。

Jun, 2024

基于全面的模型性能至诚态度，我们系统调查了数据量、参数规模和数据构建方法对各种能力发展的影响，并通过新的 40k 人工指导的指令数据集进行了数百个模型检查点（7b 到 33b）的全面指导优化。我们的研究揭示了三个主要发现：（i）尽管数据量和参数规模直接影响模型的整体性能，但某些能力更容易受到其增加的影响，并且可以通过有限数据进行有效训练，而某些能力对这些变化高度抵抗。（ii）人工指导的数据在效率上明显优于 GPT-4 的合成数据，并且可以随着数据量增加不断提高模型性能，而合成数据则无法达到这种效果。（iii）指令数据带来了强大的跨能力泛化性，域外数据的评估结果反映了前两个观察结果。此外，我们还展示了这些发现如何指导更高效的数据构建，从而在公共基准测试中实现实际性能的提升。

Oct, 2023

使用专有文件和代码从企业存储库中细调 LLMa LLMs，以评估响应质量，同时提供细调 LLM 的实用指导和建议。

Mar, 2024

使用大型语言模型来改进软件配置过程，特别是在超参数配置方面，通过识别起始条件和缩小搜索空间，提高效率。在大量实验中发现，LLM 生成的响应的可变性以及基于领域特定关键词的一致行为，揭示了 LLM 在初始化过程和配置优化方面的潜力，但也强调了需要进一步深入研究和实验。

Dec, 2023

对于指令调优（IT）领域的研究进行了概述，它是增强和可控大型语言模型（LLMs）能力的关键技术。该研究系统回顾了 IT 的一般方法论、IT 数据集的构建、IT 模型的训练以及不同模态、领域和应用的应用，并分析了影响 IT 结果的因素（例如，指令输出的生成、指令数据集的大小等）。还审查了 IT 存在的潜在问题以及对其的批评，指出了现有策略的不足之处，并提出了一些有益的研究方向。

Aug, 2023

在自动索引调优中，机器学习技术为缓解相关挑战提供了新的机会，涉及工作负载选择、候选索引筛选、加速索引配置搜索、减少查询优化器调用和降低性能回归可能性等方面。此外，我们还提出了一个跨平台设计，旨在在多个 SQL-like 系统中实现索引调优的民主化。

Aug, 2023