这篇论文研究了使用深度强化学习对云数据库的运行时参数进行优化，特别是对 HTTP 缓存中的最佳缓存期限进行优化，并通过异步经验管理来解决在并发环境中测量不立即可用的问题。实验结果表明，这种基于标准函数和异步 CPU 训练的方法优于统计估计。

Oct, 2016

本研究介绍了一种新的基于在线计划的树形结构模型TreeQN，并且通过在多种游戏环境中的实验表明TreeQN和ATreeC模型具备优秀的性能。

Oct, 2017

Sibyl是一种用于混合存储系统的数据放置策略技术，使用基于强化学习的方法通过对运行负载的不同特征以及存储设备的观测使系统更加自适应，进而优化性能，并在实际系统中的不同配置上得到了验证。

May, 2022

通过采用强化学习技术，本文提出了一个解决编译机器学习程序中内存映射问题的新方法，称之为mallocMuZero算法，并将其应用在ML加速器上以缩短执行时间，表现优于目前的默认求解器。

May, 2023

提出了Program Machine Policies (POMPs)，它集成了程序化强化学习和状态机策略的优势，能够表示复杂行为并解决长期任务。通过检索一组有效、多样、兼容的程序，并将其用作状态机的模式，学习过渡函数以在模式程序之间进行转换，从而捕捉长期重复行为，并在各种任务上优于程序化强化学习和深度强化学习基线模型。

Nov, 2023

我们提出了XLand-MiniGrid，这是一个基于XLand的多样性和深度以及MiniGrid的简洁和极简主义所启发的元强化学习研究工具和网格世界环境套件。

Dec, 2023

本文介绍了LearnedKV，一种新颖的分层键值存储系统，将Log-Structured Merge树与Learned Index无缝集成，从而实现与SSD上独立索引结构相比的读写性能。我们分析了LSM树性能与大小的关系，并展示了分层Learned Index如何显著减轻与大小相关的性能下降，特别是通过减少垃圾回收（GC）后重新插入导致的密集I/O操作。为了保持对新插入键的快速读取性能，我们引入了一种非阻塞转换机制，可以在GC期间以 minimal overhead 将现有的LSM树高效地转换为新的Learned Index。我们通过多样化的工作负载进行了实验，在读请求和写性能方面，LearnedKV在性能上超过了现有解决方案的1.32倍和1.31倍。

Jun, 2024

大型语言模型在各个领域取得了很好的成绩，但由于长序列推理所需的广泛KV缓存限制了效率。许多努力尝试在运行时清除非关键缓存元素，从而在给定的内存预算内减小缓存大小，同时保持生成质量。我们重新审查了现有策略的基本原理，并发现当前的做法是在驱逐过程中均匀分配预算到不同的注意力头上，这往往会降低驱逐后生成质量。基于这些发现，我们提出了一种简单而有效的自适应分配算法，不仅在理论上确保其损失上限不超过之前均匀分配方法的上限，而且还能与自注意机制的特性相一致，从而实际降低上限。此外，将此算法与两种最先进的方法结合起来，得到了Ada-SnapKV和Ada-Pyramid。对16个数据集和“大海捞针”测试的广泛实验验证证实，Ada-SnapKV和Ada-Pyramid实现了进一步的改进，在最高性能的技术水平上建立了新的基准。

Jul, 2024

本文针对决策树策略合成中面临的挑战，提出了一种新的搜索算法，能够在黑箱环境和指定条件下生成最优决策树策略。该方法通过一种新颖的剪枝机制，显著降低了搜索空间，确保了合成的决策树策略的最优性和有效性，具有重要的实践意义。

Sep, 2024

本研究解决了强化学习（RL）中超参数调优的效率和比较性问题，现有方法往往只能在单一领域评估，限制了其普适性。提出的ARLBench基准测试平台能够高效评估多种超参数优化方法，并选择代表性任务，以降低所需计算资源，拓宽研究者的参与面。研究结果显示，ARLBench为自动化RL研究提供了灵活高效的基础，并构建了全面的超参数景观数据集。

Sep, 2024