Mar, 2022

LQoCo：学习优化存储系统中的缓存容量超载

HTML
PDF
TL;DR本文首次提出了一种轻量级学习型缓存带宽控制技术（LQoCo），它可以自适应地控制缓存带宽，以有效地防止存储系统中的缓存过载，实验表明，LQoCo可以适应不同的工作负载，从而显著提高存储性能。
发现论文，激发创造
  • 一种基于模仿学习的高速缓存替换方法

    提出了一种基于imitation learning的方法来自动学习缓存访问模式，并取得了显著的性能提升，尤其是在内存密集应用和大规模网络搜索应用中。

    Jun, 2020

  • 强化学习增强的缓存：实验研究

    使用机器学习和加强式算法提高缓存置换的性能

    Jun, 2021

  • Sibyl: 使用在线强化学习在混合存储系统中实现自适应和可扩展的数据放置

    Sibyl是一种用于混合存储系统的数据放置策略技术，使用基于强化学习的方法通过对运行负载的不同特征以及存储设备的观测使系统更加自适应，进而优化性能，并在实际系统中的不同配置上得到了验证。

    May, 2022

  • Magpie: 使用深度强化学习自动调整分布式文件系统的静态参数

    使用深度增强学习优化分布式文件系统的性能，提高系统吞吐量最高可达91.8%，相对于基线提升了39.7%。

    Jul, 2022

  • 科学工作流中网络存储缓存的效果和可预测性

    大型科学合作通常会有多位科学家在进行不同的分析时访问相同的文件集，这会导致对位于远处的共享数据的重复访问。为了减少广域网流量和数据访问延迟，已经安装了区域性数据存储缓存作为一项新的网络服务。通过对南加州的拍字节级缓存进行研究，我们展示了这个缓存系统能够从广域网中减少67.6%的文件请求，并平均每天减少广域网流量量级的12.3TB（或35.4%）。这个缓存系统还实施了一种策略，在处理大文件时避免清除较小的文件。我们还构建了一个机器学习模型来研究缓存行为的可预测性。测试结果显示，该模型能够准确预测缓存访问、缓存未命中和网络吞吐量，使该模型在未来的资源规划和规划研究中非常有用。

    Jul, 2023

  • 具有噪声请求估计的无悔缓存

    提出了一种名为Noisy-Follow-the-Perturbed-Leader（NFPL）算法的在线学习算法来设计具有遗憾保证的缓存策略，在请求估计有噪声的情况下，该算法具有亚线性遗憾，并通过实验验证了该方法的有效性。

    Sep, 2023

  • 基于学习的边缘内容传输缓存机制

    基于Hazard Rate（HR）排序的HR-Cache是一种学习为基础的缓存框架，通过利用上界的规则指导缓存淘汰决策，并通过轻量级的机器学习模型提高字节命中率在边缘环境中的性能。实验结果表明，HR-Cache相较于现有的最先进方法，在WAN流量节省方面具有2.2-14.6%的优势，不仅优于启发式缓存策略，还优于现有的基于学习的算法。

    Feb, 2024

  • 基于深度强化学习和迁移学习的边缘缓存

    本文探讨了网络中冗余数据传输的日益严峻挑战，提出了基于双深度强化学习缓存的解决方案，通过综合考虑文件的生命周期、大小和重要性等特征，实现了比最近的基于深度强化学习的方法更优异的性能，并引入了迁移学习以解决实际环境中缓存的动态挑战。

    Feb, 2024

  • 一种具有对数复杂度和遗憾保证的在线基于梯度的缓存策略

    我们引入了一种基于梯度的在线缓存策略，相对于目录大小具有对数计算复杂度，同时提供遗憾保证，能够在实时决策和最佳后见选择之间最小化性能差距。

    May, 2024

  • 优化LLM中的KV缓存逐出策略：自适应分配以提升预算利用率

    大型语言模型在各个领域取得了很好的成绩，但由于长序列推理所需的广泛KV缓存限制了效率。许多努力尝试在运行时清除非关键缓存元素，从而在给定的内存预算内减小缓存大小，同时保持生成质量。我们重新审查了现有策略的基本原理，并发现当前的做法是在驱逐过程中均匀分配预算到不同的注意力头上，这往往会降低驱逐后生成质量。基于这些发现，我们提出了一种简单而有效的自适应分配算法，不仅在理论上确保其损失上限不超过之前均匀分配方法的上限，而且还能与自注意机制的特性相一致，从而实际降低上限。此外，将此算法与两种最先进的方法结合起来，得到了Ada-SnapKV和Ada-Pyramid。对16个数据集和“大海捞针”测试的广泛实验验证证实，Ada-SnapKV和Ada-Pyramid实现了进一步的改进，在最高性能的技术水平上建立了新的基准。

    Jul, 2024