Jul, 2023

预测性自动缩放中的持续学习

PDF
TL;DR在动态云环境中，使用预测自动缩放来预测服务器的工作负载，并提前准备资源以确保服务水平目标（SLOs）。然而，在实践中，由于外部事件（例如销售促销活动和应用程序重新配置）导致的异常流量，其预测任务通常会遭受性能下降的影响。针对这个问题，我们提出了一种基于回放的持续学习方法，即基于密度的内存选择和基于提示的网络学习模型（DMSHM），只使用历史记录的一小部分来实现准确的预测。我们同时还展示了 DMSHM 在真实工业应用中杰出的实用性。
predictive autoscalingforecastworkloadsreplay-based continual learningprediction accuracy
发现论文，激发创造
  • 朝向持续学习的应用性能模型

    基于机器学习的性能模型在构建关键的作业调度和应用程序优化决策中越来越被使用。我们开发了持续学习性能模型，考虑到数据分布漂移，减轻灾难性遗忘，并提高泛化能力。我们的最佳模型能够保持准确性，无论系统变化引起的新数据分布，同时相比于朴素方法，在整个数据序列的预测准确度上提升了 2 倍。

    Oct, 2023

  • 级联缩放分类器：使用概率缩放进行类别逐步学习

    通过 Margin Dampening 和 Cascaded Scaling Classifier 的创新方法，提出一种新的正则化方法和一种新的增量分类器，实现过去学习知识的保留和有效学习新的模式。该方法在多个基准测试中表现良好，并研究了各组成部分以及组合对最终结果的影响。

    Feb, 2024

  • 基于长短期记忆循环神经网络的自动云资源缩放算法

    该研究提出了一种基于机器学习和神经网络的动态阈值自动扩展算法，以实现云计算中资源的自适应扩展，实验结果表明该算法优于其他算法。

    Jan, 2017

  • 一种智能无服务器函数的深度递归强化学习方法

    通过将模型无关的循环强化学习（Recurrent RL）代理与最先进的 PPO 算法相结合，我们研究了用于函数自动缩放的模型无关的 Recurrent RL 代理，并将其与基于阈值的函数自动缩放进行了比较，发现循环策略能够捕捉环境参数并在函数自动缩放方面显示出有希望的结果。除此之外，我们将基于 PPO 的自动缩放代理与商业使用的基于阈值的函数自动缩放进行了比较，并认为基于 LSTM 的自动缩放代理能够提高吞吐量 18％，函数执行速度 13％，并支持多出 8.4％的函数实例。

    Aug, 2023

  • 连续学习中的自适应记忆回放

    基于丰富的记忆资源和训练效率的重视，我们引入了一种适应性记忆回放的框架来解决不断学习问题，通过多臂赌博机问题的方法来动态选择训练数据，从而在保持高性能的同时减少了遗忘达 10%。

    Apr, 2024

  • 基于正则化的深度状态空间模型中的高效持续学习

    深度状态空间模型 (DSSM) 在动态系统建模方面的能力使其在近年来受到广泛关注。然而，现有 DSSM 方法仅适用于单任务建模，需要在重新访问之前的任务时使用历史任务数据进行重新训练。为了解决这个问题，我们提出了一种连续学习 DSSM (CLDSSM) 方法，它能够适应不断变化的任务而不会导致灾难性遗忘。我们的 CLDSSM 方法整合了主流的基于正则化的连续学习方法，确保以恒定的计算和内存成本对多个动态系统进行模型化的高效更新。我们还对各个连续学习方法应用于相应的 CLDSSM 进行了全面的成本分析，并通过在真实数据集上的实验证明了 CLDSSM 的有效性。结果证实，尽管各种竞争的连续学习方法各具特点，但所提出的 CLDSSM 在解决灾难性遗忘方面始终优于传统的 DSSM 方法，并能够实现对新任务的快速准确参数传递。

    Mar, 2024

  • 网络容量扩展辅以不可靠机器学习预测

    本文介绍了一种名为 Adaptive Balanced Capacity Scaling (ABCS) 的算法，该算法能够通过使用基于机器学习的预测来适应并减小数据中心的能耗和交换成本，同时保持足够的预测精度和竞争比率，相关的实验结果也证明了该算法的有效性。

    Jan, 2021

  • 基于显著性导向的隐藏联想回放用于持续学习

    这篇研究论文介绍了一种用于持续学习的新框架，它将关联记忆与回放策略相结合，通过稀疏内存编码归档显著的数据片段，并引入面向内容的记忆检索机制，通过实验证明了该方法在各种持续学习任务中的有效性。

    Oct, 2023

  • 从视频中持续进行预测学习

    本文主要研究了如何在实际应用中，处理环境持续变化的情况下，进行预测学习。作者提出了 Continual Predictive Learning (CPL) 方法，并在基于 RoboNet 和 KTH 的两个新基准测试中展示了该方法在视频预测和持续学习方面的有效性。

    Apr, 2022

  • 利用连续学习技术加速批量主动学习

    本研究提出 Continual Active Learning（CAL）的概念，结合现有和新开发的基于回放的多样化技术，能有效解决 Active Learning 中重新训练以及忘记旧数据等问题，从而能在保持性能的同时大幅度减小训练时间。

    May, 2023