Oct, 2023

朝向持续学习的应用性能模型

PDF
TL;DR基于机器学习的性能模型在构建关键的作业调度和应用程序优化决策中越来越被使用。我们开发了持续学习性能模型，考虑到数据分布漂移，减轻灾难性遗忘，并提高泛化能力。我们的最佳模型能够保持准确性，无论系统变化引起的新数据分布，同时相比于朴素方法，在整个数据序列的预测准确度上提升了 2 倍。
machine learning-based performance modelsjob schedulingapplication optimizationdata distribution driftcatastrophic forgetting
发现论文，激发创造
  • 实时机器学习：遗失的部分

    针对机器学习在实时决策中的应用，提出需要一种新的分布式执行框架来实现毫秒延迟、高吞吐、任务图的自适应构建以及异构内核的执行等一系列要求，并提出了一个候选方案，其架构已经获得了 63 倍的性能提升。

    Mar, 2017

  • 单模型之外的持续学习

    通过实验验证，本研究探讨了在连续学习过程中使用集成模型的优缺点，提出了一个计算简单、性能优良的算法来解决集成模型带来的高计算成本问题，并解决了连续学习中的遗忘问题。

    Feb, 2022

  • 预测性自动缩放中的持续学习

    在动态云环境中，使用预测自动缩放来预测服务器的工作负载，并提前准备资源以确保服务水平目标（SLOs）。然而，在实践中，由于外部事件（例如销售促销活动和应用程序重新配置）导致的异常流量，其预测任务通常会遭受性能下降的影响。针对这个问题，我们提出了一种基于回放的持续学习方法，即基于密度的内存选择和基于提示的网络学习模型（DMSHM），只使用历史记录的一小部分来实现准确的预测。我们同时还展示了 DMSHM 在真实工业应用中杰出的实用性。

    Jul, 2023

  • 液体集成选择用于持续学习

    连续学习旨在使机器学习模型能够在数据分布不断变化的情况下不忘记已学知识。通过训练集合中的每个成员于不同相关子集，使整个集合相比于单纯模型能够获得更高准确率且遗忘更少的问题。我们解决了在给定数据上选择哪些模型应该学习，哪些模型应该进行预测的问题。通过借鉴委托投票的工作，我们开发了一种用于动态选择集合中活动模型的委托算法。我们探讨了各种委托方法和性能指标，最终发现在面对分布变化时，委托能够显著提高性能，优于单纯学习。

    May, 2024

  • 从长尾分布中持续学习众多任务

    该论文研究了具有大量任务的持续学习算法在长尾任务序列中的性能，并探讨了优化器状态作为提高持续学习性能的一种因素。通过维护来自先前任务的第二矩的加权平均，论文提出的方法有效减少遗忘，同时在现有的持续学习算法中取得改进。

    Apr, 2024

  • 分布式环境下深度学习通用性能模型

    本文提出一种针对分布式环境下深度学习应用程序的性能建模方法，使用正则化和差分进化算法解决全局优化问题，可用于任何分布式深度神经网络，为性能和可扩展性提供有帮助的因素解释和准确性预测。

    May, 2023

  • 关于在代码的预训练语言模型中使用连续学习以实现针对分布外的泛化

    本文提出可解决 Pre-trained language models 在软件代码动态环境下 catastrophic forgetting 问题的五种 continual learning methods，并在两个 downstream tasks 中取得可比较或优越的表现。

    May, 2023

  • 机器学习模型在实际中的稳健性、评估与适应性

    通过培训算法来提高对于机器学习领域的可靠性，从而应对领域的变化，提高算法的性能，预测其表现并轻量级适应应用领域。

    Mar, 2023

  • 图像机器学习数据漂移控制的数据模型

    本研究结合传统机器学习和光学物理学，构建显式且可微分的数据模型，用于控制下游机器学习模型性能与数据漂移相关性，进而进行数据环境的精密规定和优化。

    Nov, 2022

  • 使用预训练模型的不断学习：调查

    本文是对基于预训练模型的持续学习最新进展的综合调查，将现有方法分为三组进行分类，提供了它们的相似性、差异性、以及各自的优缺点的比较分析，并通过实证研究对比了各种最先进的方法，以凸显比较中公平性方面的关注点。

    Jan, 2024