May, 2018

大规模机器学习中的动态控制流

PDF
TL;DR本文介绍了一种支持动态控制流的分布式机器学习编程模型，并在 TensorFlow 中进行了实现和评估。通过使用数据流图来表示机器学习模型，该模型支持将条件语句的分支和循环体分配到多台设备上运行，从而提高了性能和可扩展性。
machine learningdynamic control flowdistributed systemtensorflowperformance
发现论文，激发创造
  • TensorFlow：大规模机器学习系统

    TensorFlow 是一个机器学习系统，使用数据流图表示计算，共享状态以及操作，支持训练和推理深度神经网络等应用，并在多种真实世界应用中取得了出色的性能表现。

    May, 2016

  • 具有动态计算图的深度学习

    介绍了一种称为 “dynamic batching” 的技术，它可以通过组合块来简化动态图形模型的创建，并支持各种不同类型的输入图形的批处理实现。

    Feb, 2017

  • 实时机器学习：遗失的部分

    针对机器学习在实时决策中的应用，提出需要一种新的分布式执行框架来实现毫秒延迟、高吞吐、任务图的自适应构建以及异构内核的执行等一系列要求，并提出了一个候选方案，其架构已经获得了 63 倍的性能提升。

    Mar, 2017

  • 边缘设备上可靠和自适应分布式推理的流体动力学 DNNs

    分布推理是边缘上高效 DNN 推理的一种流行方法。本文引入了专为分布推理设计的流体动态 DNNs（Fluid DyDNNs），通过使用新颖的嵌套增量训练算法来提高其子网络的独立和组合操作能力，从而增强系统的可靠性和适应性。在嵌入式 Arm CPU 上评估了一个 DNN 模型和 MNIST 数据集，在单设备故障的情况下，Fluid DyDNNs 确保推理的持续性，而 Static DNNs 和 Dynamic DNNs 则失败。当设备全部正常运行时，Fluid DyDNNs 可以在高精度模式下达到与 Static DNNs 相当的准确性，或者在高吞吐量模式下分别比 Static 和 Dynamic DNNs 提高 2.5 倍和 2 倍的吞吐量。

    Jan, 2024

  • GNNFlow：动态图上连续时态 GNN 学习的分布式框架

    GNNFlow 是一个分布式框架，可以在多 GPU 机器上进行高效的连续时态图表示学习，支持动态图并采用自适应的时间索引块数据结构、混合 GPU-CPU 图数据放置、GPU 缓存以及优化策略等技术，实现了比现有系统快 21.1 倍的连续学习效果。

    Nov, 2023

  • 分布式流数据处理的无模型深度强化学习控制

    该论文提出了一种使用深度强化学习实现分布式流数据处理系统无模型控制的新方法，并通过实验验证其在处理元组的时间效率方面的有效性和实用性。

    Mar, 2018

  • 基于模型的深度强化学习加速流体模拟的学习

    深度强化学习在闭环流控问题中应用模拟环境进行优化，通过模型和流模拟样本相互交替训练，有效减少流控应用中的计算时间，尤其对于复杂流模拟有着潜在的巨大节约。

    Feb, 2024

  • 模块化模型架构中的机器学习信息流控制

    为了使受访者能够更加安全地使用 Access-controlled 数据，该研究提出了信息流控制的概念并开发了一种基于 Mixture-of-Experts 的 Transformer 语言模型。实验结果表明，该模型能够使数据的性能开销最小化并显著提高训练模型的准确性。

    Jun, 2023

  • ML/DL 模型中数据流图的自动任务并行化

    我们提出了一种基于关键路径的线性聚类方法，利用机器学习数据流图中的并行路径来优化图的结构，从而加速串行执行速度，并在编译和运行时优于一些当前机制。

    Aug, 2023

  • 基于并行引导策略的深度强化学习在连续流控制应用中的研究

    本论文介绍了一种基于深度强化学习的数值流控制方法，提出了一种在保持更新策略性的同时，在分布式环境中检索部分轨迹缓冲区来增强控制模型的并行模式。

    Apr, 2023