Jul, 2023

Pathway：一种快速灵活的统一流数据处理框架，用于分析和机器学习应用

PDF
TL;DR我们提出了 Pathway，这是一个新的统一数据处理框架，可以在有界和无界数据流上运行工作负载。该框架旨在解决分析和处理物理经济数据时面临的挑战，包括物联网和企业系统生成的数据流。我们描述了该系统，并展示了其在批处理和流处理环境中的能力，超过了业界最先进的框架。我们还讨论了 Pathway 处理的流处理用例，这些用例无法轻松解决使用业界最先进的框架，例如流迭代图算法（PageRank 等）。
pathwaydata processing frameworkbounded data streamsunbounded data streamsstreaming use cases
发现论文，激发创造
  • 路径：面向机器学习的异步分布式数据流

    我们设计了一种新型大规模编排层，Pathways，它能够探索新的系统和机器学习研究想法，同时保持目前模型的先进性能。Pathways 使用异步 operator 的分片数据流图，在数千个加速器上高效地安排异构并行计算，同时通过专用互连协调数据传输。通过小心的工程技术，Pathways 采用了异步分布式数据流设计，使得控制平面能够并行执行，尽管在数据平面有依赖。我们证明，Pathways 能够在 2048 TPUs 上运行 SPMD 计算，达到与最先进系统相当的性能平衡（~100% 加速器利用率），同时在 Transformer 模型的 16 个阶段或连接在数据中心网络上的两个加速器岛上进行分片时，也能够提供与 SPMD 情况相当的吞吐量。

    Mar, 2022

  • 基于复杂网络的患者路径建模与挖掘框架

    提出了一个基于多方面图的路径模型，一种考虑流逝时间的新的路径相似度度量，以及一种基于传统中心性度量的路径挖掘方法，通过评估妊娠和糖尿病的病例，展示了该框架在发现类似路径、易于解释的表示以及根据多方面视角突出显示最重要模式方面的实用性。

    Sep, 2023

  • 从过去学习，预测未来的统计数据，学习进化系统

    该论文将粗路径理论运用到流数据的非参数统计学研究中，通过对流的特征集进行分级，采用线性回归方法来描述自变量与因变量条件分布之间的功能关系，并实现了一定的降维。“粗路径” 法在统计学中具有显著的优势，能在计算成本较低的前提下达到与高斯过程（GP）法类似的预测精度。

    Sep, 2013

  • 深度神经网络中通路角色的理解

    通过分析经过训练的卷积神经网络（CNN），我们提出了一种算法来提取各个像素的扩散路径，以确定与目标类别相关联的输入图像中像素的位置，并且这种基于路径的表示在不同类别之间具有明显的区别。

    Feb, 2024

  • 高性能数据框架的并行处理模式深度分析

    本文介绍基于高性能计算的分布式 DataFrame 操作常见模式和成本模型，同时评估了 Cylon 在 ORNL Summit 超级计算机上的性能表现。

    Jul, 2023

  • 可解释预测患者路径的机器学习框架：以预测症状为脓毒症患者的 ICU 入院为例

    利用机器学习和可解释预测的方法，提供对因脓毒症症状患者的重症监护室 ICU 入院的能力，通过综合仪表盘显示患者的健康轨迹、预测结果和相关风险，提供了改进预测准确性和可解释且可操作的见解，成为危重患者医疗决策支持的有价值工具。

    May, 2024

  • 可组合 NLP 工作流的数据中心框架

    本文介绍了一个能够支持自然语言处理工作流的开源框架，该框架包含了一个统一的数据表示方法和一个包含处理器、可视化和注释的大型处理库，提供了简单组装和互操作性，并能够轻松扩展以接入其他自然语言和深度学习库。

    Mar, 2021

  • STREAMLINE: 一个简单、透明、端到端自动化机器学习管道，促进数据分析和算法比较

    STREAMLINE 是一个简单、透明、端到端的自动化机器学习 (pipeline)，旨在比较数据集、机器学习算法和其他 AutoML 工具的性能，在数据处理、模型比较方面提供一个全面和一致的基准。

    Jun, 2022

  • PathNet：进化引导梯度下降的超级神经网络

    PathNet 是一个神经网络算法，利用嵌入到神经网络中的代理，其任务是发现用于新任务的网络哪些部分可以重新使用以允许参数重用，以防止灾难性遗忘。我们证明了它在二进制 MNIST，CIFAR 和 SVHN 监督学习分类任务和一组 Atari 和 Labyrinth 强化学习任务上具有广泛适用性。

    Jan, 2017

  • 患者路径建模与挖掘：范围审视

    本综述旨在调查基于患者路径或轨迹的新型研究领域，重点关注路径的表示模型、挖掘技术、分析方法和案例研究，并讨论了采集大量患者的电子医疗数据的挑战。

    Jun, 2022