AAAIMay, 2020

HorovodRunner 启用的 Spark 集群上卷积神经网络和图卷积网络的基准测试

PDF
TL;DR本文首次展示了 Databricks 的 HorovodRunner 在 GPU 和 CPU 集群上对基于卷积神经网络（CNN）的任务具有显著的扩展效率提升，但并没有在原始 GCN 任务上实现相同的效果。此外，我们还首次在 HorovodRunner 中实现了修正的 Adam 优化算法。
distributed deep learninghorovodrunnergraph convolutional networkscaling efficiencyrectified adam optimizer
发现论文，激发创造
  • GRACE: 图形正则化注意卷积交捆绑与拉普拉斯平滑用于稳健的深度伪造视频检测

    通过引入基于图卷积网络和图拉普拉斯算子的方法，解决了 DeepFake 视频检测中面部图像误检和临时伪影的问题，并在具有噪声面部序列的情况下展现了最先进的性能。

    Jun, 2024

  • 大规模分布式深度学习的资源分配和工作负载调度研究

    大规模分布式深度学习中，资源分配和工作负载调度的高效策略是实现高性能深度学习的关键。本综述调查了 2019 年至 2024 年间关于大规模分布式深度学习的资源分配和工作负载调度策略的文献，并通过探索不同类型的资源、调度粒度和性能目标，以及实际案例研究为例，突出了每个主题的关键挑战和现有技术的重要见解，旨在鼓励计算机科学、人工智能和通信研究人员了解最新进展并探索大规模分布式深度学习的未来研究方向。

    Jun, 2024

  • 基于图卷积网络的竖直调整

    提出一种新颖的方法来进行 360 度图像的纠正调整，该方法包括卷积神经网络（CNN）和图卷积网络（GCN）两个模块，通过 CNN 处理输入的 360 度图像进行视觉特征提取，然后将提取的特征图转换成一个图形，从而找到了输入的球面表示。同时引入了一种新颖的损失函数来解决在球面上定义的离散概率分布问题。实验结果表明，该方法优于基于全连接的方法。

    Jun, 2024

  • 基于联邦动态平均的高效通信分布式深度学习

    由于数据的不断增长和去中心化特性，以及现代模型的不断增大，分布式深度学习 (Distributed Deep Learning, DDL) 已成为首选的训练范式。本文提出了一种名为联邦动态平均 (Federated Dynamic Averaging, FDA) 的通信高效的 DDL 策略，它根据模型方差的值动态触发同步，在广泛的学习任务实验中，我们证明 FDA 将通信成本减少了数个数量级，与传统和最新的通信高效算法相比。FDA 能在不牺牲收敛速度的情况下实现这一目标，这与该领域中的权衡相反。此外，我们还展示了 FDA 在多样的数据异质性设置中能够保持鲁棒性能。

    May, 2024

  • 辅助知识引导的自动多标签医学文档分类学习

    本文提出了一种新颖的 ICD 索引方法，采用多级深度扩张残余卷积编码器来聚合临床记录的信息，学习不同长度文本的文档表示；通过辅助医疗记录的医学知识，包括临床文本、临床编码术语和药物处方等，以更好地推断 ICD 代码；引入图卷积网络利用 ICD 代码的共现模式，提高标签表示质量。实验结果表明，所提出的方法在多项指标上达到了最先进的性能。

    May, 2024

  • DGCformer：多元时间序列预测的深度图聚类 Transformer

    该论文提出了一种深度图聚类变压器（DGCformer），用于多元时间序列预测。它通过图卷积网络和自编码器首先将相关变量进行分组，然后使用通道依赖策略处理每个变量组，而对不同组则使用通道独立策略。八个数据集上的广泛实验结果表明了我们方法相对于最先进模型的优越性，计算代码将在接受后公开。

    May, 2024

  • PLA-SGCN: 蛋白质 - 配体结合亲和力预测的相似对和半监督图卷积网络的整合

    本文提出了一种利用半监督图卷积网络（GCN）在蛋白质 - 配体亲和性（PLA）预测中整合了相似困难样本的方法，通过同时检索相似困难样本、学习蛋白质 - 配体描述符、学习输入样本的图拓扑结构以及使用半监督 GCN 进行任务预测，显著优于相似方法。

    May, 2024

  • 多通道时空变换器模型的交通流量预测

    提出了一个多通道时空变换模型用于交通流量预测，通过融合来自不同通道的交通数据结果，改善了预测准确性。该模型使用图卷积网络从每个通道提取空间特征，并使用基于变换器的体系结构捕捉通道之间的时间依赖性。在六个真实数据集上的实验证明，引入多通道机制到时间模型中提高了性能，并且在准确性方面优于现有模型。

    May, 2024

  • 使用自编码图卷积网络预测非均匀非结构化网格中的超音速流场

    该研究聚焦于解决非均匀非结构网格在计算流体力学中的挑战，通过利用图卷积网络和自编码图卷积网络结构生成降阶模型，有效提高了预测准确性和网络的能力。验证实验表明该方法在稳态分布量的精确重构方面可靠且具有多样性。

    May, 2024

  • 带遮挡的 3D 人体姿态估计：介绍 BlendMimic3D 数据集和 GCN 优化

    在 3D 人体姿势估计领域中，准确估计人体姿势，特别是在存在遮挡的情况下，是一个重要挑战。本研究通过填补当前 3D 人体姿势估计技术的不足之处，即缺乏处理遮挡数据和策略，引入了新颖的 BlendMimic3D 数据集，设计用于模拟真实世界中存在遮挡情况的场景，并与 3D 人体姿势估计算法无缝整合。此外，我们提出了一种使用图卷积网络（GCN）的 3D 姿势细化块，通过图模型改进姿势表示。这个 GCN 块作为一种即插即用的解决方案，可适应各种 3D 人体姿势估计框架，而无需重新训练它们。通过使用 BlendMimic3D 中的遮挡数据训练 GCN，我们证明了在解决遮挡姿势上取得了显著的改进，并且在非遮挡姿势上具有可比较的结果。该项目网页可在此 https URL 找到。

    Apr, 2024