- 了解机器学习训练集中无损压缩的有效性
对机器学习和人工智能在高性能计算中的应用,数据压缩对模型质量的影响以及现代有损压缩方法的优势进行了系统评估,指出了指导将来使用和设计有损压缩器的关键见解。
- 用深度学习解决 Boltzmann 优化问题
高性能计算的效率提升趋于尽头,传统的 CMOS 技术面临物理极限,Miniaturization 无法继续进行;以 Ising 模型为基础的计算系统能够接近热力学极限下的能耗,同时兼具逻辑和存储功能,潜在降低 CMOS 计算中昂贵的数据迁移 - ICML一种基于图的性能分析新型表示学习技术
将表格形式的性能数据转换为图形,利用图神经网络方法捕捉特征和样本之间复杂的关系,以提高回归任务的性能分析领域中的预测模型的性能。
- MLCommons 云层蒙版基准测试与提前停止
MLCommons 科学工作组提交了关于云掩膜基准测试的研究报告,其中包括对基准试验进行了早停机制的改进,并在 NYU HPC 上获得了最高的准确度和平均训练与推断时间。
- 使用高性能计算和量子退火预测深度学习模型的超参数优化性能
利用模型性能预测与提前停止方法相结合,加速深度学习模型的超参数优化过程,通过 Swift-Hyperband 算法在高性能计算环境中测试,发现它在高能物理、计算机视觉和自然语言处理等领域的各种目标模型中找到相当好的超参数,且使用较少的计算资 - 利用蝴蝶分解减少 IPU 的内存需求
高性能计算从硬件平台的不断改进中受益,在保持合理功耗的同时提供更多的处理能力。智能处理单元(IPU)是一种新型的大规模并行处理器,旨在加速具有大量处理核心和高速内存组件的并行计算。本文研究了如何在 IPU 上实现蝶形结构,并研究了它们与 G - HPC 系统中的在线作业失败预测
通过使用机器学习算法和自然语言处理工具,在高性能计算系统的工作负载层面预测作业失败,以优化系统管理。
- 在 CPU 体系结构上通过高级循环和张量抽象利用深度学习和 HPC 核心技术
该研究提出了一种用于开发高效、可移植的深度学习和高性能计算内核的框架,通过使用 Tensor Processing Primitives (TPPs) 表达计算核心,并通过简单的旋钮确定精确的实例化,我们在不同的 CPU 平台上展示了单独的 - SAIH: 高性能计算系统中理解 AI 性能趋势的可扩展评估方法
提出了一种可扩展的评估方法(SAIH),用于分析精通于高性能计算系统上的人工智能性能趋势,通过扩大自定义应用程序的问题规模进行评估,从而进一步诊断系统瓶颈。
- Dropout 对抗梯度泄漏
本文提出了在分类器前使用额外的 dropout 层的方法来防止原始数据泄露,以解决在 federal learning 和机器学习中的潜在问题。
- MMHPC 中的光子协处理器:使用 LightOn OPUs 进行随机数值线性代数计算
使用 LightOn Optical Processing Units 实现随机化降维可显著加速 Randomized Numerical Linear Algebra,例如 RandSVD 或 trace estimators,并且精度损 - MM人工智能、量子和高性能计算的基础设施
本文主要探讨了高性能计算、人工智能 / 机器学习和量子计算以及通信对于计算机科学研究领域的创新和影响,并指出在支持计算机科学研究方面需要更全面的计算基础设施,包括商业云计算和量子计算等新的计算方法。
- 分析高性能计算技术支持工单:经验与建议
本文研究了洛斯阿拉莫斯国家实验室的 HPC 用户支持系统,并开发了自动化工具来协助解决用户问题和跟踪问题趋势,包括自动分类和建议相似问题。此外提出了改进系统的建议。
- MM序列到序列模型用于工作量干扰
本文提出了一种基于长短时记忆神经网络的序列到序列模型的方法,用于预测共同执行作业的足迹对资源的使用情况和执行时间的变化,并在高性能计算基准测试中进行了验证,表明该模型能够正确地识别以前看到和未看到的共同调度作业的资源使用趋势。
- NIPS递归、概率、卷积和分类计算
本文主要探讨了可伸缩的计算结构方法,特别是针对大规模的关系计算、数学计算和图计算。文章提出了使用人工智能 / 机器学习中诸如贝叶斯网络(BN)和卷积神经网络(CNN)等强大的计算表达形式来翻译计算的解决方案,从而重构和并行化计算,以达到高性