tensor programs | BriefGPT - AI 论文速递

关键词tensor programs

搜索结果 - 9

张量程序的多级超优化器
Mirage 是首个多级超优化程序，通过引入一种称为 μGraphs 的统一表示方法，在 GPU 计算层次结构的内核、线程块和线程级别上对张量程序进行优化，包括代数转换、调度转换和生成新的自定义内核的新颖优化技术。通过抽象的剪枝技术和概率等
PDF2 months ago
CDMPP：一种适用于张量程序的设备模型无关框架的延迟预测
我们提出了 CDMPP：一种用于跨模型和跨设备预测的高效张量程序延迟预测框架，它通过紧凑的 AST 表示和基于预排序的位置编码方法来捕获张量程序的内部结构，通过领域适应启发式方法学习领域不变表示，并设计了基于 KMeans 的采样算法来支持
PDF8 months ago
ICLR张量程序 IVb：无限宽度极限下的自适应优化
超越随机梯度下降（SGD），在 Adam 等自适应优化器训练的宽神经网络中出现了哪些新现象？我们展示了：与 SGD 中相同的特征学习和核行为二分法同样适用于各种优化器，包括 Adam—— 尽管使用了非线性的 “核” 概念。我们推导出了相应的
PDFa year ago
Hidet: 深度学习张量程序的任务映射编程范式
提出一种称为 “任务映射编程范式” 的新方法，用于嵌入调度过程并使用专用映射来定义计算分配和排序，从而在深度学习编译器 Hidet 中实现了更丰富的表达能力和自动化的优化，优于 ONNX Runtime 和 TVM 等其他工具
PDF2 years ago
ICMLTensor Programs IIb: 神经切向核训练动态的架构通用性
通过 Tensor Programs 技术在 Tensor Program 中分析的 SGD 动态，我们证明了使用 NTK 参数化的相同神经网络在训练期间遵循功能空间中的内核梯度下降动态，其中内核是无穷宽度 NTK，从而完整证明了 NTK
PDF3 years ago
ICML无限宽神经网络中的特征学习
研究表明，标准和 NTK 参数化的神经网络不能学习特征，这对于预训练和转移学习至关重要。通过修改标准参数化，使用 Tensor Programs 技术，我们计算了神经网络的极限，并发现其表现优于 NTK 基线和有限宽网络。
PDF4 years ago
张量程序 II：任意结构神经切向核
本文证明了任何结构的随机初始化神经网络在网络宽度趋于无穷大时，都会使其 Tangent Kerne（NTK）收敛于确定性极限，并介绍了如何计算此极限。文章还提到了梯度独立假设（GIA）的常见满足条件 ——Simple GIA Check，并
PDF4 years ago
Ansor：为深度学习生成高性能的张量程序
通过 Ansor 生成高性能的张量程序，可以在使用 Intel CPU、ARM CPU 和 NVIDIA GPU 的深度神经网络上获得高达分别为 3.8 倍、2.6 倍和 1.7 倍的执行性能改进。
PDF4 years ago
学习优化张量程序
该论文介绍了一个基于深度学习工作负载的张量程序优化学习框架，其通过学习领域特定的统计成本模型来引导张量操作实现的搜索，进而加速搜索，实现性能与手动调整的图书馆竞争力相当。
PDF6 years ago