computational graph | BriefGPT

关键词computational graph

搜索结果 - 10

视觉电路的自动发现
基于视觉概念的神经元激活依赖和功能连接，我们提出了一种新的方法来提取深度视觉模型计算图的子图，从而防御大规模预训练模型的对抗攻击。
PDF2 months ago
自动微分实施的逐步介绍
自动微分是深度学习中的关键组成部分，本文通过逐步引入一个简单的自动微分系统的实现，弥补了现有系统的复杂性和教学上的不足，使整个设置显得非常自然。
PDF4 months ago
一种自动求导的 Voronoi 图剖分方法
在本文中，我们介绍了自动微分的一种方法来构建二维 Voronoi 图，并实现了端到端的微分，从而解决了在优化任务中 Voronoi 图的不可微分性问题，同时展示了其在几个重要应用中的实现细节和优势。
PDF6 months ago
深度神经网络中计算图的高效可视化简化
提出了使用可视化简化技术的交互式可视化系统，并将其集成到开源的 DNN 可视化工具包 MindInsight 中，以帮助减少计算图的元素，增强识别和诊断 DNN 模型的性能。
PDF2 years ago
ICML比 Hessian 积分计算更快的 Newton 步骤计算
本文提出了一种新的算法，通过计算函数的计算图，可以将计算 Newton 步骤的时间复杂度从 $O (N^3)$ 降至 $O (m\tau^3)$，并将非线性最优控制方法推广到一般优化问题，并在 Hessian 矩阵密集的情况下提供非平凡的迭
PDF3 years ago
连续深度神经网络
通过将连续动力学系统嵌入高阶数值积分方案中，我们构造了一种连续的深度神经网络框架 ——ContinuousNet，其具有与时间步长大小无关的层次独立性和增量深度训练方法，实现了在保持准确性的同时加快推断速度。
PDF4 years ago
ICMLRicciNets: 利用 Ricci Flow 进行曲率引导修剪的高性能神经网络
提出了一种在训练之前识别随机连接神经网络中显著计算路径的新方法，该计算图根据本地图测量定义的节点质量概率函数进行修剪，并由基于强化学习的控制神经网络产生的超参数进行加权。使用 Ricci 曲率的定义来删除低重要性的边。该方法显示出几乎 35
PDF4 years ago
MMTFLMS：TensorFlow 中的图重写大模型支持
本研究提出了一种解决深层神经网络在内存不足的情况下训练的方法，通过在计算图中插入 swap-out 和 swap-in 操作暂时将中间结果存储到 CPU 内存中，实现了较大规模深层神经网络的训练，并通过 TFLMS 模块发布到 Tensor
PDF6 years ago
AAAIDLPaper2Code: 深度学习研究论文代码自动生成
提出了一种新颖的可扩展方法 DLPaper2Code，用于提取和理解研究论文中可用的深度学习设计流程图和表格，并将其转换为抽象的计算图，最终实时转换为 Keras 和 Caffe 的执行源代码，同时生成的设计可以通过直观的拖放 UI 框架进
PDF7 years ago
ICML通过反向传播曲率估计黑塞矩阵
本文提出了一种称为 “曲率传播” 技术的方法，用于高效计算由计算图计算的任何函数的海森矩阵的无偏估计，并在神经网络和 Score Matching 任务上进行了实验证明了该方法的有效性。
PDF12 years ago