电压驱动的硬件信念网络组件
Moore's Law slowdown necessitates scalable and energy-efficient hardware for AI algorithms, with probabilistic computing and spintronic devices showing promise in designing integrated p-computers for the emerging field of machine learning and quantum physics.
Oct, 2023
本文提出了一种异构计算器,该计算器将基于随机磁隧道结的概率位(p-bits)与现有的 CMOS 技术相结合,恰当的设计提高了概率计算的能效,提供了比仿真高质量的随机比特。
Apr, 2023
通过提出一种基于二进制值的神经网络训练方法 (BNN),实现了通过基本的比特逻辑实现神经网络的前向传递。在资源受限的环境中,BNN 可以取代浮点数运算,减少存储空间占用、内存带宽、以及硬件能耗。同时,我们提出了权重压缩和噪声反向传播等训练技术,生成功能基本与实数网络相当的 BNN。通过在 MNIST 数据集上进行实验,我们证明了 BNN 表现出竞争性的性能并节省大量计算资源。
Jan, 2016
通过使用二次幂量化和基于位移乘累加运算代替传统的乘累加运算,以及基于对数量化的新型剪枝方法,本文在基于 Zynq UltraScale + MPSoC ZCU104 SoC FPGA 的硬件神经网络加速器中实现了 Power-of-Two (PoT) 权重,实现了至少 $1.4x$ 的能效提升。
Sep, 2022
本研究提出了一种新的方法,利用概率电路模型(如 Sum Product Networks)的可处理性,在一定类型的密度函数下,计算 ELBO 梯度的情况下,不需要采样即可精确计算。该方法在三种类型的图形模型上展示了其可行性,并证明了概率电路是离散图形模型的变分推断的有前途的工具,因为它们结合了可处理性和表达性。
Oct, 2020
本文研究和探讨了和 Sum-Product Networks 有关的 Bayesian Networks 的理论联系,并给出了使用 Algebraic Decision Diagrams 来表示和转换 SPN 为 BN 的一个线性时间和空间复杂度的算法。同时,用 Variable Elimination 算法来恢复原始的 SPN,并且介绍了 SPN 的深度和对应的 BN 树宽的下界之间的联系。
Jan, 2015
本文介绍了物理学知识导向符号网络(PISN),并提出了多层符号网络,以解决部分微分方程。我们还提出了物理学知识导向神经符号网络(PINSN),在符号网络残差的模拟中使用了多层感知器,PINSNs 在性能上优于标准 PINN。
Jul, 2022
该论文提出了一种基于 Markov Logic Network 和知识图谱嵌入方法的概率逻辑神经网络 (pLogicNet) 来推理缺失的三元组,该方法结合了两种技术的优点,并通过多重知识图实验证明了其优越性。
Jun, 2019
提出了一种新型深层架构 —— 求和积网络(SPN),通过学习和推理,SPNs 能够实现比标准深层网络更快和更准确的图形建模推理,例如在图像完成任务方面表现优异。
Feb, 2012