基于抵抗性存储器的得分型扩散模型神经微分方程求解器
我们提出了一种软硬件协同优化的系统方法,用于从稀疏输入中进行信号重建,软件层面上使用神经场通过神经网络隐式表示信号,并使用低秩分解和结构化剪枝进一步压缩;硬件层面上,设计了一种基于可变电阻存储器的计算内存(CIM)平台,其中包括高斯编码器(GE)和多层感知器处理引擎(PE)。此工作推进了以人工智能为驱动的信号恢复技术,并为未来高效稳健的医疗人工智能和三维视觉应用铺平了道路。
Apr, 2024
通过引入一个差分方程解为数字孪生体,本研究实现了捕捉连续时间动态并利用无限深度模型对复杂系统建模的能力,并通过模拟实验证明了其在速度和能效方面相对于传统数字方法的显著性能提升,从而加快了数字孪生体的发展速度,为工业 4.0 的需求提供了高效快速的解决方案。
Jun, 2024
介绍了一种在内存计算硬件上训练 ResNet 类型卷积神经网络的方法,并提出了一种基于批标准化参数的补偿技术,可以在映射到 PCM 后实现分类精度高达 93.7% 的 CIFAR-10 数据集和 71.6% 的 ImageNet 基准测试的 top-1 精度。
Jun, 2019
通过提取环境信息的主要特征并将相关编码刺激应用于忆阻器,我们成功地在处理非结构化环境信息方面获得了类人的能力,比如机械刺激的放大(>720%)和适应性(<50%)。这种方法还在智能机器的两个典型应用(物体抓取和自动驾驶)中展示了良好的可扩展性和泛化性能。
Sep, 2023
为了能够实现高效能的人工智能系统,电阻网络作为传统基于 GPU 的神经网络的替代方法备受关注。这些网络利用电路的物理性质进行推理,并可以通过平衡传播等本地训练技术进行优化。尽管电阻网络在功耗方面具有潜在优势,但高效模拟这些网络的挑战一直是评估其可扩展性的重要瓶颈。我们提出了一种基于理想电路元件的非线性电阻网络模拟方法,将其构建为带有线性不等式约束的二次规划问题,并使用快速、准确的坐标下降算法进行求解。我们的模拟方法在性能上远远超过现有基于 SPICE 的模拟方法,使得可以进行规模更大、速度更快的网络训练,网络尺寸与时代持续时间的比值提高了 50,000 倍。我们的方法可适用于其他电气元件,有望在非线性电路网络模拟方面推动更快的进展。
Feb, 2024
本文提出了一种基于随机微分方程的得分模型生成方法,通过缓慢注入噪声将复杂数据分布平滑地转换为已知的先验分布,并通过缓慢地消除噪声将先验分布转换回数据分布,同时利用基于神经网络的得分生成建模技术可以精确估计这些得分,并使用数值微分方程求解器生成样本。
Nov, 2020
近期,关于储层计算的研究取得了重大突破,需要具有能够实现储层物理实现的动力学的模拟装置,以实现更快的信息处理速度、更低的能量消耗和较小的面积占用。通过电压相关动态的离子通道基础箱体,我们展示了只需一次数据编码并通过一个包含具有不同动力学特性的多个箱体的储层层的数据输入方法的可行性,并通过实验证明了这种方法的预测和分类准确率高于传统方法。
Oct, 2023
这项研究将能量模型和 Hopfield 网络的理论神经科学相结合,表明可以将离散模式的生成扩散模型训练解释为将 Hopfield 网络的关联动态编码到深度神经网络的权重结构中,实验证明连续 Hopfield 网络的存储容量与扩散模型的容量相同,为记忆的理论神经科学和生成模型建立了强大的计算基础。
Sep, 2023
本研究将学习规则和神经 ODE 相结合,构建了连续时间序列处理网络,学习如何在其他网络的快速变化的突触连接中操作短期记忆,这产生了快速权重程序员和线性变压器的连续时间对应物。该模型在各种时间序列分类任务中优于现有的神经控制微分方程模型,同时也解决了它们的根本可扩展性限制。
Jun, 2022