本篇论文介绍了可微编程的概念,研究如何将张量网络算法编程为可完全微分,提出了稳定的张量分解自动微分方法和通过迭代固定点实现反向传播的技术,应用于 Ising 模型和 Heisenberg 模型,取得了较好的优化效果。
Mar, 2019
这篇论文介绍了一种 Differentiable Programming 系统 Zygote,能够从一般的程序结构中获取梯度,该系统支持控制流、递归、突变等几乎所有语言构造,并支持各种高级自动微分技术,可以在不需要任何用户干预或重构来分阶段执行计算的情况下编译高性能代码,从而使得我们能够在深度学习模型中简单地集成一个大的库生态系统。
Jul, 2019
Spin 是一种 GPU 加速的多方计算 (MPC) 框架,支持多个计算方和一个不诚实的多数敌对设置。该框架提出了针对非线性函数的优化协议,以及用于注意力的几种新颖优化,允许 Spin 在不牺牲安全性的情况下执行复杂的 CNN 训练和 Transformer 推断。综合评估表明,Spin 在深度神经网络训练方面比现有技术快 2 倍。对于一个具有 1890 万参数的 Transformer 模型的推断,Spin 的注意力特定优化可实现更好的效率、更少的通信和更高的准确性。
Feb, 2024
金属自旋玻璃体系的动力学模拟中,利用可扩展的机器学习框架通过预测驱动自旋动力学的电子诱导的局部磁场,发展了一种根据局部磁性环境进行磁性描述的神经网络模型,该模型具有很高的精确性和高效性,并应用于具有淬灭随机性质的杂乱非晶常规 s-d 模型的弛豫动力学研究,展示了机器学习模型在大规模动力学建模中对游离磁体的有希望的潜力。
Nov, 2023
DiffTaichi 是一种新的可微编程语言,专为构建高性能的可微物理模拟器而设计,演示了它在 10 个不同物理模拟器的梯度学习和优化任务中的性能和生产力,可以用于优化神经网络控制器。
Oct, 2019
通过引入基于 SPINNs 的方法解决 Boltzmann 方程的 BGK 模型,以改善积分计算和近似粒子密度函数的困难,提高了计算物理中复杂挑战的处理效率和准确性。
Mar, 2024
基于可分离物理信息神经网络(SPINN)和深度能量方法(DEM)解决弹性问题的方法具有较高的收敛速度和准确性,并且能够应用于复杂几何体的线性弹性理论问题。
Jan, 2024
通过图神经网络建模邻近原子间的角度信息,解决能量泛函理论在结构松弛和分子动力学等领域中的角度建模挑战,从而实现计算模拟在实际问题中的显著提速和突破。
Jun, 2021
基于径向基函数的通用无网格可微分偏微分方程求解器对 DAL、PINN 和 DP 进行了全面比较,并发现 DP 在 Laplace 和 Navier-Stokes 方程下具有极高的效果,产生最精确的梯度,即使 DAL 失败和 PINN 困难时也能正常工作。此外,我们提供了详细的基准测试,突出了这些方法可以高效使用的有限条件。我们的工作为最优控制从业者提供了指南,并进一步将他们与深度学习社区联系起来。
Oct, 2023
本文通过 Ising 模型描述 40 个神经元之间的相关触发活动,发现神经元之间的配对相互作用影响高阶相关性;作者构建神经网络的基础上,增加规模进一步研究其热力学特性和编码能力,并对 2 种与神经编码相关的现象进行深入研究。
Dec, 2009