Oct, 2023

PHYDI：使用参数化的超复杂神经网络初始化为恒等函数

PDF
TL;DR通过研究参数化超复数身份初始化方法，提出了改善参数化超复数神经网络 (PHNNs) 在不同规模下的收敛性能，减少迭代次数并提高鲁棒性的方法。
neural modelshypercomplex algebraparameterized hypercomplex neural networksconvergenceperformance
发现论文，激发创造
  • 探索超复数神经网络

    本文提出了内在可解释的 PHNNs 和矩形网络，并使用 PHB-cos 变换方法对参数化超复域进行解释。对超复型网络进行了深入分析，发现其倾向于将注意力集中在感兴趣的目标形状及其周围的形状上。

    Mar, 2024

  • 利用赝哈密顿神经网络学习偏微分方程

    本文将伪哈密顿神经网络方法扩展到偏微分方程，生成包含三个神经网络的模型，分别模拟代表守恒、耗散和外力的项，并包括可学习的离散卷积算子，数值结果表明 PHNN 的卓越性能。此外，由于 PHNN 模型由三个有不同物理解释的部分组成，反演时可以分别研究每个部分，具有良好的泛化能力。

    Apr, 2023

  • Phy-Taylor：基于物理模型的深度神经网络

    该论文提出了一个基于物理模型的深度神经网络框架（Phy-Taylor），该框架主要包括物理兼容神经网络（PhN）和物理引导神经网络编辑机制。PhN 通过引入泰勒级数展开的单项式，捕获物理相关的非线性，Phy-Taylor 具有较少的参数，加快训练过程，提供了更好的模型鲁棒性和准确性。

    Sep, 2022

  • 基于物理信息的图卷积网络：面向复杂几何结构的通用框架

    通过结合经典数值解法和物理感知框架的方法，本研究在三维非规则几何体上测试了基于图神经网络的解决偏微分方程问题的可行性。

    Oct, 2023

  • 基于超网络的元学习低秩物理知情神经网络

    通过提出一种轻量级低秩 PINN 和相关的超网络元学习算法，本研究有效地解决了在各种工程和应用科学应用中需要对多个输入参数进行重复数值模拟的问题，并展示了该方法在克服 PINN 的 “失败模式” 方面的有效性。

    Oct, 2023

  • 使用物理感知神经网络解决反问题偏微分方程

    本文提出了一种新型的混合反向问题复合框架，将深度神经网络的高表现力与现有偏微分方程数值算法相结合，通过语义自编码器的自定义层，将计算数学、机器学习和模式识别技术融合在一起，实现了域特定知识和物理约束的综合应用，解决了大量数据中的未知字段这个问题，称之为混合反向 PDE 网络 (BiPDE 网络)，并在一维和二维空间中的泊松问题中，以及一维的时间依赖和非线性 Burgers 方程中，应用和证明了其可行性和噪声鲁棒性。

    Jan, 2020

  • 带有隐藏层级连接的物理启发神经网络的 PDE 近似的误差分析与数值算法

    通过隐藏层级连接的物理信息神经网络方法，结合了隐藏层级连接的前馈神经网络、改进的时间步进策略和逼近偏微分方程的物理信息方法。我们分析了该方法在两种类型的偏微分方程（抛物型和双曲型）中的收敛性和误差限定，并展示了通过长时间段的动态模拟来有效控制其解的逼近误差。该方法原则上允许两个或更多个隐藏层级，并且在第二个隐藏层级之后，可以使用任意常用的平滑激活函数。基于所提出的算法，我们提出了适用于这些偏微分方程的适当训练损失函数，这使得我们的方法与标准的物理信息神经网络（PINN）形式有所不同。通过大量的数值实验证实了该方法的有效性，并验证了理论分析中的某些方面。

    Jun, 2024

  • 基于物理信息的无网格深度组合算子网络

    参数化偏微分方程、神经算子、物理信息训练、不规则域形状和可变网格尺寸的研究

    Apr, 2024

  • 半结构化网络性能改进的新 PHO 公式

    本文提出了后处理正交化（PHO）技术，确保半结构化神经网络中不同模型组件的可识别性，提高了该网络的估计和预测质量，实验证明其在 COVID-19 感染情况方面有效。

    Jun, 2023

  • 朝向高效的光子超维计算

    近年来，硅光子学计算作为深度神经网络（DNN）的一种有希望的替代方案崭露头角。本文提出了 PhotoHDC，这是第一个用于 HDC 训练和推断的电光子加速器，支持基本的、记录的和图形编码方案，并通过评估常见数据集显示，我们的加速器在实现 HDC 训练和推断方面可以达到比最先进的电光子 DNN 加速器低两到五个数量级的能量延时积，而且还比基于 CiM 的加速器低四个数量级的能量延时积。

    Nov, 2023