May, 2024

训练灰盒深层光子神经网络的非对称估计器

PDF
TL;DR物理神经网络（PNN）作为神经网络加速的新范式，由于其高带宽、传播中的模拟处理等特点而备受关注。然而，尽管 PNN 在推理方面具有优势，但训练仍然面临挑战。为了克服这个问题，我们提出了一种称为 “不对称训练（AT）” 的方法，该方法将 PNN 结构作为一个灰盒子进行处理。通过实验证明，在未校准的光子集成电路（PIC）实现的深度灰盒 PNN 上使用 AT 方法能够将 Iris 花和修改后的 MNIST 手写数字的分类准确性从随机猜测提高到接近理论最大值，并在 MNIST、fashion-MNIST 和 Kuzushiji-MNIST 等不同数据集上展示了 AT 相对于 BP 的持续提升性能。AT 方法成功进行训练的同时，硬件开销较小，计算开销降低，是一种强大的轻量级训练替代方法，能够充分发挥物理计算的优势。
physical neural networksasymmetrical trainingneural network accelerationgrey-box pnnstraining alternative
发现论文，激发创造
  • 光子神经网络的双重自适应训练

    提出了双自适应训练 (DAT) 方法，通过引入系统误差预测网络以及任务相似性联合优化，使光子神经网络 (PNN) 适应大规模系统误差，实现高精度梯度计算，从而在物理系统中实现 PNN 数值模型和物理系统的高相似性映射，成功地使 PNN 在物理系统中保持与无误差系统相当的分类准确率，并表现出优于现有在场训练方法的出色性能。

    Dec, 2022

  • 物理神经网络训练

    物理神经网络（PNN）是一种利用物理系统特性进行计算的类神经网络，其有潜力在现代人工智能领域引发革新，尤其在训练大规模的 AI 模型以及探索新的训练技术方面尤为重要。

    Jun, 2024

  • 物理约束神经网络的对抗训练

    基于梯度下降对抗攻击，本文提出了一种适用于物理知识的神经网络（PINNs）的对抗训练策略，称为 AT-PINNs，通过对抗样本微调模型，从而提高了 PINNs 的鲁棒性，准确识别模型失败区域，并在训练过程中使模型关注这些区域。AT-PINNs 还能通过选择初始值周围的对应点进行推理，从而执行具有时间因果关系的推理。实验结果表明，AT-PINNs 能够有效地定位和减少失败区域，且适用于解决复杂的偏微分方程，因为通过对抗攻击定位失败区域与失败区域的大小或分布的复杂程度无关。

    Oct, 2023

  • 通过原位反向传播训练光子神经网络

    本文提出了一种新的方法，使用伴随变量方法导出光子反向传播算法的光学模拟，并通过在设备内进行强度测量来准确获得这些梯度，从而大大提高了光学神经网络的训练效率。

    May, 2018

  • 无需反向传播的深度物理神经网络训练

    实现了使用生物可行的学习算法训练深度物理神经网络的简单深度神经网络结构，以提高训练速度，减少数字计算和降低物理系统的能量消耗。

    Apr, 2023

  • QuATON：光神经元的量化感知训练

    光学神经架构（ONA）使用具有优化的物理参数的编码元素进行智能测量，提出了一种物理信息量化感知训练框架，该方法在训练过程中考虑了物理约束，导致了稳健的设计。在不同量化水平和数据集上进行了大量实验，表明我们的方法导致了对量化噪声稳健的 ONA 设计。

    Oct, 2023

  • 建模科学机器学习中的随机不确定性的概率神经网络 (PNNs)

    本研究调查了使用概率神经网络（PNN）来建模巧合不确定性的方法，PNN 生成目标变量的概率分布，能够在回归场景中确定预测均值和区间，实验证实了 PNN 在建模巧合不确定性方面的有效性，特别是在真实科学机器学习环境中，PNN 产生接近 0.97 的高精度输出均值估计和 0.80 的预测区间的高相关系数，为利用神经网络的复杂表示能力来揭示科学问题中的复杂输入输出关系的持续探索做出了贡献。

    Feb, 2024

  • 光谱视角理解和提高对抗鲁棒性

    本研究从频谱的角度探讨对抗性训练机制（AT），展示在低频区保留偏向形状的表示能够提高深度神经网络（DNNs）的鲁棒性，并提出了一种名称为 “频谱对齐正则化”（SAR）的训练方法，在多个数据集和攻击下显著提高 DNNs 的鲁棒准确性。

    Jun, 2023

  • 利用软注意力机制的自适应物理知识神经网络

    本文提出了一种名为 SA-PINNs 的自适应训练方法，通过使用可训练的自适应权重和基于高斯过程回归的连续权重映射，使神经网络学习重点区域并获得了很好的性能，在多项线性和非线性基准测试问题中表现出色，是当前最先进的 PINN 算法之一。

    Sep, 2020

  • PNN：从近端算法到鲁棒展开图像去噪网络和即插即用方法

    在这篇文章中，我们提出了一个统一的框架来构建用于高斯降噪任务的近端神经网络（PNNs），该框架基于双重 - 投影算法和原 - 对偶 Chambolle-Pock 算法。我们还展示了这些算法的加速惯性版本如何在关联的神经网络层中实现跳跃连接。我们为 PNN 框架提供了不同的学习策略，并研究了它们的鲁棒性（利普希茨性质）和降噪效率。最后，我们评估了将我们的 PNNs 插入图像去模糊问题的前向 - 后向算法时的鲁棒性。

    Aug, 2023