May, 2024

求解带有神经网络的偏微分方程过程中的损失跃迁

TL;DR通过研究不同损失函数对神经网络解决偏微分方程的训练的影响,我们发现从数据损失到模型损失切换时会出现稳定的损失跃变现象, 进一步实验证明这一现象源于神经网络在不同损失函数下的频率偏好,这为研究神经网络在解决偏微分方程时的内在机制提供了有价值的视角。