Jan, 2024
一种新的神经计算范式：具有可学习神经元和适应结构的 X-Net
A Novel Paradigm for Neural Computation: X-Net with Learnable Neurons and Adaptable Structure
Yanjie Li, Weijun Li, Lina Yu, Min Wu, Jinyi Liu...
TL;DR本研究提出了一种名为 X-Net 的新型神经网络，通过使用交替反向传播机制，在训练过程中根据导数信息动态选择适当的激活函数，增强网络对特定任务的表示能力。同时，在神经元级别准确调整网络结构以适应不同复杂度的任务和减少计算成本。通过一系列实验，我们展示了 X-Net 在减小模型大小和提高表示能力方面的双重优势。具体而言，就参数数量而言，X-Net 的平均值仅为基准的 3％，某些任务下仅为 1.4％。在表示能力方面，仅通过优化激活函数而不引入任何参数，X-Net 在拟合任务上可以实现平均 R^2=0.985。最后，我们还测试了 X-Net 在社会、能源、环境和航空航天等多个学科的数据上帮助科学发现的能力，并取得了简洁而优异的结果。