可解释的增量式随机权重神经网络构建算法及其应用
提出了一种基于神经网络积分表示的非参数概率分布初始化方法，该方法通过从分布中抽取样本来初始化隐藏参数，并进行普通线性回归拟合输出参数。 数值实验表明，使用该方法进行反向传播比均匀随机初始化更快地收敛。 在某些情况下，该方法可以单独实现足够的准确性而不需要反向传播。
Dec, 2013
本文回顾了最近一系列训练超参数神经网络和学习随机特征的实证结果及其限制性说明，论述了神经网络的理论困境并对其表现出的令人印象深刻的经验结果提出了仍需克服的挑战。
Apr, 2019
本文提出了一种基于深度神经网络模型参数空间局部几何性质的解释性方法——几何引导的积分梯度法，在主观和量化评价方面表现优于传统的积分梯度法和总体梯度法，并提出了“模型扰动”的健全性检查，以补充传统的“模型随机化”测试。
Jun, 2022
输入凸性神经网络（ICNN）是能够保证输入-输出映射凸性的网络。本文通过对非负权重层的信号传播研究，推导出一种基于原理的ICNN权重初始化方法，实验证明这种初始方法有效加速了ICNN的学习和提高了泛化性能。此外，ICNN还被应用于药物发现任务，可以更有效地进行分子潜在空间的探索。
Dec, 2023
这篇论文提出了权重增强策略(WAS)，通过随机变换权重系数训练和转换后的系数(SW)来影响参数更新，使网络具有高鲁棒性和准确性，适用于各种深度学习网络模型，并且实验证明其在各种网络上的效果都非常好。
May, 2024
参数化神经网络权重的准确性和参数效率之间的基本权衡被研究，表明通过仅使用权重重构目标可以有效地实现恢复原始模型的准确性。此外，通过探索提高权重重构在参数效率约束下的潜在因素，提出了一种新的训练方案，将重构目标与知识蒸馏等辅助目标分离，相对于最先进的方法取得了显著的改进。最后，这些结果为更实际的场景铺平道路，其中需要同时改进模型准确性和预测网络参数效率。
Jun, 2024
本研究解决了随机特征映射中内部权重选择对预测准确性的影响这一问题。我们提出了一种计算便宜的随机抽样算法来选择适合的内部权重，以提高动态系统的预测能力。结果表明，好的特征数量是影响预测性能的主要因素，随机特征映射在计算成本低的情况下展现出优越的预测能力。
Aug, 2024
本研究针对神经网络权重矩阵的优化问题，提出了一种称为权重调节的新型归一化技术，旨在缩小权重矩阵最小和最大奇异值之间的差距，从而提高矩阵的条件性。研究表明，所提方法能平滑损失景观，增强随机梯度下降算法的收敛性，并且在多种神经网络架构中表现出色，超越了现有的权重归一化技术。
Sep, 2024
本研究针对限制玻尔兹曼机（RBM）缺乏有效的无数据集权重初始化方法这一问题，提出了一种基于统计力学分析的权重初始化方法。该方法通过优化高斯分布的标准差，以提高两层之间的相关性，从而提升学习效率，具有良好的理论基础和实际应用价值。
Sep, 2024