- 初始化对 LoRA 微调动态的影响
该篇论文研究了初始化在低秩适应（LoRA）中的作用，结果显示将 B 初始化为零且将 A 初始化为随机可以比其他方案获得更好的性能。
- 基于领域分解的初始化增强物理信息神经网络
我们提出了一种基于初始化和域分解的新型物理感知神经网络框架 IDPINN，以提高预测精度。我们使用小型数据集训练了一个 PINN，生成了初始的网络结构，包括加权矩阵和偏置，来为每个子域初始化 PINN。此外，我们利用界面上的平滑条件来增强预 - 解开样本大小和初始效果对单神经元目标完美泛化的影响
过参数化模型，如深度神经网络，具有通过较少的采样数据点恢复目标函数的有趣能力。本研究集中研究了单神经元目标恢复场景，并系统地考察了初始化和样本大小对双层神经网络性能的影响。我们的实验证明，更小的初始化尺度与改善泛化有关，并确定了一个关键数量 - 基于离散余弦变换的去相关注意力视觉转换
Transformer 架构的关键是自注意机制，本文提出两种方法，一种是利用 DCT 系数进行初始化来增强辨别能力，另一种是基于 DCT 的压缩技术来减少计算开销。
- 大规模 $μ$ 转让的探索
大型神经网络模型的初始化和学习速率通常基于启发式方法，本研究通过对普遍存在的 Transformer 架构进行实证研究，探究 µP（µ-Parameterization）是否在实践中能够提供最佳的学习速率，并发现在大多数重要情况下 µ-Tr - CVPR从激活到初始化：优化神经场的扩展洞见
深入研究网络初始化和激活之间的复杂相互作用，为神经场的鲁棒优化提供了基础，强调了在设计尖端神经场时需要采用整体方法。
- 彩票票假设与迭代剪枝的深入洞察
深度神经网络的票证彩票假设强调了重新训练使用迭代幅度修剪过程获得的更稀疏网络所使用的初始化的重要性。这项研究试图通过对幅度修剪过程的各个阶段获得的解决方案的体积 / 几何和损失景观特征进行经验性研究，以揭示票证彩票假设的特定初始化为何在泛化 - 放宽三维高斯平铺的准确初始化约束
通过分析频域中的结构化运动初始化和多个一维高斯回归任务的分析，我们提出了一种名为 RAIN-GS（放松 3D 高斯点云精确初始化约束）的新优化策略，成功地从随机点云训练 3D 高斯效果，并通过多个数据集进行定量和定性比较，大幅提高了在所有设 - 个性化文本图像生成的交叉初始化
通过初始化方法的研究，我们提出了一种称为 Cross Initialization 的新型初始化方法，它明显缩小了初始嵌入和学习嵌入之间的差距，通过与正则化项相结合，有效提高了可编辑性，并在编辑人脸表情方面取得了成功，同时实现了较快的图像捕 - 对抗迁移学习中的初始化问题
在这项研究中，我们深入研究了迁移学习中的对抗鲁棒性，并揭示了初始化的关键作用，包括预训练模型和线性头部。我们发现对抗鲁棒的预训练模型的必要性，并通过线性探测发现它能在某些数据集上优于全面微调和其他方法。基于此，我们提出了 Robust Li - 特征模仿的广泛影响：在金融、语音和生理领域的神经增强
神经网络权重的初始化在决定其性能方面起着关键作用。特征模仿网络（FINs）通过将权重初始化为逼近特定的闭式统计特征，为深度学习架构奠定了有希望的基础。本研究将 FINs 的适用性扩展到其他时间序列数据集，并在比特币价格预测、语音情感识别和慢 - MM使用 ReLU 激活函数的图神经网络初始化和架构选择原则
本文提出了三个初始化和架构选择原则的验证，在有限宽度图神经网络（GNN）和 ReLU 激活下，通过证明得出使用 He-initialization，并在初始时使用残差聚合运算符和残差连接的实践可以显著提高深度 ReLU GNN 在各种任务上 - transformers 逐渐提高排名学习
本文从简化的前提条件出发，理论证明了在 transformer 中，训练后的权重与初始权重之间的差异会在数量上逐渐增加。实验证明这种现象确实存在。
- 使用带条件域初始化的神经网络进行拓扑优化以提高效率
本研究提出了基于神经网络的拓扑优化领域初始化的方法，并证明通过在未优化的区域上使用先前的初始场，可以进一步提高神经网络拓扑优化的效率。
- CKmeans 和 FCKmeans：使用拥挤距离的 Kmeans 算法两种确定性初始化程序
提出两种新的确定性初始聚类方法，名为 CKmeans 和 FCKmeans，基于修改后的拥挤距离，实验研究表明，该方法在聚类准确性方面优于 Kmeans 和 Kmeans ++，其中 CKmeans 和 FCKmeans 的有效性归因于它们 - ExplainFix：可解释的空间固定深度网络
ExplainFix 提出了 “固定过滤器” 和 “灵活性” 两个设计原则，其模型设计可将所有卷积神经网络的空间过滤器权重在初始化时固定并且不再进行学习，而且仅需很少的网络参数。经过广泛的实证分析，ExplainFix 可提高模型的训练速度 - 组合优化的无监督学习需要元学习
提出了一种基于元学习的训练流程，用于寻找未来遇到的问题实例的良好初始化而不是直接给出答案。该方法在各种评估设置下都取得了良好的实证性能。
- 数据精简的彩票票：在稀疏可训练网络中寻找初始化参数
通过数据分布和损失面景观的角度，我们研究了 IMP 的预训练阶段如何为好的初始化做出贡献，得出了在密集网络的损失面景观中更多的线性模式连接示有利于 IMP 性能的结论。
- IJCAI利用搜索空间聚类分析的经验：基于质心的 NAS 初始化方法
本研究提出了一种使用数据驱动初始化技术来加速 NAS 算法的方法，其中包括了空间的聚类分析和聚类中心的提取。在 NAS benchmarks 上测试表明，相较于随机初始化，该方法能够更快达到收敛，并取得更好的最终结果。
- 动态等比性：神经网络剪枝中的遗漏要素
通过动态同构的视角，本文从裁剪作为初始化角度研究了神经网络裁剪，发现直接使用裁剪后的权重作为初始化不利于微调，回答了为什么更大的 fine-tuning 学习速率可以显著提高最终性能的疑问，并揭示了裁剪价值的谜团。