通过研究数据增强技术，以解决在权重空间进行学习时所面临的过拟合问题，本文提出了一种基于混合方法的新的增强方案。评估了这些技术在现有基准以及新生成的基准上的性能，为未来的研究提供了有价值的参考。

Nov, 2023

本文介绍了一个关于神经网络权重的实证研究。通过采样多种不同神经网络分类器的训练变化，使用机器学习方法从权重空间中提取和分析信息，特别地构建了一些新型的深度元分类器，用于检测通过超参识别并在优化过程中编码为权重的模式，从而提供了一种新颖和互补的可解释 AI 视角，并释放了一个神经权重空间（NWS）数据集，以促进进一步研究。

Feb, 2020

这篇论文提出了权重增强策略 (WAS)，通过随机变换权重系数训练和转换后的系数 (SW) 来影响参数更新，使网络具有高鲁棒性和准确性，适用于各种深度学习网络模型，并且实验证明其在各种网络上的效果都非常好。

May, 2024

研究神经模型的训练过程中添加权重对搜索空间的影响，提出通过增加搜索空间来训练稀疏模型，以在多个深度学习任务中达到竞争性分数并提高硬件的利用率，鼓励超越当前使用的大型神经模型的研究。

May, 2021

本文研究分布偏移问题下，重要性加权在复杂数据上无法良好运作的原因，并提出了一种基于动态重要性加权的端到端解决方案。实验表明，该方法能够与现有最先进的方法相媲美。

Jun, 2020

本文使用注意力机制定义了一组新颖的置换等变的权值空间层，并将它们组合成深度等变模型，称为神经功能变压器 (NFTs)，并利用 NFTs 开发了 Inr2Array，一种从隐式神经表示的权重中计算置换不变潜在表示的新方法。

May, 2023

对于多层神经网络中的权值空间，MLN 是精确可解的模型，具有复制对称性，通过内部表达与训练集相关的偶奇和委员会机器等，推导其学习和泛化能力，并找到了一些新的精确结果。

Jan, 1995

最新研究表明，在两个专门的语言模型的权重之间进行插值可以以多任务学习无法实现的方式在任务之间转移知识。然而，极少有人探索过在两个以上模型之间进行插值，每个模型具有不同的知识库。本文介绍了一种称为 DFWE（Derivative Free Weight-space Ensembling）的新的基于少样本的任务迁移方法，用于开放领域对话。我们的框架使用预定义的源任务集创建了一组多样的专家语言模型。然后，我们在目标任务上对每个专家模型进行微调，从多个不同的知识库中处理目标任务。最后，我们使用无梯度优化算法在模型权重之间进行线性插值，以有效地找到一个好的插值权重。我们在 FETA-Friends 上展示了该方法的有效性，其优于标准的预训练 - 微调方法。

Jul, 2023

通过创建超过 60,000 个基础模型，我们调查了一系列定制扩散模型的权重空间。这些模型是通过微调基本模型以插入不同人的视觉特征而创建的。我们将这些权重的潜在流形建模为一个子空间，我们称之为权重到权重。通过权重空间，我们展示了三个直接的应用 —— 抽样、编辑和反转。首先，由于空间中的每个点对应一个身份，从中抽取一组权重会得到一个编码新身份的模型。接下来，我们发现该空间中的线性方向对应于身份的语义编辑（例如，添加胡须）。这些编辑在生成的样本中保持外观一致。最后，我们证明将单个图像反转到该空间中会重构出一个逼真的身份，即使输入图像不符合分布（例如，一幅绘画）。我们的结果表明，经过微调的扩散模型的权重空间行为类似于可解释的身份潜空间。

Jun, 2024

研究发现，神经网络在存在噪声或不正确标签的情况下，往往会记住有关噪声的信息。为了减少这种记忆现象，提高泛化能力，本文提出使用一个辅助网络来训练，并利用 Shannon 互信息量化记忆的信息量。在 MNIST、CIFAR-10、CIFAR-100 和 Clothing1M 等数据集上验证了该算法的有效性。

Feb, 2020