本文介绍了基于规范相关分析(CCA)方法的神经网络表示比较方法,并提出了一种相似度指数来测量表示相似性矩阵之间的关系,该指数与中心核对齐(CKA)密切相关,但不受高维表示限制,具有可靠性。与CCA不同,CKA方法可在不同初始化的网络表示中可靠地识别对应关系。
May, 2019
提出了一种新的神经网络相似性计算方法,采用特征向量和梯度向量作为模型表示,结合快速绘图技术可以高效地比较不同数据集中神经网络的相似性。
Mar, 2020
本文提出一种新的指标m-coherence,用来实验性地研究训练过程中样本间梯度的对齐情况。通过使用m-coherence,我们研究了在ImageNet数据集上使用ResNet和Inception模型以及带有标签噪声的几个变体时,梯度对齐的演变情况,并对其进行了详细分析,从而更深入地证实了拟合理论。
Aug, 2020
提出一种基于概率模型的方法来对大规模图像分类数据集中的标签噪声进行建模并进行准确性优化,该方法通过在神经网络分类器的最终隐藏层上放置多变量正态分布的潜在变量来建立噪声的协方差矩阵,并且在多个基准测试数据集上表现出显著提高的准确性。
May, 2021
本文通过利用Dr. Frankenstein工具集来分析深度神经网络的相似性,尝试匹配由两个已经训练好的模型中给定层的激活,通过使用一个拼接层将它们合并起来。我们证明了即使只有一个单一的仿射拼接层,具有相同结构但不同初始化的卷积神经网络中出现的内部表示仍然可以以令人惊讶的高精度进行匹配,同时我们也从任务的角度提供了关于神经网络相似性指数的新视角。
Oct, 2021
本文研究对比学习中的噪声问题,特别是 Siamese 神经网络的双重下降问题、匹配标签噪声和单标签噪声对网络泛化的影响,并发现密集数据集下的密度诱导相似性破裂现象。
Jan, 2022
利用深度神经网络记忆清晰样本更早的现象,发展一种统计学方法,根据集成学习动态数据中干净和嘈杂数据的差异,改善了噪声标记估计,噪声过滤和指导分类的方法。
Oct, 2022
该论文综述了神经网络模型的两种相似性度量方法,即表示相似度和功能相似度,介绍了现有度量方法的详细描述,并总结和讨论了这些度量方法的特性和关系,并指出了开放的研究问题和为研究人员及从业者提供实用的建议。
May, 2023
本研究分析了不同噪声模型及其强度对卷积神经网络的影响,通过结构相似度(SSIM)度量给出相同大小的噪声模型来进行比较,提出了一些新的启发式策略和建议,可以优化图像分类的最优学习过程。
Jul, 2023
神经网络中的功能等价特征通过等价输出定义了特征复杂度,使用迭代特征合并算法可以减少网络参数而不影响性能。
Oct, 2023