关键词centered kernel alignment
搜索结果 - 11
- 多尺度统一网络图像分类
在这项工作中，我们基于中心核对齐（CKA）分析对卷积神经网络（CNNs）的模型进行了全面的分层调查，结果表明较低的层对输入图像尺度变化更敏感。在此基础上，我们提出了多尺度统一网络（MUSN），由多尺度子网络、一个统一网络和尺度不变约束组成， - 知识蒸馏中重新思考聚焦核对齐
使用 CKA（Centered Kernel Alignment）理论有效地将大规模模型和轻量级模型之间的表达差异解耦为 MMD（Maximum Mean Discrepancy）的上界和一个常数项，提出了一种新颖的 RCKA（Relati - 一对多：在知识蒸馏中弥合异构架构的差距
通过使用居中核对齐方法比较异构教师和学生模型之间的特征学习情况，我们观察到显著的特征差异，进而揭示了以往基于暗示的方法在跨体系结构蒸馏中的无效性。为了解决在异构模型蒸馏中的挑战，我们提出了一种简单而有效的一对多蒸馏框架（OFA-KD），通过 - 使用恒等层学习稀疏神经网络
本文通过探究网络层的特征相似性与网络稀疏性之间的内在联系，提出了一种基于居中核对齐的稀疏正则化方法（CKA-SR），该方法利用 CKA 降低网络层之间的特征相似度，增加网络稀疏性，并在多种稀疏训练方法上取得了稳定的效果提升，在极高稀疏度下表 - 理解图像增强的好处
本文研究了在神经网络中使用图像增强技术的效果对 ResNet 网络中不同层的影响和应用，发现使用两幅图像的增强技术显著影响网络学习，而对于采用 Imagenet-1K 权重和 fine-tuning 的深层 ResNets，各层受到的影响程 - 使用替代梯度训练的脉冲神经网络表征的揭示
本文对比分析了脉冲神经网络和人工神经网络在表示相似性方面的表现，发现通过 CKA 的分析可以发现脉冲神经网络有类似于 ANN 的周期模式，并且深层次的脉冲神经网络对时间维度的动态表示更加有效。
- 重新审视使用 GANs 进行图像合成的评估
本文通过实证研究代表性生成模型 GAN，深入分析了如何在特征空间中代表数据点、如何使用选定样本计算合理距离以及每组要使用多少个实例等问题。实验结果表明，基于 CNN 和 ViT 的架构都是可靠和稳健的特征提取器，CKA 能够在一种模型中跨越 - 深度学习中 CKA 作为相似度度量的可靠性
通过分析 Centered Kernel Alignment 算法对于在机器学习中出现的简单变化的敏感度，我们研究了该算法的若干弱点，并探索了在保持功能行为的前提下改变 CKA 值的方法，结果表明 CKA 值可以容易地被操纵而不需对模型做实 - 利用统计检验来建立表示相似性
本文提供了一个框架来验证神经网络的行为，通过功能行为敏感性和特异性等方面测试常用的神经网络模型评估方法，研究发现当前的评估指标存在不同缺陷，一个经典的基线表现出人意料的好，作者对所有指标都无法胜任的场景进行了强调，并为未来的研究提供了挑战性 - 多个领域的少样本分类通用表示学习
本文介绍了通过适配器和居中核对齐等方法，利用多个分别训练的网络的知识来同时学习多个领域上通用的深度表示，通过距离学习方法来有效适应之前未见过的领域，并在 Meta-Dataset 基准测试中取得显著的性能提升。
- 利用改进的 RV 相似性分析揭示卷积神经网络中任务和训练对中间表示的影响
本文探讨了深度网络中激活 patterns 的相似性度量方法并在此基础之上使用 RV2 与不同训练方式下的网络进行了表示学习和相似性计算，并从中发现了盲目训练可能造成的负面影响以及不同训练方式之间的代表性差异。