Feb, 2020

从权重预测神经网络的准确性

PDF
TL;DR本研究证明了只通过观察神经网络的权重，而不必评估其输入数据，就能惊人地预测其准确性。通过使用简单的权重统计信息，预测器能够非常准确地排名神经网络的性能，并能对不同数据集和架构训练的网络进行排名。我们发布了一个包含 120k 个卷积神经网络的数据集，以鼓励更多人进行研究，从而更好地了解网络训练和性能。
neural networkweightspredictorsperformancedatasets
发现论文，激发创造
  • 深度学习参数预测

    作者通过研究证明，多个深度学习模型的参数化存在显著冗余，只需几个权重值，即可准确地预测其余值，且许多权重值无需学习，通过学习小部分权重值并预测其余值，能在不降低准确性的情况下预测网络中超过 95% 的权重值。

    Jun, 2013

  • 无关权重的神经网络

    本研究提出了一种搜索方法，寻找可以无需显式权重训练即可执行任务的神经网络框架，并证明该方法可以找到最小的神经网络架构，无需权重训练即可执行多个强化学习任务。

    Jun, 2019

  • 从神经网络权重中检测统计相互作用

    通过解释神经网络学习到的权重，我们开发了一种新的框架来检测前馈多层神经网络捕捉到的统计交互关系，能够达到与现有技术相当甚至更好的交互检测性能，证明了非线性激活函数和权重矩阵对输入特征之间的互动关系的作用和重要性。

    May, 2017

  • 不使用训练或测试数据预测最先进神经网络质量趋势

    该研究利用基于规范的容量控制指标和基于幂律的重尾自正则化理论的度量方法对数百个公开可用的预训练模型进行了详细的元分析，发现基于幂律的度量方法可以更好地区分预训练模型的良好培训和质量低劣的模型。

    Feb, 2020

  • 随机加权网络的有趣属性：在几乎没有学习的同时进行泛化

    该论文研究深度神经网络的性质和学习方式，发现在深层卷积神经网络中，固定大部分权重可以在性能表现上与训练所有权重相媲美，探讨了该性质在创建更强鲁棒性的表示方面的应用。

    Feb, 2018

  • 神经网络中的测试样本准确度随训练样本密度增加而提高

    通过研究表明，在表示空间中，训练样本密度的倒数平滑处理后的经验训练误差边界与测试样本的预测不准确性密切相关，通过在测试集中排列样本边界值并放弃最高边界值的样本，平均阈值下对图像分类数据集的预测准确性提高了 20％。

    Jun, 2021

  • 现代神经网络的校准

    深入实验和分析，提出了温度缩放法的简单有效性，可以解决现代神经网络中分类器的置信度校准问题。

    Jun, 2017

  • IFBiD: 推理无关的偏差检测

    利用卷积神经网络的权重分析来检测模型的偏差，本文在使用有色 MNIST 数据库的玩具例子和使用最先进的方法和实验资源进行性别识别的现实案例研究中，发现无需对特定输入进行模型推理，查看权重即可判断模型是否存在偏差。在 MNIST 模型中，我们能够以超过 99% 的准确率检测出是否存在强烈或微弱的偏见，并且还能以超过 70% 的准确率分类四个偏见水平。对于面部模型，我们在区分针对亚洲人、黑人或白人的有偏见模型方面实现了 90% 的准确率。

    Sep, 2021

  • 增强神经表示的准确性和参数效率

    参数化神经网络权重的准确性和参数效率之间的基本权衡被研究，表明通过仅使用权重重构目标可以有效地实现恢复原始模型的准确性。此外，通过探索提高权重重构在参数效率约束下的潜在因素，提出了一种新的训练方案，将重构目标与知识蒸馏等辅助目标分离，相对于最先进的方法取得了显著的改进。最后，这些结果为更实际的场景铺平道路，其中需要同时改进模型准确性和预测网络参数效率。

    Jun, 2024

  • TAPAS: 用于架构搜索的无需训练的准确性预测器

    该研究提出了一种新的深度神经网络准确性预测器，可以预测未知输入数据集的分类性能，在不需要任何训练的情况下，在单个 GPU 上每秒超过 100 个网络，大规模架构搜索只需要几分钟。

    Jun, 2018