May, 2023

如何在没有数据的情况下识别出优秀的深度神经网络分类器

PDF
TL;DR该论文提出了一种无需测试数据即可评估训练后 DNN 分类器的质量的方法，通过在输入空间中迭代创建每个类别的类原型来实现，这些原型和其特征关系可用于揭示分类器的质量，并开发了两个使用原型特征和对应于每个原型的对抗性示例的质量度量指标，其准确性与使用测试数据获得的准确性成正比。
dnn classifiersgeneralization performancefeature extractorclass prototypesquality metrics
发现论文，激发创造
  • 不使用测试集计算测试误差

    提出了一种算法来估计深度神经网络的训练误差和测试误差之间的差距，该算法不需要测试数据集，使用拓扑学指标来识别网络的泛化能力并计算其对未见样本的测试误差。

    May, 2020

  • 训练置信度校准的分类器用于检测离分布样本

    本文提出了一种新的分类器训练方法，通过对深度神经网络引入两个额外的术语来增强分类器的推断性能，并同时训练分类和生成神经网络以解决样本的分布问题，该方法在多个流行的图像数据集上通过使用深度卷积神经网络的实验证明了其有效性。

    Nov, 2017

  • 不使用训练或测试数据预测最先进神经网络质量趋势

    该研究利用基于规范的容量控制指标和基于幂律的重尾自正则化理论的度量方法对数百个公开可用的预训练模型进行了详细的元分析，发现基于幂律的度量方法可以更好地区分预训练模型的良好培训和质量低劣的模型。

    Feb, 2020

  • 利用带噪标签训练的深度神经网络及其应用

    本文针对网络训练时噪声标签的问题，提出了一种基于交叉验证和合作训练策略的解决方法，成功提高了深度神经网络在合成和实际噪音数据集下的泛化性能。

    May, 2019

  • 针对 DNN 的实用无盒对抗攻击

    通过使用少量的样本，本研究提出了三种机制进行训练，其中原型重建是最有效的，生成的对抗性样本可成功地转移至各种图像分类和面部验证模型，最终的应用结果显示我们的方法能够显著降低商业名人识别系统的预测准确率近 15.4％。

    Dec, 2020

  • 人类不确定性使分类更加健壮

    本文通过训练具有反映人类知觉不确定性的完整标签分布来解决深度神经网络在泛化和鲁棒性方面存在的问题，并呈现了一个新的基准数据集 CIFAR10H。实验结果表明，基于该数据集的显式训练可以实现深度学习分类器具有人类的不确定性，并提高模型泛化性和抵御对抗攻击能力。

    Aug, 2019

  • 深度学习分类器性能的综合评估揭示出令人惊讶的缺乏稳健性

    可靠的评估方法是发展稳健可靠的机器学习模型的必要第一步，本文提出使用广泛类型的数据进行基准测试以评估分类器性能，并发现目前的深度神经网络在某些数据类型上容易犯错，因此需要更全面的测试方法以开发更稳健的机器学习方法。

    Aug, 2023

  • 知识内含：无数据模型压缩方法

    本论文提出三种从训练模型中生成合成样本的方法，用于压缩和微调量化模型，不需要真实数据支持，可以用于数据敏感情况，最佳方法与原始训练样本相比具有可忽略的准确度下降，此方法利用训练模型的内在批归一化层统计信息，可用于评估数据之间的相似性，为真正的数据无损模型压缩打开了道路，并在模型部署过程中减轻了对训练数据的需求。

    Dec, 2019

  • 无标记数据下多分类器准确率的估计

    本研究通过谱方法，针对二元情况下的多个分类器预测结果，提出了一种无监督方法来估计分类器的准确性，同时构建了更准确的无监督集成分类器，并通过人工和真实数据集的实验表明了该算法的竞争性能。

    Jul, 2014

  • 基于生成模型的不确定性感知深度分类器

    本篇研究提出了一种神经网络模型，该模型能够同时表达 aleatoric 和 epistemic 不确定性，区分特征空间的决策边界和 “out-of-distribution” 区域。在训练过程中，通过集成变分自编码器和生成对抗网络的方法生成了 “out-of-distribution” 样本。通过在多个数据集上进行实验，表明该方法提供了更好的不确定性估计，并且在识别对抗样本时表现出优异的表现。

    Jun, 2020