Jun, 2021

神经网络中的测试样本准确度随训练样本密度增加而提高

PDF
TL;DR通过研究表明，在表示空间中，训练样本密度的倒数平滑处理后的经验训练误差边界与测试样本的预测不准确性密切相关，通过在测试集中排列样本边界值并放弃最高边界值的样本，平均阈值下对图像分类数据集的预测准确性提高了 20％。
neural network predictiontraining errorrepresentation spacetest samplesimage classification
发现论文，激发创造
  • 利用带噪标签训练的深度神经网络及其应用

    本文针对网络训练时噪声标签的问题，提出了一种基于交叉验证和合作训练策略的解决方法，成功提高了深度神经网络在合成和实际噪音数据集下的泛化性能。

    May, 2019

  • 训练神经网络中的变异性鲁棒非参数假设检验

    基于网络输出的一个稳健假设检验框架，我们提出了一种新的分类模型之间的相似性度量方法，该方法可以适应经过训练模型的其他衍生量。

    Oct, 2023

  • 理解 Softmax 的置信度和不确定性

    本研究探讨神经网络在预测远离训练数据分布的数据时，未能增加其不确定性的现象，并找出了两种隐含的偏见，从而鼓励 softmax 置信度与认识不确定性相关，并发现预训练 / 微调网络可以减少训练数据和超出分布数据之间的重叠。

    Jun, 2021

  • DeepSample：基于 DNN 的操作准确性评估测试

    通过概率抽样，研究了五种新的基于抽样的测试技术以及其他三种先进技术，以实现对深度神经网络在运行中准确度的忠实和高置信度估计，从而降低成本。

    Mar, 2024

  • 利用最近邻居改善分类器的决策边界

    神经网络训练中，决策边界位于训练数据密度低的区域，受到少数训练样本的影响容易导致过度拟合；我们提供了一种简单的算法，通过对样本及其最近邻的预测（在潜在空间中计算）进行加权平均，以优化神经网络在标签噪声、对抗攻击、分类准确性等方面的性能。

    Oct, 2023

  • 主动偏置：通过强调高方差样本训练更准确的神经网络

    本文提出基于样本不确定性轻量级估计的两种改进型随机梯度下降算法：SGD 迭代中正确类别预测概率的方差和与决策阈值的正确类别概率的接近度来重新加权训练样本，实验结果表明我们的方法可靠地提高了各种网络结构的精度，包括残差学习、动量、ADAM、批量标准化、丢弃和蒸馏等其他流行的训练技术所不能达到的额外收益。

    Apr, 2017

  • 神经网络中的灵敏度和泛化性：一项实证研究

    本研究通过对深度学习模型的多方面度量，特别是模型对输入扰动的敏感性度量，研究了大规模的、过度参数化的神经网络与小规模的夹杂网络的复杂度与泛化之间的紧张关系，并得出结论：训练的神经网络在其训练数据范围内更加鲁棒，这种鲁棒性与泛化能力有关联，而诸如数据扩增和修正线性单元等好的泛化因素会带来更强的鲁棒性。

    Feb, 2018

  • 学习 ReLU 网络以高均匀精度是不可解的

    本文中，我们在非线性神经网络学习问题上，通过精确量化每个训练算法所需的最小训练样本数量，以保证目标类中包含或由预定义结构的 ReLU 神经网络的高精度，从而证明了在非常一般的假设下，训练样本的最小数量随着网络结构的深度和输入维度呈指数级增长。

    May, 2022

  • 深度神经网络测试表现预测的惊人线性关系

    通过在预训练阶段使用不同程度的 “腐败” 数据或使用不同高斯标准偏差的权重初始化网络，利用交叉熵损失可以使网络产生不同的泛化效果。通过去除交叉熵损失中不涉及期望分类性能的成分，可以建立训练误差和测试误差之间的线性关系，而分类错误与规范化交叉熵损失之间的经验关系似乎是近似单调的。

    Jul, 2018

  • 神经网络进行逻辑分类的双样本检验

    本文研究神经网络在两个数据集之间的分类问题，建议通过分类器网络训练来有效解决两个数据样本的差异，本文提出了一种基于已训练的分类神经网络的双样本检验方法，并在理论和实验方面均得到了良好的效果。

    Sep, 2019