深度学习性能数据为何具有误导性

Aug, 2022

深度学习性能数据为何具有误导性

Why Deep Learning's Performance Data Are Misleading

Juyang Weng

TL;DR本论文阐述了深度学习中的两项不当行为 —— 数据删除和训练集上测试，指出这样的行为会导致性能数据被虚高；提出了一种名为 Nearest Neighbor With Threshold 的简单分类方法，证明该方法使用上述不当行为在拥有有限但无界存储空间和训练时间的情况下，在任何验证集和测试集上都可以达到零误差，但深度学习方法普遍无法通过真实测试集进行检验，证据超出了本文的范围。

Abstract

This is a theoretical paper, as a companion paper of the keynote talk at the same conference AIEE 2023. In contrast to conscious learning, many projects in AI have employed so-called "deep learning" many of which seemed to give impressive performance. This paper explains that such perf

deep learning data deletion test on training set nearest neighbor with threshold generalizability

发现论文，激发创造

不使用测试集计算测试误差

提出了一种算法来估计深度神经网络的训练误差和测试误差之间的差距，该算法不需要测试数据集，使用拓扑学指标来识别网络的泛化能力并计算其对未见样本的测试误差。

May, 2020

重新思考泛化对于了解深度学习至关重要

该研究通过系统实验和理论构建发现，传统方法很难解释为什么大型神经网络的泛化性能良好，即使加入正则化仍然不会改变随机标记训练数据的状态，因为只要参数数量超过数据点数量，简单的两层神经网络就能实现完美的有限样本表达能力。

Nov, 2016

后选择和深度学习中的不端行为

这篇论文揭示了机器学习中的深度学习不当行为和后选择的问题，并证明了采用交叉验证方法对数据进行划分并不能免除后选择中的作弊和隐藏行为。

Feb, 2024

利用带噪标签训练的深度神经网络及其应用