ICLRFeb, 2024

人类存在即时泛化,而深度神经网络存在泛化滞后 —— 对表示分化的证据?

TL;DR人类和深度神经网络在图像分类领域进行了许多行为比较的最新研究。我们报告了如何在人类观察者和各种经典和最先进的深度神经网络中获取可迁移表示的详细调查结果。发现表明,就绝对分类性能而言,深度神经网络展示了与人类学习者相媲美甚至超过的数据效率水平,挑战了该领域的一些主流假设。然而,整个学习过程中的比较揭示了显著的表征差异:深度神经网络的学习过程具有明显的泛化滞后,而人类似乎立即获得可泛化的表示,无需预备性学习训练集特定信息,这些特定信息只在之后被转移到新数据上。