从示例难度的角度看深度学习

Jun, 2021

Deep Learning Through the Lens of Example Difficulty

Robert J. N. Baldock, Hartmut Maennel, Behnam Neyshabur

TL;DR本研究采用基于个例角度的视角，引入了计算预测输入的困难程度的度量 -（有效的）预测深度，发现了一些有意为之而意外的、简单的关系，进一步将困难例子分为三个可解释的组，并展示了这种理解如何提高了预测准确率，揭示了文献中一些分开探讨的现象的连贯视图。

Abstract

Existing work on understanding deep learning often employs measures that compress all data-dependent information into a few numbers. In this work, we adopt a perspective based on the role of individual examples.

deep learning individual examples prediction depth model uncertainty accuracy

发现论文，激发创造

例子困惑度

本文探讨了衡量样本困惑度的方法，并研究了影响高样本困惑度的因素，旨在了解深度神经网络对不同类型样本的分类难度。

Mar, 2022

通过考察测试集难度理解深度学习性能：一项心理测量案例研究

研究了深度学习模型性能评估中忽略的数据点特征和难度对测试集准确性的影响，通过用已有的心理测量学方法对人类的反应模式进行建模来估计难度，实验结果发现难度对于测试的结果有重要影响，同时易于学习的实例被模型学得更快。

Feb, 2017

深度学习中的表征复杂度

通过分析学习表示在分离不同类别方面的有效性，使用简单的复杂度指标，研究表明数据复杂度随着网络层数增加和训练的进展而变化，受网络设计和训练样本的影响

Sep, 2022

数据集难度与归纳偏差的作用

通过对随机和受控因素的比较，我们发现例子排名在不同的训练运行、评分方法和模型架构间存在很大的一致性。同时，我们还开发了一种简单的方法来使用一些敏感的例子对模型架构进行指纹识别。这些发现指导从业者在最大化评分一致性方面（例如通过选择适当的评分方法、运行次数和例子子集）并为将来评估评分建立全面的基准。

Jan, 2024

通过逐层相关性传递解释复杂机器学习模型的预测

本文介绍一种基于输入变量对深度神经网络分类决策进行分解的技术，以提高其透明度和可解释性。

Nov, 2016

神经网络中的深度不确定性

通过对神经网络的深度进行概率推理，我们能够只需一次前向传播，就能估计模型的不确定性。在真实的回归和图像分类任务中，我们验证了这一方法的效果，并证明它能提供不确定度校准、对数据集变化的鲁棒性和与计算成本更高的基线准确度相当的预测结果。

Jun, 2020

NeurIPS 2020 比赛：深度学习的泛化预测

深度学习中的泛化是一个重要的问题，并且通过复杂度衡量的新进展有望更好地理解深度学习的机制，更好地应用于对未知数据的泛化，并提高模型的可靠性和鲁棒性。

Dec, 2020

深度视觉解释简介

研究了深度学习方法面临的可解释性困境，提出了一种叫做 “深度视觉解释” 的框架，通过可视化技术来识别和暴露深度学习模型性能行为的假设，以提高模型的可解释性和可调试性，并展示了初步的可解释性应用实验结果。

Nov, 2017

硬件感知深度级联嵌入

本篇论文提出了一种基于深度验证网络和模型集成的图像分类方法，通过自适应筛选样本并训练带有不同复杂度的模型，解决了大样本分类中的难例挖掘问题，相较于现有方法，该方法在多个数据集上有着更高的分类准确率。

Nov, 2016

快速深度自适应变压器

本文提出基于互信息和重构误差两种方法来测量输入词语的难度和估计相应的自适应深度，从而摆脱判停单元，并提高深度自适应模型的速度和稳定性。实验证明，该方法能够在保持高准确性的同时，加快原始 Transformer 速度（高达 7 倍），并提高效率和鲁棒性，相对于其他深度自适应方法具有显著优势。

Apr, 2020