压力及适应：应用《安娜・卡列尼娜》原理进行深度学习图像分类

Feb, 2023

压力及适应：应用《安娜・卡列尼娜》原理进行深度学习图像分类

Stress and Adaptation: Applying Anna Karenina Principle in Deep Learning for Image Classification

Nesma Mahmoud, Hanna Antson, Jaesik Choi, Osamu Shimmi, Kallol Roy

TL;DR本文提出了一个基于深度学习的模型，以分类癌细胞和非癌细胞，并证明了泛化性较好的模型具有相似的内部表示特征，同时提出了 Anna Karenina 原则（即快乐的家庭都是一样的，不快乐的家庭各有各的不快乐），以解释解释深度学习框架中的问题。

Abstract

Image classification with deep neural networks has reached state-of-art with high accuracy. This success is attributed to good internal representation features that bypasses the difficulties of the non-convex optimization problems. We have little understanding of these internal representation

deep learning internal representations generalizability akp cancer cells

发现论文，激发创造

重新思考泛化对于了解深度学习至关重要

该研究通过系统实验和理论构建发现，传统方法很难解释为什么大型神经网络的泛化性能良好，即使加入正则化仍然不会改变随机标记训练数据的状态，因为只要参数数量超过数据点数量，简单的两层神经网络就能实现完美的有限样本表达能力。

Nov, 2016

深度神经网络中可训练性和泛化能力的分离

本文通过分析神经核算法的光谱，提供了对于训练和推广条件的表征，特别地，在讨论极深和宽的神经网络时，发现神经核数仅仅维持有限的数据相关性，并考虑各种网络模型在很大的超参数空间区域内训练集过度拟合而且通常无法推广；同时，与深度神经网络及其卷积形式的全局平均池化相关的理论和实验结果得到了分析。

Dec, 2019

扩散模型中的泛化源于几何自适应的谐波表示

通过基于分数的逆扩散算法生成的高质量样本提供了证据，表明尽管遭受维度灾难的困扰，用于降噪训练的深度神经网络（DNN）可以学习高维密度。然而，关于训练集记忆化的最近报导引发了一个问题，即这些网络是否正在学习数据的 “真实” 连续密度。在本文中，我们展示了在非重叠的数据集子集上训练的两个降噪 DNN 学习到几乎相同的评分函数，从而学习到相同的密度，并且只需要非常少的训练图像。这种强大的泛化表明 DNN 架构和 / 或训练算法中的强大归纳偏差与数据分布的特性相一致。我们通过对这些内容进行分析来证明这一点，证明了去噪器在适应底层图像的基础上执行了一个收缩操作。对这些基础的检查揭示了轮廓线和均匀图像区域中的振荡谐波结构。我们通过证明即使在训练于低维流形等图像类别的情况下，这些经过训练的去噪器也会生成这种几何自适应谐波表示来表明它们在归纳偏差方面具有偏好。此外，我们还展示了当在已知最优基础为几何自适应谐波的常规图像类别上进行训练时，网络的去噪性能接近最优。

Oct, 2023

深度适应网络学习可迁移特征

本文提出了一种新的深度自适应网络 (DAN) 结构，它将多个领域的分布嵌入到再生核 Hilbert 空间中，并应用最优多核选择方法以匹配均值嵌入。DAN 能够学习具有统计保证的可传递特征，并通过核嵌入的无偏估计来实现线性扩展。实验证据表明，所提出的架构在标准领域自适应基准数据集上获得了最先进的图像分类误差率。

Feb, 2015

深度学习理论原理

本文研究了深度神经网络并使用表示群流的概念及信息论技巧，分析了其非线性模型的学习机制和有效模型复杂性及超参数等参数的归纳偏置。

Jun, 2021

重新思考泛化需要重新审视旧观念：统计力学方法和复杂学习行为

本文介绍了一种超越当前流行的最坏情况的理论控制框架，重新审视神经网络的统计力学的古老理论，并使用一个名为 VSDL 的模型来描述当算法过早停止或输入加噪声时会增加的温度和减少的数据量对深度神经网络的控制效果，进而提供了关于其过度拟合训练数据、学习算法波动和转变的一种新的定性描述。

Oct, 2017

深度知识：基于泛化的深度学习测试

通过 DeepKnowledge 系统测试方法，可以评估 DNN 的可靠性和泛化能力，并通过提供测量信息和检查测试集的传输知识容量来改善 DNN 的稳健性。

Mar, 2024

深度学习的统计理论综述：逼近、训练动态和生成模型调查

这篇文章介绍了关于神经网络的统计理论，从三个角度进行了综述：非参数回归或分类中关于神经网络过度风险的结果，神经网络的训练动力学以及生成模型中的最新理论进展。

Jan, 2024

多任务深度神经分类器中的泛化问题：基于统计物理学的方法

本论文通过应用无序系统的统计物理学技术，对解决使用 softmax 输出和交叉熵损失的分类任务的深度神经网络的推广进行非线性动力学的分析，以理论上支持多任务学习表现由任务的噪声性以及输入特征对其的对齐程度来决定的直觉。

Oct, 2019

学习动力学对泛化关系的重要性示例

基于已有研究的基础上，本文提出了一种标记伪神经切向核方法（lpNTK），该方法在测量样本之间的相互作用时考虑了标签信息，并证明了 lpNTK 在一定假设条件下以 Frobenius 范数为标准渐近接近于经验神经切向核。同时，本文还阐述了 lpNTK 在理解学习现象、特别是样本学习难度和遗忘事件方面的作用，此外还表明使用 lpNTK 识别和删除对神经网络的泛化性能没有负面影响。

Jan, 2024