Mar, 2022

一个基于信息理论的监督学习框架

PDF
TL;DR本文提出了一种新颖的信息论框架，用其自己的遗憾和样本复杂度分析机器学习的数据需求，并用该框架研究了由具有 ReLU 激活单元的深度神经网络生成的数据的样本复杂度，并在权重的特定先验分布下建立了同时独立于宽度和线性深度的样本复杂度界限。
deep learningneural networksinformation-theoretic frameworksample complexityrelu activation
发现论文，激发创造
  • 浅层神经网络超参数化的监督学习基本极限

    对使用两层神经网络进行信息理论分析的研究，研究了限制数据和模型的情况下神经网络的性能极限，结果表明这个性能极限取决于训练数据的数量、输入维度和隐藏单元的数量

    Jul, 2023

  • 监督分类的信息论视角下的误差边界

    采用信息理论的视角探索深度神经网络在有监督分类中的理论基础，分析了拟合误差、模型风险和泛化误差上界的相关概念及其对样本数据质量和正则化超参数设置的指导作用，研究发现过度参数化、非凸优化和平坦极小值在深度神经网络中的影响，并通过实证验证证实了理论发现与实际风险之间显著的正相关关系。

    Jun, 2024

  • 深度学习的统计理论综述：逼近、训练动态和生成模型调查

    这篇文章介绍了关于神经网络的统计理论，从三个角度进行了综述：非参数回归或分类中关于神经网络过度风险的结果，神经网络的训练动力学以及生成模型中的最新理论进展。

    Jan, 2024

  • 深度学习理论原理

    本文研究了深度神经网络并使用表示群流的概念及信息论技巧，分析了其非线性模型的学习机制和有效模型复杂性及超参数等参数的归纳偏置。

    Jun, 2021

  • 神经网络学习复杂性

    本文研究神经网络的理论解释，针对单个隐藏层、平滑激活函数和良好输入分布条件下生成的数据可否进行有效学习，证明了对于广泛的激活函数和任何对数凹分布的输入，存在一类单隐藏层函数，其输出为和门，难以以任何精度有效地学习，这一下界对权重的微小扰动具有鲁棒性，且通过实验验证了训练误差的相变现象。

    Jul, 2017

  • 关于使用随机梯度下降训练的模型的泛化：信息论界限和含义

    本文基于 Neu et al. (2021) 的最新研究，在信息论方面提出了用于衡量机器学习模型的泛化误差的新上界。 通过应用这些上界，分析了线性和 ReLU 网络的泛化行为，并得出了关于 SGD 训练的洞见以及一种新的简单的正则化方案。实验结果表明此正则方案的表现与当前最先进的方案相媲美。

    Oct, 2021

  • 深度网络中的理论问题：逼近、优化和泛化

    简述：对深度学习的理论研究逐渐深入，从表示能力到优化、从梯度下降的泛化性质到固有隐藏复杂性的到达方式，已经有了一些解释；通过在分类任务中使用经典的均匀收敛结果，我们证明了在每个层的权重矩阵上施加单位范数约束下最小化替代指数型损失函数的有效性，从而解决了与深度网络泛化性能相关的一些谜团。

    Aug, 2019

  • 深度学习的信息论视角

    通过理论分析，文章探讨了深度神经网络的泛化能力与网络深度之间的关系，并且指出卷积层等具有信息损失的深层结构可以提高整个网络的泛化性能。但是随着网络深度的增加，拟合数据的信息损失也会增大，也就是网络深度与训练误差之间有一定的条件关系。此外，文章还表明深度神经网络具有一定的稳定性，随着网络深度的增加，样本复杂度会降低。

    Apr, 2018

  • 压缩还是不压缩 —— 自监督学习和信息理论：一篇综述

    本文综述了信息理论、自监督学习和深度神经网络三者交叉领域的最新研究进展，提出了自监督信息理论学习问题的统一框架，并讨论了信息论量的经验测量和估算方法。

    Apr, 2023

  • 训练神经网络的统一框架

    我们提出了一个统一的优化框架，用于训练不同类型的深度神经网络，并在任意损失、激活和正则化函数上建立其收敛性。该框架推广了众所周知的一阶和二阶训练方法，并允许我们展示这些方法在各种深度神经网络架构和学习任务中的收敛性为我们的方法的一种特殊情况。

    May, 2018