MMSep, 2016

关于 “深度与廉价学习为何如此有效” 的评论

PDF
TL;DR本文主要针对 Lin 和 Tegmark 最近发表的论文 “为什么深度和廉价学习如此有效？” 进行反驳，指出他们的反例并不成立，是基于对 Kadanoff 所提出的变分 RG 程序的误解，而且其反例可以与之前的研究兼容。
deep learningbelief networksvariational renormalization groupcounterexamplemisunderstanding
发现论文，激发创造
  • 变分重整化群与深度学习之间的精确映射

    本文研究深度学习的理论基础，发现其与理论物理中的重整化群技术密切相关，提供了一种新的理解思路，解释了深度学习技术在数据特征学习和压缩方面的成功，同时探究抽取相关特征的机制和算法。

    Oct, 2014

  • 深度学习与重整化群

    本文比较分析了重整化群方法与深度机器学习方法的相似之处，讨论了多尺度纠缠重整化算法在生成式分层贝叶斯网络中的应用，并证明了该算法仅涉及概率的明确评估，消除了采样的需要。

    Jan, 2013

  • 深度学习和廉价学习为什么如此有效？

    本论文旨在应用物理学中的对称性、局域性、复合性和多项式对数概率等性质，研究深度神经网络在近似处理特定实际问题时可以使用相对简单的模型，从信息论的角度证明这些理论，并通过层次结构的机制使深层模型比浅层模型更高效。

    Aug, 2016

  • 神经网络重整化群

    本文介绍了一种变分重整化群方法，使用基于归一化流的深度生成模型。该模型通过变量变换从物理空间到潜在空间进行分级，从而生成近似相互独立的潜在变量，同时具有精确和可处理的似然度。本研究展示了该方法在 Ising 模型中的互相独立的集体变量识别和混合蒙特卡罗抽样的实际应用，并讨论了该方法与重整化群的小波分析和信息保存 RG 的联系。

    Feb, 2018

  • 重探 Renormalization Group 和 Ising 模型中的深度学习连接深入

    使用 Restricted Boltzmann Machines（RBM）进行深度学习，研究了量子场论和统计物理中的重整化群（RG）与无监督深度学习之间的联系，并通过 1D 和 2D Ising 模型的研究验证了这种联系。

    Aug, 2023

  • 深度学习理论的真实性或反向宣传？一项实证研究

    本文通过实证方法评估被从业者和理论界广泛认可的神经网络的常见假设，并证明了神经网络的损失函数存在着许多亚最优解，小范数参数不是泛化的最优解，ResNets 不符合宽网络理论，而且跳跃连接与批归一化之间的相互作用起到了作用，且在实际环境中，排名与泛化或鲁棒性无关。

    Oct, 2019

  • 大规模深度网络的变分学习有效性

    我们通过大量的证据反驳了普遍观点，即变分学习对于大型神经网络无效。我们展示了一种名为改进变分在线牛顿（IVON）的优化器，在训练 GPT-2 和 ResNets 等大型网络时，始终能够与 Adam 相匹配或胜过它。IVON 的计算成本与 Adam 几乎相同，但其预测的不确定性更好。我们展示了 IVON 的几个新用例，其中我们改善了大型语言模型的微调和模型合并，准确预测了泛化误差，并忠实地估计了对数据的敏感性。我们发现了支持变分学习有效性的压倒性证据。

    Feb, 2024

  • 揭开面纱：释放 Q 学习中的深度之力

    通过统计学习理论的框架，我们理论上证实了深度 Q 学习在捕捉奖励的特殊属性上表现优秀，进而证明了深度 Q 学习优于传统 Q 学习的泛化误差边界，并在供应链管理中的知名啤酒游戏和模拟推荐系统中验证了我们的理论断言。

    Oct, 2023

  • 重新思考泛化对于了解深度学习至关重要

    该研究通过系统实验和理论构建发现，传统方法很难解释为什么大型神经网络的泛化性能良好，即使加入正则化仍然不会改变随机标记训练数据的状态，因为只要参数数量超过数据点数量，简单的两层神经网络就能实现完美的有限样本表达能力。

    Nov, 2016

  • 互信息、神经网络与重整化群

    利用人工神经网络和信息理论模型的非模型化特点，实现不需要系统的先验知识，识别重要的物理自由度，并演示自然系统中的重要且普遍存在的学习算法。通过对经典统计物理的问题在一维和二维的应用，演示了 RG 流和提取的 Ising 临界指数。说明了机器学习可以提取抽象的物理概念，并成为理论建模的一个重要组成部分。

    Apr, 2017