学习潜变量模型中过度参数化的益处的实证研究

ICMLJun, 2019

学习潜变量模型中过度参数化的益处的实证研究

Empirical Study of the Benefits of Overparameterization in Learning Latent Variable Models

Rares-Darius Buhai, Yoni Halpern, Yoon Kim, Andrej Risteski, David Sontag

TL;DR通过合成和半合成实验，我们对无监督学习中的超参数化不同方面进行了实证研究，发现在各种模型（如嘈杂 OR 网络、稀疏编码、概率上下文自由语法）和训练算法（如变分推断、交替最小化、期望最大化）中，超参数化可以显著增加回收潜在变量的数量。

Abstract

One of the most surprising and exciting discoveries in supervised learning was the benefit of overparameterization (i.e. training a very large model) to improving the optimization landscape of a problem, with minimal effect on statistical performance (i.e. generalization). In contrast,

overparameterization unsupervised learning latent variable models training algorithms ground truth

发现论文，激发创造

模型压缩中过参数化的可证益处：从双峰下降到神经网络修剪

本文分析了过参数化模型剪枝中的双重下降现象，提出了在某些情况下，训练大型模型再进行剪枝比仅使用已知信息更好的理论证明，同时也发现了重新训练的好处以及在线性和随机特征模型中已经存在这些现象，这进一步促进了高维分析工具的发展。

Dec, 2020

从超参数化机器学习理论的角度看偏差 - 方差折中问题的再思考

本文概述了 “过参数化机器学习” 的新理论，通过统计信号处理的角度解释最近研究发现的相应现象和结果，着重强调了这个研究领域的独特性和开放的问题。

Sep, 2021

过度参数化提高对抗攻击的鲁棒性：一项复制研究

研究过参数化在机器学习中的应用，发现其在提高模型准确性和稳健性方面的作用还有待进一步探究，需要结合智能架构实现全面稳健。

Feb, 2022

超参数化为什么会加剧虚假相关性的调查