Jun, 2018
委员会机器: 二层神经网络中学习的计算到统计差距
The committee machine: Computational to statistical gaps in learning a
two-layers neural network
TL;DR本研究使用统计物理中的启发式工具定位相变，并计算了多层神经网络中教师-学生场景下的最优学习和泛化误差。我们提出了适用于委员会机器的 AMP 算法版本，允许对大量参数进行多项式时间的最优学习，发现存在一些区间，信息理论上可实现低泛化误差，而 AMP 算法则不能满足这个目标，这表明不存在有效的算法解决这些问题，揭示了高的计算间隔。