- 从经验观察到普适性:基于高斯混合构建输入的深度学习动态
本研究通过深入研究具有展现高斯混合(GM)结构特征的输入的神经网络动力学来拓宽深度学习的理论框架的范围。我们分析了神经网络在具有 GM 结构输入下的动力学如何与基于简单高斯结构的传统理论的预测不同。我们的研究揭示了即使在标准化的 GM 输入 - CALM:卷积作为本地混合
本文研究了卷积层的特征映射与图像建模中一种特殊高斯混合未归一化的对数后验的等效性,并拓展了模型以推动多样化特征,并提出相应的 EM 算法来学习该模型。使用该方法学习卷积权重是高效的,可以保证收敛,并且不需要监督信息。
- 通过稀疏率减少实现的白盒变压器:压缩无外乎此
我们认为表示学习的自然目标是将数据的分布压缩和转换为支持在不相关子空间上的低维高斯混合模型。我们通过基于名为稀疏率减少的原则性度量评估这种表示的好坏,该度量同时最大化所学表示的内在信息增益和外在稀疏性。从这个角度来看,包括变压器在内的流行深 - 从有限样本复杂性中学习基于流的生成模型的分析
使用两层自编码器参数化的流式生成模型,通过对目标分布从有限数量 n 的样本进行训练,提供了问题的尖锐端到端分析,包括对学习速度场的紧密闭合形式表征以及对相应生成流的尖锐描述,最终证明该速度场的收敛速度是贝叶斯最优的。
- 去噪自编码器的高维渐近理论
本文针对高斯混合噪声数据,使用两层非线性自编码器技术,采用绑定权重和跳跃连接来处理数据降噪。文章在高维极限下,给出了自编码器均方误差测试误差的闭式表达式,并建立了与主成分分析密切相关的无连接自编码器的优越性量化分析。我们还证明了这个结果精确 - MM复合批标准化用于长尾图像分类
提出了一种基于高斯混合模型的复合批量归一化方法来解决长尾数据分布下神经网络中特征标准化的问题,并通过使用类感知分裂特征标准化的双路径学习框架来多样化估计高斯分布,以更全面地适应训练样本的处理方式。在多个普遍使用的数据集上的广泛实验表明,该方 - ICML在深度神经网络中找到任务最优的低比特子分布
通过自适应映射量化和高斯混合方法以及直接任务目标优化来对大规模的图像分类和物体检测进行高效部署,同时实现了高达 7.46 倍的移动 CPU 推理加速。
- KDD利用高斯混合生成式对抗网络进行非完备学习
本文研究了如何使用基于高斯混合生成对抗网络的新颖在线非穷尽学习模型来检测测试数据中出现的新兴类别实例,实验表明 NE-GM-GAN 方法比目前现有的方法可以更好地检测流数据中的新类别实例。
- ACL通过生成树状主题引导的句子进行无监督抽象意见摘要
本文提出了一种基于高斯混合模型的新颖非监督式抽象摘要方法。实验结果表明,该方法生成的主题句适合作为观点文本摘要,并且更具信息量和覆盖面。
- 更好的潜变空间使得自编码器更优秀
该论文利用高斯混合和狄利克雷潜空间从 (变分) 自编码器的潜空间中推导分类器以解决自编码器在 LHC 异常寻找中的单向处理问题,并提高了网络的性能和可解释性。
- 稳健地学习 $k$ 个任意高斯分布的混合
在固定 $k$ 个任意高斯分布的混合物和常量级别的数据污染的情况下,我们提出了一个用于稳健估计的多项式时间算法。该算法的主要工具有基于平方和方法的有效局部聚类算法和允许 Frobenius 范数和低秩项误差的新型张量分解算法。
- 高斯混合分类中随机梯度下降的动力学平均场理论
通过使用动力学均场理论的方法,我们分析了随机梯度下降在单层神经网络分类高维高斯混合数据上的学习动态。我们通过定义一种随机过程将随机梯度下降扩展到连续时间极限,称之为随机梯度流,并探讨了算法控制参数对其在损失函数空间中的导航的影响。
- 使用高斯混合变分自编码器从分子模拟中生成可解释的嵌入
本研究论文介绍了使用 Gaussian mixture variational autoencoder(GMVAE)进行分子模拟数据的降维和聚类,以及其在构建 Markov 状态模型方面的潜在应用。
- MultiPath: 多重概率锚定轨迹假设用于行为预测
以未来状态序列锚点为基础,为多模式轨迹概率分布预测提供了一个有效的解决方案。
- 正则化和非正则化经验风险最小化的高维分类:精确误差和最优损失
本文通过理论分析,在高维数据考虑时,通过经验风险最小化框架的分类性能,针对两类高斯混合问题,提出了精确的分类误差预测,并且提出了在岭正则化和非正则化的情况下,都采用简单的平方损失作为高维分类的最优选择。
- 混合密度生成对抗网络
本文提出了一种新型 GAN 变体 Mixutre Density GAN,通过在判别器嵌入空间中形成聚类来打破生成器的模式崩塌问题,从而发现不同的数据模式,并在生成高质量图像方面表现出色。
- ICLR高斯混合变分自编码器的深度无监督聚类
我们研究了一个变分自编码器模型(VAE)的变体,其中高斯混合作为先验分布,通过深生成模型实现无监督聚类,通过最小信息约束启发式,缓解了过度正则化问题,并在合成数据、MNIST 和 SVHN 上证明了模型的性能。
- 批量和增量期望最大化的多点集联合对齐
本文提出了一种用高斯混合模型来处理 3D 点云配准问题的算法,能够更好地估计注册参数,并可以用于重建表面。
- 通过 EM 算法估算二元高斯混合分布中心的统计保证
本研究拓展了 EM 算法在高斯混合模型中的应用,并通过随机初始化策略提高了统计精确度。
- 基于高斯混合的 MRF 的模型迭代重建算法及其在低剂量 X 射线 CT 上的应用
本文介绍了一种高效的先验模型 —— 高斯混合 Markov 随机场模型 (GM-MRF),以及通过构建替代函数的新型分析框架,在低对比度和高对比度区域分别控制图像重建锐度的方法。实验证明了该模型在图像去噪和低剂量 CT 重建方面的价值。