使用展开的公路期望最大化提升梯度流

AAAIDec, 2020

使用展开的公路期望最大化提升梯度流

Improving Gradient Flow with Unrolled Highway Expectation Maximization

Chonghyuk Song, Eunseok Kim, Inwook Shim

TL;DR提出了基于 Newton-Rahpson 方法的高速期望最大化网络（HEMNet），可以有效缓解梯度消失问题，并在多个语义分割基准测试中实现了显著性能提升。

Abstract

Integrating model-based machine learning methods into deep neural architectures allows one to leverage both the expressive power of deep neural nets and the ability of model-based methods to incorporate domain-specific knowledge. In particular, many works have employed the expectation

model-based machine learning deep neural architectures expectation maximization algorithm hemnet semantic segmentation

发现论文，激发创造

概率展开优化：面向潜在高斯模型的可扩展、无需反演的最大似然估计

本文提出了一种用概率展开和迭代线性求解器相结合的方法，以绕过矩阵求逆的问题来学习潜在高斯模型，在实验中发现，这种方法可以比传统梯度期望极大化算法快一个数量级地学习潜在高斯模型。

Jun, 2023

高速公路和残差网络学习展开式迭代估计

该论文探讨了高速公路网络和残差网络的新颖架构，并提出了基于展开迭代估计的另一种观点，该观点直接导致了高速公路和残差网络的构建。

Dec, 2016

HEMET: 一种支持同态加密的隐私保护移动神经网络架构

本论文提出了一种 HEMET 的 HE 友好型隐私保护移动神经网络架构，相较于之前的 PPNNs，HEMET 可以降低推理延迟 59.3%~61.2% 并提高 0.4%~0.5% 的推理精度。

May, 2021

端到端基于模型学习的折叠优化

该论文提供了对展开优化器反向传播的理论洞见，从而得到了一个系统，用于生成等效但可有效求解的分析模型，并提出了一种统一的展开和分析微分的方法。实验表明，该方法在各种结构预测和决策导向的学习任务中具有潜在的计算和增强表现能力。

Jan, 2023

高维期望最大化算法：统计优化和渐近正态性

本文提供了一个关于期望最大化 (EM) 算法应用于高维潜变量模型推断的一般理论。作者提出了一个新的高维 EM 算法，自然地融入了稀疏结构到参数估计中。基于估计值，作者提出了新的推论程序来测试假设并构建置信区间。这个算法针对广泛的统计模型，提供了高维最先进的估计和渐近推断的第一个可计算的方法。

Dec, 2014

面向超参数化高斯混合模型梯度 EM 算法的全球收敛

在过参数化的设置中，我们研究了高斯混合模型（GMM）的梯度期望最大化（EM）算法，通过单个真实高斯分布生成的数据来学习具有 n > 1 个分量的一般 GMM。通过构建一个新的基于似然度的收敛性分析框架，我们严格证明了梯度 EM 以 sublinear 速率 O (1/√t) 具有全局收敛性，这是关于具有多于 2 个分量的高斯混合模型的首个全局收敛结果。子线性收敛速率是由于学习过参数化 GMM 的算法性质所导致的。我们还确定了学习一般过参数化 GMM 的新技术挑战：存在能够在指数步数内困住梯度 EM 的不良局部区域。

Jun, 2024

神经期望最大化

本文研究了如何在推理和物理交互等任务中自动发现分布式符号样式表示，通过使用不同 iable 的聚类方法，并验证其有效性。

Aug, 2017

混合分层结构的循环神经网络和 EM 算法在自然语言处理中的应用

该研究提出了一种名为 EM-HRNN 的新型架构，通过隐式层次信息（例如短语）的学习，进一步发展了 EM 算法来处理隐藏层，使文本的分层结构更加简单，并且证明在文档分类任务中，EM-HRNN 模型能够优于其他基于 RNN 的模型和相似于 Bert-base 的 Transformer 方法的性能，尽管前者是更小的模型且不需要预训练。

Jan, 2022

高斯混合模型的量子期望最大化

本研究提出一个基于量子算法的 EM 算法版本，用于解决高维 Gaussian 混合模型拟合问题，相较于传统算法有更快的收敛速度和更高的精度，并且能够推广到指数族分布，提供同样的计算保障。

Aug, 2019

混合噪声和条件深度推理网络的后验估计

通过期望最大化算法，我们提出使用条件归一化流来近似后验概率，在贝叶斯逆问题中联合估计后验和噪声参数，应用于间接测量和纳米计量领域，该模型能够整合多种测量信息。

Feb, 2024