重新审视具有随机控制流模型的加权唤醒-睡眠算法
通过对梯度的多次估计，改进比重加权的wake-sleep算法可有效训练Helmholtz machines和deep belief networks模型，同时NADE作为一种更强大的模型代替sigmoidal belief network可以更好地估计后验分布。
Jun, 2014
本研究提出了一种名为Wake-Sleep Recurrent Attention Model的方法，该方法采用了对深度生成模型训练的技术，解决了随机注意力网络在后验推理和随机梯度估计方面的问题，并大大提高了图像分类和字幕生成领域中随机注意力网络的训练时间。
Sep, 2015
本文通过将控制变量与连续松弛相结合的方式来降低离散潜在变量的高方差梯度估计，并引入了一种在线调整松弛度的修改方法，实现了最先进的方差降低并加速了生成建模任务中的收敛。
Mar, 2017
该研究提出了一种基于重要性采样和统计耦合的派生估计器，将分类变量重新参数化作为二进制序列，并进行Rao-Blackwellization，结果表明该方法在离散潜变量训练中具有最先进的性能。
Jun, 2021
本研究比较了使用工程特征向量的传统机器学习模型（包括线性模型和梯度提升模型）与使用深度学习模型在睡眠暂停得分任务中的表现，并在公共数据集上展示了其具有竞争力的性能。观察到工程特征向量的表达力与深度学习模型内部学习的表示相当，这使得传统机器学习模型具有更好的可解释性和成功的历史，可以在临床中得到更好的应用。
Jul, 2022
该研究提出了一种基于重加权唤醒休眠（RWS）算法的大规模并行机器学习方法，可在泛类模型下进行贝叶斯推断，并通过重要性加权和对生成模型中条件独立性的利用，在多项式时间内对所有可能的样本组合进行单独推理。
May, 2023
通过扭曲的神经自适应平滑（NAS-X）方法，我们展示了一种基于重新加权唤醒-睡眠（RWS）的顺序潜变量模型的学习和推理方法。NAS-X适用于离散和连续潜变量，并利用平滑SMC来适应比传统RWS方法更广泛的模型。我们在离散和连续任务上测试了NAS-X，并发现它在推理和参数恢复方面显著优于以前的变分和基于RWS的方法。
Aug, 2023
本研究提出了一种基于神经网络的自动睡眠分期模型（DREAM），通过从生理信号中学习领域通用表示并建模睡眠动力学，解决了睡眠分期研究中的几个关键问题，包括主体生理信号的异质性、从未标记的睡眠信号数据中提取有意义信息以改善预测性能的能力、建模睡眠阶段相互关系的困难以及量化预测不确定性的有效机制的缺乏。实验表明，DREAM在三个数据集上胜过现有的睡眠分期方法；案例研究证明我们的模型可以学习到广义的决策函数，从而在新的主体上表现出良好的预测性能，特别是在测试和训练主体之间存在差异的情况下；使用未标记数据展示了利用未标记的脑电数据的益处；进一步，不确定性量化表明DREAM提供了预测的不确定性，使模型可靠，并有助于在实际应用中帮助睡眠专家。
Dec, 2023
该研究使用多模态多达14,000个参与者的超过100,000个小时的睡眠记录数据集，开发了SleepFM模型，通过对比学习在睡眠阶段分类和睡眠障碍呼吸检测方面的任务表现获得比标准对比学习的表征更好的结果。
May, 2024
利用重新参数化的技术，我们展示了一个小型卷积模型在推断过程中提供了低延迟和高准确性的权衡，且具有较低的内存占用和计算成本。我们的重新参数化模型在准确性方面提高了43%，而与单分支卷积模型相比具有相同的运行时间。与复杂结构如BC-ResNet相比，RepCNN模型的内存使用减少了2倍，运行时间快了10倍。
Jun, 2024