基于深度自编码器的测量矩阵与稀疏支持恢复方法联合设计
关系推断对于从产品推荐到药物发现等应用都是一个重要任务。我们将线性模型扩展成一个浅层自动编码器,用于解决稀疏矩阵补全问题,证明了我们方法在预测药物靶标相互作用和药物疾病关联方面的速度和准确性优势。
Jan, 2024
本文研究自适应压缩感知的结构化信号支持恢复问题。我们研究了几类结构化支持集,表征了通过压缩测量准确恢复此类集合的基本限制,并同时提供了表现接近最优的自适应支持恢复协议。我们表明,通过自适应设计传感矩阵,我们可以获得比非自适应协议更显着的性能增益。这些增益源于自适应感知可以更好地减轻噪声的影响,并更好地利用支持集的结构。
Oct, 2014
本文通过研究基于自编码器的坐标下降方法,证明了只需非常温和的分布性假设,依然可以基于自动学习的 ReLU 等门函数自动挖掘稀疏编码的支撑集,而且在原支撑集附近,正则平方损失的期望梯度的范数绝对值随着稀疏编码维数的增加而渐进地降低。
Aug, 2017
稀疏自编码器在处理高维数据中提取低维表示方面具有实用性。然而,当测试时输入噪声与训练过程中使用的噪声不同时,其性能会显著降低。本文将单隐藏层稀疏自编码器形式化为一种转换学习问题,并提出了一个优化问题,导致了预测模型在测试时对噪声水平具有不变性。换句话说,同样的预训练模型能够泛化到不同的噪声水平。通过基于平方根 Lasso 的提出的优化算法,将其转换成一个新的计算效率高的自编码器架构。通过证明我们的新方法对噪声水平具有不变性,我们通过在去噪任务中使用提出的架构训练网络来评估我们的方法。实验结果表明,与常用的架构相比,训练模型在稳定性上在各种不同类型的噪声情况下有显著改善。
Jun, 2024
本文探讨用长短期记忆网络作为数据驱动模型来解决多观测向量压缩感知问题的方法,可以通过计算每个向量的非零条目的条件概率,使得解码器重构出稀疏向量。在两个真实数据集上的广泛实验表明,本文提出的方法显著优于传统方法,而且不增加压缩感知编码器的任何复杂性。
Aug, 2015
本研究提出了一种基于深度潜在随机变量的自然图像生成模型,其采用新型分布称为修正高斯,其中采用类似 spike-and-slab 的稀疏性,保持了有效的随机梯度变分推断的可微性;通过一个结构化后验分布估计函数的近似,提出了一种新型结构化变分近似方法,避免常规均场假设,并保持了生成模型的先验依赖关系,从而实现了具有许多层潜在随机变量的深度模型的联合训练。
Feb, 2016
通过使用自动编码器学习算法对稀疏高维数据进行压缩,实现对临床笔记的表征特征空间的稀疏性减少,从而提高分类器的分类性能,最终该分类器在检测患者状况时的准确率可达到 92%,召回率、精确率和 f1-score 均为 91%。此外,理论信息瓶颈框架也被应用于该压缩工作机制和自动编码器预测过程的演示。
Sep, 2022