- 建筑对抗鲁棒性:深度追踪的案例
该研究提出了一种名为 Deep Pursuit 的全局优化方法,通过将前向传播网络的每一层重新框架为一个稀疏编码问题来解决深度神经网络的对抗性攻击问题,其实现稳定且在对抗性噪声下表现更优。
- 基于速率压缩原理的深度网络
该研究尝试从速率减少和(移位)不变分类的原理解释现代深度(卷积)网络,并提供了一种基于梯度优化方案的前向传播方法来构建网络,其中包括层级结构,线性和非线性操作以及参数。此方法还揭示和证明了深度网络早期阶段的多通道升级和稀疏编码的作用,正式强 - ISTA-NAS:通过稀疏编码实现高效、一致的神经架构搜索
通过稀疏编码的方法,进行可微的搜索及网络结构恢复,以满足稀疏性约束,提高了神经结构搜索的效率和性能。
- 扩展稀疏表示法的表现力
研究了一种简单的稀疏编码机制及其在学习中的应用,发现可以利用随机线性变换和 Winner-Take-All 过程将输入信息 $x$ 变换成更易于处理的稀疏向量 $z$,并且当 $m$ 足够大时,$z$ 可以近似表示 $x$ 的任意连续函数。 - Ada-LISTA:适应不同模型的学习求解器
本文介绍一种自适应学习求解器 Ada-LISTA,它使用输入的信号及其对应的字典对来学习一个通用架构,用于解决包括字典扰动和排列在内的各种模型的稀疏编码问题。我们证明这种方案保证能够在线性速率下解决这个问题,并提供了广泛的数值研究来证明其实 - 多模态图像恢复与融合的深度卷积神经网络
本论文提出了一种新颖的深度卷积神经网络,用于解决多模态图像恢复和融合问题,其架构从多模态卷积稀疏编码模型中得到启发,具有自动分离共享于不同模态之间的公共信息和属于单一模态的独特信息的特点,命名为 CU-Net, 由 3 个模块组成,可以在各 - 使用 D-Wave 2X 上的量子推理进行图像分类
利用量子退火 D-Wave 2X 计算机实现稀疏编码问题的最优解,通过瓶颈自编码器将 MNIST 图像降维,再使用类似 AlexNet 的 TensorFlow 结构进行分类。利用线性支持向量机对 D-Wave 2X 推断出的稀疏表示进行分 - 学习展开稀疏编码的步长
本文研究了 ISTA 算法中的选适应性步长的方法,提出了学习 ISTA 步长的网络结构,实验证明该方法与现有最先进的网络相比是具有竞争力的。
- ICLRNOODL: 可证明的在线字典学习和稀疏编码
通过开发 NOODL (一种可行的神经可塑性交替优化在线字典学习算法)来解决字典学习中字典和系数参数优化是不凸问题的挑战,并在必要时对稀疏系数进行支持恢复,进而提高了在稀疏信号处理和神经网络等领域的实际应用价值。
- AAAI从生成器网络中诱导稀疏编码和与或语法
通过在生成器网络的特征图上应用稀疏操作,我们介绍了一种可解释的生成模型,该模型使用稀疏激活来获得有意义的分层表示,并且从底层到顶层的卷积核可以逐层地学习基元、对象部件和整个对象;我们提出了一种诱导图像的稀疏编码和 AND-OR 语法的方法, - 次梯度下降学习正交字典
本文研究字典学习中稀疏编码问题,在合理的数据统计假设下,我们基于随机初始化的次梯度下降算法,可以证明地恢复出非光滑、非凸的 L1 范数最小化问题的正交字典,相对于之前需要昂贵计算或精细初始化的证明方法有不同的优势。我们的分析开发了多种工具来 - ECCV一种三边加权稀疏编码方案 —— 用于现实世界图像降噪
本研究提出了一种三边加权稀疏编码方案,用于从实际噪声的影响下提高图像去噪的效果,相比于之前的现有方法表现更为优异。
- 稀疏流形变换
提出了将稀疏编码、流形学习和慢特征分析方法相结合的信号表示框架,称为 “稀疏流形变换”。这个无监督和生成性的框架,能够显式地、同时地模拟自然场景中发现的稀疏离散性和低维流形结构,具有近似可逆性,并能够用于层级嵌套的建模。通过在合成数据和自然 - 多层基 Pursuit,高效算法和卷积神经网络
本文介绍了一种基于多层卷积稀疏编码模型的新型问题求解方法,并探究了这种算法在递归卷积神经网络实现中的应用。研究发现,这种方法在监督学习任务中优于传统的 CNN 模型表现。
- 多层稀疏编码:全面的方法
本文研究了多层稀疏模型的构建与应用,将其与卷积神经网络和全连接网络进行了关联,提出一种新的综合算法 ——Holistic Pursuit 算法,可以同时估计所有模型中的表示,并在实验中取得了良好的表现。
- 使用稀疏支持恢复学习简单的阈值特征
本文介绍了阈值特征作为稀疏编码推理过程的一个高效近似方法,并提出了字典学习优化模型 DLTF,研究了它的性能表现及其与深度学习建筑块之间的潜在联系。
- 通过领域自适应字典学习实现跨域视觉识别
本文提出了一种新的领域自适应字典学习框架用于跨领域视觉识别,该方法通过学习一组中间领域,形成一个平滑的路径来弥补源域和目标域之间的差距,并通过分离共享字典和特定字典来实现更紧凑和再现性字典的学习,通过领域自适应稀疏编码和字典更新步骤学习。实 - KDDLSALSA:通过学习稀疏编码加速源分离
本研究提出了一种用于稀疏编码(SC)问题的高效算法,既适用于单个字典设置,又适用于形态学组分分析(MCA)中的多个字典设置;该算法采用深度学习结构,可以加速获得稀疏编码,并在提高运行速度、提高数据质量和改善视觉清晰度方面取得了巨大的改进。
- 学习少重叠表示
探讨了一种新型正则化方法,通过鼓励支持 RL 模型的权重向量具有小重叠度,同时促进向量之间的近正交性和每个向量的稀疏性来解决学习表征中的解释性和过拟合问题,并将其应用于神经网络和稀疏编码模型中,提出了一种高效的 ADMM 算法进行规则化,并 - NIPS交替极小化字典学习:局部收敛保证
利用替代最小化算法,本篇论文提出了一种字典学习 / 稀疏编码问题的理论保证算法。与以往的理论分析不同,该算法在真实字典的运算符范数条件上转换为矩阵无穷范数条件,并具有信息理论上的优化稀疏性和适应不同过完备度的特点,同时也确立了算法的样本复杂