Jun, 2018

多层基 Pursuit，高效算法和卷积神经网络

PDF
TL;DR本文介绍了一种基于多层卷积稀疏编码模型的新型问题求解方法，并探究了这种算法在递归卷积神经网络实现中的应用。研究发现，这种方法在监督学习任务中优于传统的 CNN 模型表现。
sparse codingconvolutional neural networksmultilayer iterative thresholdingrecurrent neural networksunsupervised learning
发现论文，激发创造
  • 多层卷积稀疏建模：追踪与字典学习

    本研究提出了一种新的解释卷积神经网络的模型，即多层卷积稀疏编码模型，并解决了该模型展开等问题，进而把该模型用于无监督学习中的不同应用中，取得了有竞争力的结果。

    Aug, 2017

  • 通过卷积稀疏编码分析卷积神经网络

    提出了一种新的多层模型，ML-CSC，其信号被假定为从一系列 CSC 层中出现。CNN 的前向传递实际上是服务于 ML-CSC 模型的阈值追踪，将 CNN 与 ML-CSC 模型紧密联系起来，为 CNN 带来了新的视角，同时也提出了一个与去卷积网络相关的前向通道替代方案，具有更好的理论保证。

    Jul, 2016

  • 局部处理的卷积字典学习

    本文介绍了基于局部稀疏度量的全局模型，解决了传统基于补丁的稀疏表达的限制，通过操作图像补丁来解决卷积稀疏追踪问题并训练涉及的滤波器，为图像修补和分离问题提供了一种直观的算法。

    May, 2017

  • 多层稀疏编码：全面的方法

    本文研究了多层稀疏模型的构建与应用，将其与卷积神经网络和全连接网络进行了关联，提出一种新的综合算法 ——Holistic Pursuit 算法，可以同时估计所有模型中的表示，并在实验中取得了良好的表现。

    Apr, 2018

  • 重新思考自然图像的 CSC 模型

    本文研究了基于稀疏表示和卷积的稀疏编码模型在图像处理中的应用，提出了与此模型相关的贝叶斯理论，并使用分阶段卷积的前馈网络构建了一个新的模型，用于降噪等任务。实验证明，该模型的性能可以达到与现有技术相当水平，同时使用的参数明显更少。

    Sep, 2019

  • 学习展开稀疏编码的步长

    本文研究了 ISTA 算法中的选适应性步长的方法，提出了学习 ISTA 步长的网络结构，实验证明该方法与现有最先进的网络相比是具有竞争力的。

    May, 2019

  • 卷积稀疏编码学习

    我们提出了一种基于卷积循环稀疏自编码器模型，采用了一种简单的方法学习任务驱动的稀疏卷积字典，通过梯度下降和反向传播进行训练，取得与 KSVD 图像去噪和领先的 CSC 方法相竞争的结果，且仅需要他们运行时间的一小部分。

    Nov, 2017

  • 通过矩阵分解理解可训练稀疏编码

    本文研究了利用神经网络加速解决数据分析和机器学习中稀疏编码优化问题的原因，发现其加速与字典的 Gram 矩阵核的一个特定矩阵分解有关，且优化加速条件主要存在于迭代过程的开始阶段。

    Sep, 2016

  • 学习高效的稀疏和低秩模型

    本篇研究提出了一种基于固定复杂度追踪过程的节约建模方法，该方法将重点从模型转移到了追踪算法。这些结构性稀疏和鲁棒低秩模型的可学习追踪过程架构能够以最小复杂度的方式近似精确的节约表示，适用于大规模数据和实时性能强的应用场景，并且可以在区分学习模式下自然地扩展。在图像和音频处理的几个重要问题上，与精确优化算法相比，研究获得了几个数量级的加速，取得了最先进的效果。

    Dec, 2012

  • 学习迭代阈值算法的最优非线性函数

    本论文提出了一种使用神经网络和误差反向传播算法学习最优阈值函数的数据驱动迭代收缩阈值算法（ISTA），并在稀疏统计信号上进行模拟实验，证明了这种算法在估计质量上的潜在提升。

    Dec, 2015