ICMLJun, 2012

学习高效结构稀疏模型

PDF
TL;DR本文提出了一个用于结构化稀疏编码和建模的综合框架，扩展了使用可学习的快速回归器来逼近精确稀疏编码的最近思想，并演示了一个有效的前馈体系结构来近似精确结构化稀疏编码与标准优化方法相比，此体系结构的复杂性仅为一小部分，并且可以应用于大规模实时应用，因此该框架适用于大规模应用的实时情况。
structured sparse codinglearnable fast regressorsproximal splitting methodsparse encoderslarge-scale applications
发现论文，激发创造
  • 结构化稀疏学习

    本文研究了一种新的学习方法 —— 结构稀疏学习，它是统计学习和压缩感知标准稀疏概念的自然扩展，通过允许特征集合上的任意结构，该概念推广了近年来流行的组稀疏思想。文中提出了一种基于结构编码复杂度的学习结构稀疏的通用理论。如果目标信号的编码复杂度小，则可以通过使用编码复杂度正则化方法，实现更好的性能；此外，文中还提出了一种结构贪婪算法，该算法在适当条件下近似解决了编码复杂度优化问题，通过实验展示了结构稀疏在一些实际应用中优于标准稀疏的优势。

    Mar, 2009

  • 分层稀疏编码的邻近优化方法

    该研究论文探讨了一种基于树形结构稀疏正则化规范的稀疏编码方法，提出了一种有效算法用于其优化，并通过图像、文本等实验结果展示了其在字典学习、噪声去除、主题学习等方面的应用潜力。

    Sep, 2010

  • 结构稀疏编码的快速逼近及其在物体分类中的应用

    提出了一种基于二叉决策树的稀疏编码快速逼近方法，并通过在对象识别中的应用证明了该方法的有效性。

    Feb, 2012

  • 通过矩阵分解理解可训练稀疏编码

    本文研究了利用神经网络加速解决数据分析和机器学习中稀疏编码优化问题的原因，发现其加速与字典的 Gram 矩阵核的一个特定矩阵分解有关，且优化加速条件主要存在于迭代过程的开始阶段。

    Sep, 2016

  • 自适应学习的稀疏编码算法

    本文提出了自适应稀疏编码（Self-Paced Sparse Coding，SPSC）框架，可逐步从简单到复杂地包含矩阵元素到编码学习中，以提高其学习鲁棒性并推广到不同层次的自适应学习。试验结果表明了该算法对于处理真实数据的有效性。

    Sep, 2017

  • 稀疏编码的简单、高效、神经算法

    本文提出了一套通用的框架用于理解交替最小化原理并分析已有的稀疏编码算法，同时设计了具备可证明保障的新算法并在简单的神经结构上实现；给出了首个高效的稀疏编码算法，可以接近或超过用于不相关字典稀疏恢复的信息理论极限，同时改善了现有方法的样本复杂度。

    Mar, 2015

  • 采用分层稀疏编码学习单词表现

    提出了一种使用启发自单词意义语言学研究的稀疏编码中的分层正则化来学习单词表示的新方法，并展示了一种基于随机近端方法的高效学习算法，用于处理数十亿单词令牌的层次稀疏编码，实验表明该方法在各种基准任务上的表现优于或与最先进的方法相媲美。

    Jun, 2014

  • 快速结构化字典学习分析

    本文研究基于稀疏性的模型和技术在信号处理和图像应用中的应用，提出了针对特定结构的稀疏化运算符学习问题的交替最小化算法，并对其收敛性进行了分析，证明了在某些假设下，该算法收敛于数据的基础稀疏化模型。同时，数值模拟表明该算法对初始值具有较强的鲁棒性。

    May, 2018

  • V1 的稀疏几何自编码器模型

    该论文提出了一种基于自编码器的结构稀疏方法，可以更好地匹配灵长类数据，使用加权 L1 约束的自编码器目标函数保留了稀疏编码框架的核心思想。

    Feb, 2023

  • 学习任务特定的深度聚类架构

    本研究提出了一种基于稀疏编码和深度学习相结合的聚类方法，利用图形正则化稀疏编码算法构建 TAGnet 前馈神经网络，并通过添加聚类任务计算 DTAGnet 网络，实验结果表明该方法在效率与可伸缩性方面明显优于其他先进方法。

    Sep, 2015