基于压缩感知的多标签预测

Feb, 2009

Multi-Label Prediction via Compressed Sensing

Daniel Hsu, Sham M. Kakade, John Langford, Tong Zhang

TL;DR使用压缩感知的思想，将多标签预测问题简化为二元回归问题，并通过输出码方案实现了该方法，同时保证了鲁棒性。

Abstract

We consider multi-label prediction problems with large output spaces under the assumption of output sparsity -- that the target (label) vectors have small support. We develop a general theory for a variant of the

multi-label prediction output sparsity error-correcting output code compressed sensing regression problems

发现论文，激发创造

极大输出空间的快速标签嵌入

本文提出了利用排名约束估计与低维标签嵌入之间的对应关系来发现一种新的、快速的标签嵌入算法，并展示了其在多类问题和多标签问题中的应用，最终实现了指数级的运行时间优化，其中在两个大规模公共数据集上的结果优于现有技术。

Mar, 2015

使用生成模型的压缩感知

通过生成模型的范围，无需使用稀疏性，基于 Lipschitz 连续性，提出了一种新的压缩感知算法。与 Lasso 相比，可以使用更少的测量来获得相同的精度。

Mar, 2017

关于预测稀疏编码的样本复杂度

本文研究预测性稀疏编码的推广性能，提出了学习界限并通过稳定性特征刻画了稀疏编码器的性质，进而在超完备和高维情况下提供了精确的估计.

Feb, 2012

压缩感知：离散优化方法

本文研究了压缩感知问题，提出了一种基于二阶锥的优化方法，该方法在证明一定正则参数条件下与基础凸优化问题等价的前提下，求解具有优良效果的稀疏向量，该方法相较于当前最优方法具有更高的稀疏性和更低的重构误差

Jun, 2023

带交叉验证的压缩感知

本文研究如何通过 Compressed Sensing 的解码算法，基于少量的测量（如信号中的采样点），恢复一个高维向量数据的信息，并且探讨了其稀疏性水平如何影响该方法的质量保证。

Mar, 2008

利用生成模型的鲁棒压缩感知

本文提出基于中位数均值的算法用于压缩感知中估计高维向量，具有重尾或异常值数据的鲁棒性，同时理论结果表明该算法在次高斯假设下具有与经验风险最小化相同的样本复杂度保证。

Jun, 2020

1 位压缩感知与稀疏逻辑回归的鲁棒性：凸规划方法

论文使用单一的凸优化程序分别对于噪声的一位非压缩感知和稀疏二项回归进行精确估计。作者展示，使用简单的凸优化程序，可以从单位比特量度中精确地估计在 R ^ n 中的 s 稀疏信号。

Feb, 2012

一个高效的聚类多任务压缩感知算法

本文提出了一种新的算法，通过避免显式计算协方差矩阵结合蒙特卡洛抽样和迭代线性求解器，从而大大加速模型推断。与现有基准相比，实验表明我们的算法在速度上可快数千倍，内存利用率提升一个数量级。

Sep, 2023

分布式压缩感知：深度学习方法

本文探讨用长短期记忆网络作为数据驱动模型来解决多观测向量压缩感知问题的方法，可以通过计算每个向量的非零条目的条件概率，使得解码器重构出稀疏向量。在两个真实数据集上的广泛实验表明，本文提出的方法显著优于传统方法，而且不增加压缩感知编码器的任何复杂性。

Aug, 2015

大规模图像分类的信息理论标签嵌入

本文介绍了一种用于训练多标签、大规模多类别图像分类模型的方法，通过将高维稀疏标签嵌入到具有单位范数的低维密集球体上，并将分类问题视为该球体上余弦相似度回归问题，其比基于逻辑回归的 sigmoid 交叉熵损失函数的监督方法更快更准确，经过在 300 million 高分辨率图像和 17,000 标签的数据集上测试，相对于逻辑回归，该方法收敛速度明显提高，平均精度也提高了 7%。

Jul, 2016