May, 2023

通过 Johnson-Lindenstrauss 矩阵进行标签嵌入

PDF
TL;DR本文介绍一种基于 Johnson-Lindenstrauss 矩阵的极端多类分类的简单可拓展的框架，该框架使用 JLM 的列来嵌入标签，将分类问题转换为具有对数 C 输出维度的回归问题，并通过冗余分析，揭示了计算效率和预测精度之间的折衷关系。我们的方法易于并行化，并且实验结果表明，在大规模应用中具有有效性和可扩展性。
multiclass classificationjohnson-lindenstrauss matricesdimension reductionexcess risk boundscalability
发现论文，激发创造
  • 随机线性代数快速标签嵌入

    本文介绍了一种利用等级约束估计和低维度标签嵌入之间的对应关系发现的快速标签嵌入算法，该算法适用于多类和多标签数据集，并且其运行时间比朴素算法快效果显著，该方法在两个大规模公共数据集上进行了验证，并获得了最先进的结果。

    Dec, 2014

  • 结构化随机正交嵌入的不合理有效性

    本文使用基于结构化随机矩阵和正交行的嵌入，分析了其在机器学习中的应用，包括降维和核逼近，同时通过实证结果证明了该方法在各种机器学习应用中具有明显提高精度和 / 或速度的效果。

    Mar, 2017

  • 极大输出空间的快速标签嵌入

    本文提出了利用排名约束估计与低维标签嵌入之间的对应关系来发现一种新的、快速的标签嵌入算法，并展示了其在多类问题和多标签问题中的应用，最终实现了指数级的运行时间优化，其中在两个大规模公共数据集上的结果优于现有技术。

    Mar, 2015

  • 关于 $R^N$ 紧致子流形的快速约翰逊 - 林登斯特劳斯嵌入

    本文考虑使用随机矩阵将具有边界的流形嵌入到低维空间中，进而得出一类新的结构化矩阵分布，其在嵌入低维流形方面具有优势，并且可以用于构造 log^cN 维的 Johnson-Lindenstrauss 嵌入矩阵，并且在计算矩阵乘法的复杂度上仅仅是 O (N log (logN))。

    Oct, 2021

  • 大规模图像分类的信息理论标签嵌入

    本文介绍了一种用于训练多标签、大规模多类别图像分类模型的方法，通过将高维稀疏标签嵌入到具有单位范数的低维密集球体上，并将分类问题视为该球体上余弦相似度回归问题，其比基于逻辑回归的 sigmoid 交叉熵损失函数的监督方法更快更准确，经过在 300 million 高分辨率图像和 17,000 标签的数据集上测试，相对于逻辑回归，该方法收敛速度明显提高，平均精度也提高了 7%。

    Jul, 2016

  • Sparser Johnson-Lindenstrauss 变换

    本研究提供了两种简单的 $l_2$ 线性映射降维构造方法，通过使用稀疏嵌入矩阵使扭曲度达到 $1 + \varepsilon$，并在行数方面达到渐近优化，从而实现子常数稀疏，在所有参数值方面均优于先前的研究，并可用于加速应用程序中的 $l_2$ 维度约减。

    Dec, 2010

  • 减少随机位数的低内存忘却（张量）子空间嵌入：最小二乘的模态方法

    该论文提出了一种新的 Johnson-Lindenstrauss（JL）子空间嵌入方法，适用于极大向量和张量，对两种低维（张量）子空间证明了相应的嵌入结果，并在压缩和最小二乘问题中取得了良好的数值效果。

    Dec, 2019

  • 极端多标签学习的本地非线性嵌入

    本文介绍了 X-One 分类器，其使用小型本地距离保存嵌入，可以准确预测罕见（尾部）标签的聚合，提高了分类准确性，可有效且较之于嵌入法和树法的现有极端多标签分类算法，对于拥有百万标签的数据集也能高效扩展。

    Jul, 2015

  • 基于 JL 引理推导的优化投影用于判别式字典学习

    通过使用 JLSPCADL 方法，利用 Johnson-Lindenstrauss 引理选择转换空间的维度，并使用 Modified Supervised PC Analysis 与 JL 确定的维度的投影转换矩阵，建立一个具有更好分类性能的优化特征空间和字典原子的适当畸变水平和相应的适当描述长度。

    Aug, 2023

  • 朝标签嵌入方向 -- 评估分类的难度

    对卫星影像的分类中，使用多个标记者的多次标记结果，通过贝叶斯方法中的 Dirichlet-Multinomial 模型，在 K 维空间中对标记结果进行嵌入，以解决不确定性量化和分类中的模糊性问题。

    Nov, 2023