此论文研究了利用哈希机制来构建二进制嵌入的方法,该方法包括伪随机投影和非线性映射,使用结构化矩阵可以有效地压缩信息并降低随机性使用,实验证明了其对神经网络学习性能和最近邻分类器性能的依赖关系。
Nov, 2015
提出一种方案,通过随机嵌入将高斯随机向量回收到结构化矩阵中,以实现对各种核函数的近似,该方案可在亚线性时间内完成。其中包括 Fastfood 构造作为特例,还可扩展到周而复始、托普利兹和汉克尔矩阵以及广泛的结构化矩阵家族,该矩阵家族的特征在于低位移秩的概念。介绍了控制逼近质量的相干性和图论结构常数的概念,并证明了在我们的框架内出现的随机特征映射的无偏性和低方差性质。对于低位移矩阵的情况,我们展示了如何控制结构和随机性的程度,以降低统计方差的代价,但需要增加计算和存储要求。实证结果强烈支持我们的理论,并证明了使用随机特征来扩展核方法的可行性。
May, 2016
本文介绍一种基于 Johnson-Lindenstrauss 矩阵的极端多类分类的简单可拓展的框架,该框架使用 JLM 的列来嵌入标签,将分类问题转换为具有对数 C 输出维度的回归问题,并通过冗余分析,揭示了计算效率和预测精度之间的折衷关系。我们的方法易于并行化,并且实验结果表明,在大规模应用中具有有效性和可扩展性。
May, 2023
本研究提供了两种简单的 $l_2$ 线性映射降维构造方法,通过使用稀疏嵌入矩阵使扭曲度达到 $1 + \varepsilon$,并在行数方面达到渐近优化,从而实现子常数稀疏,在所有参数值方面均优于先前的研究,并可用于加速应用程序中的 $l_2$ 维度约减。
Dec, 2010
通过对具有 k 阶和级别 δ 的稀疏矩阵 Phi 进行列符号随机化,该结果可以很好地嵌入 R^N 中的任何固定点集至 R^m 中,是 Johnson-Lindenstrauss 嵌入的最优算法,在部分 Fourier 和部分 Hadamard 矩阵中,该算法优于各种最优算法。此外,该研究结果在冗余字典的压缩感知中也具有直接应用。
Sep, 2010
本文提出了一种无监督建模方法,通过引入新的相似度度量和矩阵嵌入的优化问题,可以更加灵活地表示文本嵌入,并在文档分类、文档聚类和语义文本相似性基准测试等方面得到改进的结果。
Nov, 2022
本文表明一个特定结构的随机矩阵在降维方面类似于随机高斯矩阵,并且包括一些可以对矩阵 - 向量乘法进行 O (log n) 次计算的矩阵,从而提供了一种有效的通用集降维方法。通过连接任何集降维并使用链式论证将其连接到稀疏向量的降维,我们表明使用此类矩阵可以将高维度的任何集嵌入到较低的维度中,并且失真非常小。
Jun, 2015
本文提出了利用次高斯矩阵进行欧几里德降维的理论,该理论统一了先前针对特定数据集获得的几个限制等距性和约翰逊 - 林登斯特劳斯类型结果。特别是,我们恢复了并在多种情况下改进了关于稀疏向量、结构化稀疏向量、低秩矩阵和张量、平滑流形集合的结果。此外,本文还为采用 Hilbert 空间子空间无限并形式的数据集建立了新的约翰逊 - 林登斯特劳斯嵌入。
Feb, 2014
本文介绍了一种利用等级约束估计和低维度标签嵌入之间的对应关系发现的快速标签嵌入算法,该算法适用于多类和多标签数据集,并且其运行时间比朴素算法快效果显著,该方法在两个大规模公共数据集上进行了验证,并获得了最先进的结果。
Dec, 2014
本文介绍了一种基于复杂嵌入的统计关系学习方法,在实现表达能力和时间 / 空间复杂度之间权衡的同时,探索了这种复杂嵌入和酉对角化之间的联系,提出的嵌入方法仅涉及共轭内积,具有良好的可扩展性和高准确率。
Feb, 2017