结构化散列投影的二进制嵌入
本文使用基于结构化随机矩阵和正交行的嵌入,分析了其在机器学习中的应用,包括降维和核逼近,同时通过实证结果证明了该方法在各种机器学习应用中具有明显提高精度和 / 或速度的效果。
Mar, 2017
本文提出了一种基于量化的快速 Johnson-Lindenstrauss 嵌入法,该方法使用有界正交系统和部分循环集合进行快速的嵌入,并利用噪声整形实现积极的降噪机制,该方法的误差多项式和指数衰减,是当前二进制嵌入和汉明距离所能达到的巅峰效果;此外,本文还提出了一种基于噪声整形机制的量化压缩感知度量方法,该方法在测量值的数量和比特数上实现了误差的多项式和指数衰减,是目前处理有限正交系统的最优表现。
Jan, 2018
提出一种方案,通过随机嵌入将高斯随机向量回收到结构化矩阵中,以实现对各种核函数的近似,该方案可在亚线性时间内完成。其中包括 Fastfood 构造作为特例,还可扩展到周而复始、托普利兹和汉克尔矩阵以及广泛的结构化矩阵家族,该矩阵家族的特征在于低位移秩的概念。介绍了控制逼近质量的相干性和图论结构常数的概念,并证明了在我们的框架内出现的随机特征映射的无偏性和低方差性质。对于低位移矩阵的情况,我们展示了如何控制结构和随机性的程度,以降低统计方差的代价,但需要增加计算和存储要求。实证结果强烈支持我们的理论,并证明了使用随机特征来扩展核方法的可行性。
May, 2016
通过将图表数据的嵌入视为不同偏置下的独立硬币翻转,应用持续优化技术来获得二元向量的简单且有效模型,得出了优于谱图嵌入和各种学习实值嵌入的量化结果,可以显著降低图表数据检索的延迟。
Mar, 2018
本文介绍了一种基于二次随机投影的双线性随机投影方法,通过对特征矩阵进行投影并生成二进制编码,从而实现相似性搜索。实验结果表明该方法具有较高的有效性。
Jun, 2015
分析了一种用于邻接矩阵的随机投影方法,研究其在表示稀疏图中的实用性,展示了这些随机投影保留了其底层邻接矩阵的功能,同时具有额外的特性,使它们作为动态图表示具有吸引力。特别地,它们可以在相同的空间中表示不同大小和顶点集的图,从而实现对图的聚合和操作的统一方式。同时提供关于投影大小需要如何扩展以保留准确的图操作的结果,表明投影的大小可以与顶点数线性扩展,同时准确地保留一阶图信息。最后,将这种随机投影描述为保持距离的邻接矩阵映射,类似于通常的 Johnson-Lindenstrauss 映射。
Sep, 2023
本研究提出了一种利用随机超平面投影和量化技术,减小预处理数据的存储和带宽需求,从而使得边缘设备可以高效地进行推理和训练,并且在多语言句子分类任务中保持了良好的性能。
Mar, 2023
该研究提出了一种新型的两阶段哈希方法,通过残差学习方案构建二进制码以适应任意区域结构,并且使用高容量哈希函数(如 CNNs),可以在许多标准邻域定义中大大简化二进制代码推断,从而产生更强大的代码,该方法在广泛使用的图像检索基准测试中表现优异。
Aug, 2018