Oct, 2023

基于正交基和谱变换的快速机器学习方法

PDF
TL;DR该论文介绍了一种新颖的快速机器学习方法，利用了两种技术：正交基向量嵌入（VEOB）和谱变换（ST）。该方法通过将原始数据编码转换为在正交基向量上投影的向量嵌入，采用奇异值分解（SVD）技术计算向量基和投影坐标，从而在嵌入空间中实现了增强的距离测量，并通过保留与最大奇异值相关的投影向量来实现数据压缩。同时，它还利用离散余弦变换（DCT）将向量数据序列转换到谱空间，并选择最重要的分量，以简化对于长向量序列的处理。该论文提供了使用这种方法在 Julia 语言中实现的词嵌入、文本块嵌入和图像嵌入的示例，并探讨了使用该方法进行无监督学习和监督学习的策略，以及如何处理大数据量。
fast machine learningvector embedding on orthonormal basis (veob)spectral transform (st)data compressionunsupervised learning
发现论文，激发创造
  • 压缩谱嵌入：避开 SVD

    本文提出一种基于随机投影与有限阶多项式拓展计算奇异值分解嵌入的压缩光谱嵌入算法，其降维效果与计算复杂度不受特征向量数量影响。此算法对聚类和分类等下游推断任务的对比相似度度量具有较好效果。

    Sep, 2015

  • 多视角谱聚类的必要张量学习

    本文提出了一种基于马尔科夫链的谱聚类方法，并利用一种新颖的本质张量学习方法探索了多视角表示的高阶相关性，通过 Tensor Singular Value Decomposition 基于张量核范数以保持本质张量的低秩性，同时减少了计算复杂性，我们还使用张量旋转运算符进一步研究不同视图之间的关系，该方法可以通过交替方向乘子法（ADMM）高效优化，实验结果表明在六个具有不同应用的真实世界数据集上，我们的方法优于其他最先进的方法。

    Jul, 2018

  • 等角基向量

    利用等角基向量（EBVs）代替常规全连接分类器，生成正规化向量嵌入作为 “预定义分类器”，通过最小化输入嵌入与分类 EBV 之间的球形距离，在推理过程中识别与最小距离的分类 EBV 以得出预测，实验证明该方法在提升分类性能的同时节省额外计算量。

    Mar, 2023

  • 稳定的 Barzilai-Borwein 步长的随机非凸序嵌入

    通过引入一种新的稳定 Barzilai-Borwein (SBB) 方法，我们提出了一种叫做 SVRG-SBB 的随机算法，用于从相对相似性比较中学习表示，该方法不需要使用奇异值分解（SVD），具有良好的可扩展性以及自适应步长选择。 同时，我们通过仿真和实验的方法，展示了该算法与最先进的方法相比，具有更低的计算成本和良好的预测性能。

    Nov, 2017

  • 从压缩测量中恢复谱特征的描绘 SVD

    本文考虑一种流式数据模型，通过计算奇异值分解和草图矩阵，获得与原始数据矩阵非常接近的奇异值和奇异向量。同时，将其应用于流图算法来近似计算具有低秩的计算机网络图 Laplacian 的特征值和特征向量。

    Nov, 2012

  • 无需参数的正交基句子嵌入

    提出一种基于 Gram-Schmidt Process 的正交基的 non-parameterized 方法，用于将预训练的 word embeddings 组合成句子表示，此方法在 11 个下游 NLP 任务中表现优越。

    Sep, 2018

  • 深入探讨光谱嵌入

    该研究论文提出了两种新的方法，一种基于函数分析原则和核方法，另一种是基于训练优化原则变分损失的深度网络，以构建数据的谱嵌入，并提供了一个新的采样算法，以在单个步骤中利用学习的表示来生成新样本。

    Jun, 2023

  • 学习结构感知的深度谱嵌入

    本研究提出了一个深度学习算法，通过结构感知谱嵌入和结构保持，编码输入数据的子空间结构和形状信息，并基于自表达学习和注意力机制，能够更好地处理非线性数据集的聚类问题，并在六个真实数据集上取得了优异的聚类性能和更好的泛化能力。

    May, 2023

  • 结构化随机正交嵌入的不合理有效性

    本文使用基于结构化随机矩阵和正交行的嵌入，分析了其在机器学习中的应用，包括降维和核逼近，同时通过实证结果证明了该方法在各种机器学习应用中具有明显提高精度和 / 或速度的效果。

    Mar, 2017

  • 锚定 & 转换：为大词汇量学习稀疏嵌入

    本文提出了一种名为 “Anchor & Transform (ANT)” 的简单而高效的嵌入算法，它能够处理大容量的离散对象嵌入，通过从中学习少量的锚点和稀疏的转换矩阵，将对象嵌入成为锚点的稀疏线性组合。这种算法是可扩展、灵活和端到端训练的。同时，研究人员还将其解释为一种贝叶斯非参数先验，旨在促进稀疏性并利用对象间的自然分组关系，我们在多个基准测试中发现，ANT 特别适用于大词汇量，相较于现有压缩基线提供了更强的性能表现（高达 40 倍压缩的低参数）。

    Mar, 2020