Dec, 2017

张量列车邻域保持嵌入

PDF
TL;DR本文针对多维张量数据提出了一种新的张量拓扑嵌入方法，即 Tensor Train Neighborhood Preserving Embedding (TTNPE)，并提出了一种考虑分类、计算及降维存储三个因素的新型权衡度量方法。在 MNIST handwritten digits 和 Weizmann face 等数据集上验证表明，与现有的张量嵌入方法相比，TTNPE 在分类、计算及降维存储方面有优越的综合性能。
tensor train neighborhood preserving embeddingmulti-dimensional tensor datasupervised learningclassificationdimensionality reduction
发现论文，激发创造
  • 使用 Tensor-Train 分解提升 Nimble GNN 嵌入性能

    本文利用张量列车分解的方法，将图神经网络的嵌入表更紧凑地表示，从而降低了模型大小，实现了在大型公共基准数据集上节点嵌入向量大小的减小，且在多 GPU 系统上实现了相当或更好的准确性和显著的加速。本文还介绍了用于降低主机到 GPU 通信的方案。

    Jun, 2022

  • 用张量嵌入层实现模型高效压缩

    本文介绍了一种使用 Tensor Train（TT）分解来压缩模型中的嵌入层的新方法，并在自然语言处理的广泛基准测试中评估了其性能与压缩比之间的平衡。

    Jan, 2019

  • TT-Rec: 深度学习推荐模型的张量列车压缩

    本文研究了深度学习推荐模型中嵌入表的内存容量问题并提出了 Tensor Train 分解的解决方案。通过优化成熟度更低的 TT-Rec 及其核心部件 TT-EmbeddingBag，它在 Kaggle 和 Terabyte 数据集上均实现了 117 倍和 112 倍的模型大小压缩，并且没有任何准确性或训练时间开销。

    Jan, 2021

  • 核 t 分布随机邻域嵌入

    本文介绍了 t-SNE 算法的核化版本，能够将高维数据映射到低维空间并在非欧几里德度量下保留数据点之间的成对距离，可以通过仅在高维空间或在两个空间中使用核技巧来实现，提供了数据点之间关系的新视角，改进了包括使用核方法的分类问题的性能和准确性，并利用多个数据集阐明了 t-SNE 和其核化版本之间的区别，展示了不同类别点的更整洁的聚类。

    Jul, 2023

  • 张量神经网络：神经网络的泛化和模型压缩应用

    该研究提出了张量神经网络，利用高阶张量操作解决参数学习的难题，并实现了对高阶输入对象的自然处理，同时利用训练方法和压缩技术在精度和效率上均有提升。

    May, 2018

  • 用 Tensor Train 递归神经网络进行视频分类

    通过使用 Tensor-Train 分解来分解 RNN 中的高维输入矩阵，尽管架构比其他模型简单得多，但在分类实验中仍能够实现与最先进的模型相媲美的性能，这为建模高维序列数据提供了一种新的基础模块，并打开了从其他领域（如自然语言处理）传输表达和先进模型的多种可能性。

    Jul, 2017

  • TensorGPT: 基于张量列车分解的 LLMs 嵌入层高效压缩

    本研究提出一种基于张量列分解的方法，将每个令牌嵌入视为可在分布式方式下有效计算的矩阵乘积状态，从而实现对令牌嵌入层的压缩，可达到高达 38.40 倍的压缩比，并在 3.31 倍的压缩因子下甚至比原始 GPT-2 模型效果更好。

    Jul, 2023

  • 自然语言处理的部分张量化变压器

    本研究利用张量列分解技术对 Transformer 视觉语言神经网络（BERT 和 ViT）进行压缩，从嵌入层压缩和神经网络的部分张量化两方面进行，提高了现有模型的准确性，无需后训练调整。

    Oct, 2023

  • 网络嵌入的对抗训练优化视角理解与改进

    本文从优化的角度理论上解释了 Adversarial Training for Network Embedding 的优秀结果，提出了新的激活函数，通过在四个真实网络上的实验验证表明该方法在节点分类和链接预测任务中优于现有的基线方法。

    May, 2021

  • 高效算法的 t - 分布随机邻域嵌入

    本论文介绍了一种名为 FIt-SNE 的快速傅里叶变换加速插值 t-SNE 方法和 out-of-core PCA 方法，这些方法可以加速 t-SNE 的计算，并允许在资源有限的计算机上计算大型数据集的 t-SNE。

    Dec, 2017