tensor-train decomposition | BriefGPT

关键词tensor-train decomposition

搜索结果 - 8

LoRETTA：用于大型语言模型超低参数微调的低秩经济张量列车适应
LoRETTA 是一个超参数效率的框架，通过张量列车分解显著减少可训练参数，提供高性能轻量化的支持 LLMs 微调的方法。通过权重参数化和小张量因子来实现微调，LoRETTA 在 LLaMA-2-7B 模型上可实现与大多数广泛使用的 PEF
PDF5 months ago
自然语言处理的部分张量化变压器
本研究利用张量列分解技术对 Transformer 视觉语言神经网络（BERT 和 ViT）进行压缩，从嵌入层压缩和神经网络的部分张量化两方面进行，提高了现有模型的准确性，无需后训练调整。
PDF8 months ago
TTPOINT：一种用于事件摄像机轻量级行为识别的张量化点云网络
使用 TTPOINT 轻量且通用的点云网络，在运动识别任务中相比传统基于帧的方法只使用了 1.5% 的计算资源，并通过层次结构抽象本地和全局几何特征。同时，通过使用张量列分解方法，即使在对参数进行 55% 的压缩时，也能保持了 TTPOIN
PDFa year ago
TensorGPT: 基于张量列车分解的 LLMs 嵌入层高效压缩
本研究提出一种基于张量列分解的方法，将每个令牌嵌入视为可在分布式方式下有效计算的矩阵乘积状态，从而实现对令牌嵌入层的压缩，可达到高达 38.40 倍的压缩比，并在 3.31 倍的压缩因子下甚至比原始 GPT-2 模型效果更好。
PDFa year ago
KDD使用 Tensor-Train 分解提升 Nimble GNN 嵌入性能
本文利用张量列车分解的方法，将图神经网络的嵌入表更紧凑地表示，从而降低了模型大小，实现了在大型公共基准数据集上节点嵌入向量大小的减小，且在多 GPU 系统上实现了相当或更好的准确性和显著的加速。本文还介绍了用于降低主机到 GPU 通信的方案
PDF2 years ago
利用高阶张量递归神经网络进行长期预测
HOT-RNN 是一种用于多元预测的新型神经网络序列架构，通过学习非线性动态来解决高阶相关性和误差传播敏感性问题，并使用张量列车分解来减少参数。在模拟环境和实际时间序列数据上，相对于一般 RNN 和 LSTM 体系结构，它在长期预测方面表现
PDF7 years ago
用 Tensor Train 递归神经网络进行视频分类
通过使用 Tensor-Train 分解来分解 RNN 中的高维输入矩阵，尽管架构比其他模型简单得多，但在分类实验中仍能够实现与最先进的模型相媲美的性能，这为建模高维序列数据提供了一种新的基础模块，并打开了从其他领域（如自然语言处理）传输表
PDF7 years ago
张量列车分解的连续模拟
本文提出了一种新的方法 —— 使用功能性张量列 (BT) 来表示和计算多元函数，该算法通过将三维张量矩阵与一维矩阵函数替换，可以生成比基于张量乘积基础的系数压缩方法更准确、更稳健的多元函数逼近。
PDF9 years ago