low-rank structures | BriefGPT

关键词low-rank structures

搜索结果 - 7

SLTrain：一种用于参数和内存高效预训练的稀疏低秩方法
通过在预训练中将权重参数化为低秩和稀疏矩阵之和，我们提出了一种称为 SLTrain 的方法，它通过矩阵分解学习低秩部分，然后使用随机固定支撑稀疏学习策略学习非零条目，这种策略显著提高了预训练性能。与低秩参数化预训练相比，SLTrain 几乎
PDFa month ago
离散密度估计的非负张量混合学习
基于期望最大化 (EM) 的非负张量分解统一框架，通过优化 Kullback-Leibler 散度来避免在每次 M 步骤和学习率调整中的迭代，并建立了低秩分解和多体逼近之间的一般关系，进而利用了多体逼近的闭式解来同时更新所有参数。我们的框架
PDFa month ago
FinGPT-HPC: 高性能计算在金融应用中高效地预训练和微调大型语言模型
通过利用低秩结构以及量化参数，本论文提出了一种高性能的基于 GPU 的方法用于预训练和微调大型语言模型，以实现金融应用，并取得了较快的速度和高模型压缩比，同时保持了很高的准确率。
PDF4 months ago
使用张量列车格式解决高维抛物偏微分方程
本文研究高维偏微分方程，提出了一种基于张量列的近似方法和迭代方案，能够在精确性和计算效率之间达到有利的折衷。
PDF3 years ago
具有隐藏低秩结构的随机线性赌博机
本文提出了 Projected Stochastic Linear Bandit（PSLB）算法，采用基于主成分分析（PCA）的投影方法，寻找高维特征空间中的低秩结构，以减少学习任务的复杂度。使用 PSLB 算法对预训练深度神经网络提取的高
PDF5 years ago
高维向量自回归的低秩和结构化建模
提出一种新颖的方法来准确估算低秩和结构稀疏高维 VAR 模型中的网络 Granger 因果交互作用，该方法采用核范数和 lasso（或 group lasso）惩罚的组合正则化框架，证明了该方法的估计误差速率的非渐近性上界，并演示了该方法在
PDF6 years ago
期望低秩随机矩阵的逐项特征向量分析
本文通过证明一类随机矩阵的特征向量的近似线性关系，为完全恢复固定堆砌模型的谱算法提供了第一种严格无修剪方法。
PDF7 years ago