embedding matrix | BriefGPT

关键词embedding matrix

搜索结果 - 6

低秩张量表示的半监督对称矩阵分解
我们提出了一种新的半监督对称非负矩阵分解模型，通过为通过对称约束矩阵和嵌入矩阵转置的乘积得到的相似度矩阵合成的张量寻找低秩表示，同时从全局角度加强这两个矩阵，然后通过增强的 SNMF 模型使嵌入矩阵适应此张量低秩表示，最终通过强化的相似约束
PDF2 months ago
通过动态嵌入修剪对预训练语言模型实现令人烦恼的简单记忆效率
使用预训练语言模型（PLMs）的广泛内存占用可阻碍其在内存受限环境（如云环境或设备上）的部署。本文提出了一种简单而有效的方法来减小嵌入矩阵的内存占用，从而在保持下游任务性能的同时更有效地利用计算资源。
PDF10 months ago
嵌入结构的重要性：比较将多语言词汇适应到新语言的方法
本研究提出了几种简单的技术，通过替换跨语言词汇为紧凑的特定语言词汇来改善在低资源语言中的性能，以及基于脚本子分布的嵌入重初始化技术在适应多语言模型方面与依赖于辅助模型获得的相似度分数的技术（如焦点方法）相媲美。
PDF10 months ago
基于对比学习的节点表征简化框架
本文研究如何将对比学习与图神经网络相结合，通过简单的列处理嵌入矩阵来提高节点嵌入的质量，从而在分类任务中取得高达 1.5％的改进和超越 8 项基准测试中的现有最先进方法。
PDFa year ago
语义多样性学习用于零样本多标签分类
该研究介绍一种用于多标签零样本学习的神经网络模型训练方法，该方法使用具有主要嵌入向量的嵌入矩阵并在训练期间加权损失函数以鼓励嵌入矩阵多样化，以提高基于标签的图像检索的零样本模型的质量。该方法在多个常见数据集（NUS-Wide，COCO， O
PDF3 years ago
ICML用 Orlicz 范数进行子空间嵌入和线性回归
本文针对经典线性回归问题进行推广，研究了 Orlicz 范数的损失函数，并提出了一种新的盲嵌入，用于将具有 Orlicz 范数的矩阵空间嵌入到具有二范数的较低维空间，从而得到回归问题和低秩矩阵逼近问题的近似算法。
PDF6 years ago