embedding layers | BriefGPT

关键词embedding layers

搜索结果 - 10

T-FREE: 基于稀疏表示的无分词生成型 LLMs 用于内存高效嵌入
Tokenizers are important in Large Language Models, but their development has stagnated, leading to weaknesses in vocabul
PDF7 days ago
用于快速训练点击率预测模型的极限学习机
基于嵌入层增强的 ELM 模型在 CTR 任务中表现出色，同时显著减少训练时间，特别适用于快速训练的情况。
PDF9 days ago
UpDLRM: 使用真实世界的 PIM 架构加速个性化推荐
利用实际世界的处理内存 (PIM) 硬件 UPMEM DPU，提出 UpDLRM，以增加内存带宽并减少推荐延迟。通过利用 DPU 内存的并行特性，可以为嵌入式查找中的大量不规则内存访问提供高聚合带宽，从而在推理时提供巨大潜力来降低延迟。通过
PDF14 days ago
从零开始训练个性化推荐系统：前瞻而非后退
本文提出了一种利用推荐系统训练独特属性设计嵌入式缓存的 ScratchPipe 架构，旨在解决推荐系统训练中由于嵌入层占用过多内存而导致性能低下的问题。
PDF2 years ago
ACL谨防中毒词嵌入：探究 NLP 模型嵌入层的漏洞
该论文揭示了自然语言处理（NLP）模型的安全威胁，即后门攻击。通过修改一个单词嵌入向量，攻击者可以在没有损失准确率的情况下破坏模型的行为，同时引发了一个特定的触发词。实验结果表明，该方法更高效、更隐秘，可提高 NLP 模型的安全意识。
PDF3 years ago
流式推荐中的自动嵌入维度搜索（AutoEmb）
本文提出了一种基于 AutoML 的深度学习推荐系统框架 (AutoEmb), 其中包含可以自动选择嵌入维度的动态嵌入层，实验结果表明该框架的有效性。
PDF4 years ago
ICML可微分乘积量化用于端到端嵌入压缩
本文提出了可最小化储存空间的不同产品量化的压缩框架（DPQ），可以作为任何现有嵌入层的替代品，且降低了 14-238 倍的压缩率，以及在三个不同语言任务的 10 个数据集上表现良好。
PDF5 years ago
随机共享嵌入：嵌入层的数据驱动正则化
该论文提出了基于 SSE 的神经网络嵌入层正则化方法，在权重衰减和 dropout 等标准正则化方法的基础上，能够进一步降低过拟合，并通过多种实验表明其在各种神经网络任务上的有效性。
PDF5 years ago
用张量嵌入层实现模型高效压缩
本文介绍了一种使用 Tensor Train（TT）分解来压缩模型中的嵌入层的新方法，并在自然语言处理的广泛基准测试中评估了其性能与压缩比之间的平衡。
PDF5 years ago
AAAI适用于循环神经网络语言模型的瘦身嵌入层
本文介绍了一种通过在 RNN 中的输入和输出嵌入层共享参数来压缩模型参数的方法，实验证明该方法可大幅减小模型参数的大小，但仍能在自然语言处理中保持模型的准确性和性能表现。
PDF7 years ago