token embeddings | BriefGPT

关键词token embeddings

搜索结果 - 9

学习何时（不）信任语言模型：一个以隐私为中心的自适应模型感知方法
基于检索增强的大型语言模型在各种 NLP 任务中取得了显着的成功。然而，检索过程提供的知识并不总是有助于提高模型的预测能力。为了节省检索成本，先前的工作通过分析语言模型的预训练数据来决定何时执行 / 跳过检索。然而，这些面向数据的方法存在隐
PDF3 months ago
用梯度下降学习联想记忆
研究关联记忆模块的训练动态，通过对数据分布和嵌入之间相关性的性质进行粒子系统的研究，揭示过参数化条件下 ' 分类边界 ' 呈对数增长、标记频率不平衡和相关嵌入导致的振荡瞬态阶段、过大步长引起的良性损失峰值以及欠参数化条件下交叉熵损失的副优化
PDF4 months ago
TensorGPT: 基于张量列车分解的 LLMs 嵌入层高效压缩
本研究提出一种基于张量列分解的方法，将每个令牌嵌入视为可在分布式方式下有效计算的矩阵乘积状态，从而实现对令牌嵌入层的压缩，可达到高达 38.40 倍的压缩比，并在 3.31 倍的压缩因子下甚至比原始 GPT-2 模型效果更好。
PDFa year ago
Lexinvariant 语言模型
本篇论文研究如何构建无需固定 token embeddings 的 lexinvariant 语言模型，并以证明、构建和实证为路径，通过高效的词频以及已生成文本的置换密文中如何隐式实现贝叶斯上下文解密以及所有合成推理和推理任务的统计力量
PDFa year ago
基于覆盖率的上下文学习示例选择
该研究提出了一种基于覆盖测试输入相关重要方面的信息量评估框架，使用 Set-BSR 来找出信息最丰富的示范集，应用于复杂构成生成任务和多元语言模型中，得出与任务或模型特异性培训相比效果最佳的结果。
PDFa year ago
文本生成的自条件嵌入扩散
本研究提出了自条件嵌入扩散 (Self-conditioned Embedding Diffusion)，这是一种在令牌嵌入上运行的连续扩散机制，可以学习灵活和可扩展的扩散模型，用于条件和非条件文本生成。通过定性和定量评估，我们表明，我们的
PDF2 years ago
ACL适应性梯度门控稀有符号降级所有符号：通过稀有符号嵌入改进神经文本生成
本研究分析了 Neural Language Model 中 Token Embeddings 的训练动态，探讨了少见 Token Embeddings 梯度的特定部分是引起表示退化问题的关键原因，并基于此提出一种名为自适应梯度门控（AGG
PDF3 years ago
ViTAS: 视觉 Transformer 架构搜索
本文提出了 ViTAS 方法，其中使用循环权重共享机制和身份移位来解决目标嵌入的失衡问题，并辅以弱数据增强和规范化技术，以获得稳定的训练结果。实验证明，与其他常用方法相比，ViTAS 取得了极高的性能提升。
PDF3 years ago
ACL学习将单词嵌入上下文以执行句法任务
我们提出了一种基于标准神经网络架构的简单，高效的令牌嵌入模型，并通过大量未注释的文本学习了令牌嵌入，评估它们作为基于少量注释的数据训练的词性标注器和依存分析器的特征，发现词嵌入在各种上下文窗口和训练集大小下都能一致优于基准预测模型。
PDF7 years ago