token representations | BriefGPT

关键词token representations

搜索结果 - 7

通过正则化非局部泛函减轻变形器中的过度平滑
通过引入新的正则化项，本研究提出了一种名为 NeuTRENO 的新型 transformer 模型，该模型能够减轻过度平滑 token 表示的问题，并在各种实际任务中实证证明了 NeuTRENO 相对于基线 transformers 和最先
PDF7 months ago
利用链接方式增强上下文感知的神经机器翻译中的编码句子位置
本研究采用 segement embeddings 帮助 Transformer 识别翻译串联中每个句子的位置，并通过比较不同的 segment embeddings 和提出的方法，发现除了在特定情况下，它们并不会对原始串联方法产生益处。
PDFa year ago
Transformer 中的信号传播：理论视角和秩崩溃的作用
探究在 Transformer 的自我注意层中可能发生的排名坍塌现象及其影响，发现其会导致查询和键的梯度消失，导致训练受阻，但可以通过适当的深度相关的残差分支缩放来预防，而特定的架构超参数会导致查询和值的梯度的不均衡，这解释了为什么在 Tr
PDF2 years ago
一种面向手语翻译的令牌级对比框架
提出 ConSLT，结合对比学习和手语翻译的解码过程，从而学习有效的标记表示，实验结果表明，ConSLT 比强基线表现更好。
PDF2 years ago
EMNLP探索 BERT Token 表达在句子探测结果中的作用
本文从 BERT 的表示空间出发，通过一系列探针任务和属性方法探究模型的语言学知识表达方式，发现 BERT 倾向于对语法和语义异常进行编码，并能够明显地区分语法数和时态子空间。
PDF3 years ago
ACL可训练表示池化技术稀疏化 Transformer 模型
我们提出了一种新方法，通过学习在训练过程中选择最具信息量的令牌表示方法来稀疏 Transformer 模型中的注意力，从而关注输入的特定部分。由于一个强大的可训练的 top-k 操作符，将二次时间和内存复杂度降低到亚线性水平。我们在一个具有
PDF4 years ago
ICLRDEEP FACTORIZED INPUT TOKEN EMBEDDINGS FOR NEURAL SEQUENCE MODELING
DeFINE 是一种采用分层结构和跳跃连接的新方法，用于有效地学习深度 token 表示，可以在新的或现有的序列模型中轻松集成，相较于现有方法在保持性能的同时可将 Transformer-XL 的总参数降低一半，AWD-LSTM 的参数减少
PDF5 years ago