position embeddings | BriefGPT

关键词position embeddings

搜索结果 - 21

上下文专家混合增强 LLM 长上下文意识
本文提出了一种名为 “MoICE” 的新方法，通过在每个注意力头中引入路由器作为关键部件以及仅更新路由器进行训练的策略，来提高使用 RoPE 作为位置嵌入的 LLMs 的上下文感知能力和效率。在应用于 Llama 和 Mistral 等开源
PDF4 days ago
窗口关注存在漏洞：如何不插入位置嵌入
在现代计算机视觉转换器时代，窗口注意力、位置嵌入和高分辨率微调是核心概念。然而，我们发现，天真地结合这些几乎无处不在的组件可能会对性能产生不利影响。我们研究了两种具有这三个组件的最先进方法，即 Hiera 和 ViTDet，发现两者都确实遭
PDF8 months ago
遮蔽硬关注变形器和布尔 RASP 准确识别无星语言
Transformer 编码器通过硬注意力和严格的未来掩码来识别语言，其所识别的语言类是无星自由语言；添加位置嵌入可以扩展所识别的语言类到其他研究领域。通过布尔 RASP 技术，我们将 Transformer 与一阶逻辑、时间逻辑和代数自动
PDF8 months ago
算术变换器中的长度泛化
本文研究 transformers 在基本整数算术和泛化到比训练中出现的更长序列的两个挑战中的应对方法，发现相对位置嵌入能够实现简单任务的长度泛化，但是对于乘法而言失败，提出了训练集引导方法（priming），为训练集添加一些长序列以解决此
PDFa year ago
通过随机填充实现位置嵌入的令人沮丧的简单改进
本文提出了一种简单而有效的策略 Random Padding 来平衡位置嵌入的更新次数，从而在提取式问答的模型性能上获得显著提升。在训练模型对长文本进行评估时，特别是当模型在短文本上进行训练时，Random Padding 会表现得更加优异
PDFa year ago
结构化提示：将上下文学习扩展到 1,000 个例子
通过引入结构化的提示，在线学习中处理更多的实例。
PDF2 years ago
EMNLP绝对位置嵌入的奇妙案例
使用 Transformer 语言模型中的绝对位置嵌入会导致对相对位置信息的过度依赖，从而使得模型在句子位置信息被移位时性能显著下降，这表明了使用绝对位置嵌入所建模 “相对位置信息” 的功效需要重新审视。
PDF2 years ago
CVPR遮蔽拼图：一种用于视觉 Transformer 的多功能位置嵌入
提出一种名为 Masked Jigsaw Puzzle (MJP) 的位置嵌入方法，用于解决 ViT 中的位置嵌入对隐私泄露的问题。实验结果表明，MJP 方法在一定程度的遮蔽之下，既可以提高性能和鲁棒性，也可以显著提高在梯度攻击下的隐私保护
PDF2 years ago
CVPR交叉视图 Transformer 用于实时地图视角语义分割
本文提出了一种名为 Cross-View Transformers 的注意力机制模型，能够在不需要显式几何建模的情况下，从多个相机的视角中学习到语义分割的图像表示，并进行了实时性能验证。
PDF2 years ago
Transformer 的动态位置编码
本研究提出了一种新的动态位置编码（DPE）方法，通过新的位置嵌入来纠正目标单词的位置信息，相较于传统 Transformers 在英德法意四种翻译任务中取得了显著的性能提升。
PDF2 years ago
ACL语序很重要（洗牌语言模型知道）
研究发现，经过随即排列的句子进行预训练和 / 或微调的语言模型表现出与 GLUE 上竞争力的表现，这给单词顺序信息的重要性带来了质疑。尽管有一些研究表明位置嵌入对于模型在混乱的文本上表现良好似乎很让人费解，但我们对这些语言模型进行了单词顺序
PDF2 years ago
3D 医学点变换：为医学点云分析引入卷积到注意力网络
本篇文章提出了一种特定于医用点云的基于注意力机制的 3D 医用点云 Transformer (3DMedPT) 模型，通过增加上下文信息和在查询时总结局部响应，可以捕捉局部和全局特征交互，同时应用位置嵌入学习准确的局部几何形状和多图推理 (
PDF3 years ago
EMNLP在芝麻街上摇动句法树：使用可控扰动进行多语言探索
探究了文本扰动对 Transformer-based 语言模型的影响，发现换序对模型下游任务性能影响不大，且证实模型对位置编码的使用。研究使用三种印欧语言建立九个 probing 数据集，发现句法敏感度取决于语言和预训练目标，在层数和扰动粒
PDF3 years ago
ACLHyperExpan：基于双曲线表示学习的分类学扩展
本文提出的 HyperExpan 算法是一种基于超平面嵌入（Hyperbolic space）的 taxonomy expansion 自动扩展算法，运用了超图神经网络和位置嵌入技术，通过表征概念及其关系来扩展现有分类体系的覆盖范围，并在分
PDF3 years ago
ACL卷积与自注意力：重新解释预训练语言模型中的相对位置
该研究探讨了卷积和自注意力在自然语言任务中的关系，提出了一种将卷积融合到自注意力中的方法，并使用 BERT 在多个下游任务上验证了卷积相对于绝对位置嵌入的性能优势。
PDF3 years ago
ACL基于 Transformer 的语言模型中的平移无关自注意力论证
本文分析了现有语言模型的位置嵌入，发现其对于自注意力有着强烈的翻译不变性，并提出了一种解决方案 —— 翻译不变的自注意力模型（TISA），它可以以一种可解释的方式考虑标记之间的相对位置，而无需传统的位置嵌入，实验表明它在 GLUE 任务上的
PDF3 years ago
EMNLP高效长序列建模的零次实体链接
本文提出了一种不需要用长位置嵌入来预训练 BERT 的方法，通过称为 Embedding-repeat 的有效位置嵌入初始化方法扩展长程序列建模来解决零样本实体链接问题，并在 Wikia 的零样本 EL 数据集上将 SOTA 从 76.06
PDF4 years ago
EMNLP位置编码学到了什么？一项关于预训练语言模型位置编码的实证研究
本文通过特征级别分析和大量实证研究主流预训练位置嵌入对 Transformer 的影响，从而为特定任务选择适当的位置编码函数提供新的见解。
PDF4 years ago
EMNLP使用更好的相对位置嵌入改进 Transformer 模型
本文提出基于自我关注机制的绝对位置嵌入和相对位置嵌入方法，通过增加查询、键和相对位置嵌入之间的交互，进一步优化了位置信息的利用。其最有前途的一种方法是将绝对位置嵌入泛化，相比之前的位置嵌入方法，在 SQuAD1.1 上有更好的表现。本文还通
PDF4 years ago
ICLR复杂嵌入中的单词顺序编码
论文提出一种利用复数来编码单词相对位置和顺序信息的方法，将其应用于依赖顺序的自然语言处理任务中，实验表明相较于传统单词向量和位置嵌入向量，该方法有更好的表现。
PDF5 years ago