positional embeddings | BriefGPT

关键词positional embeddings

搜索结果 - 9

ICLR通过位置查询和基于扩散的方法进行一步多图像外推
该论文主要研究了图像外部绘制的技术，提出了一种名为 PQDiff 的新方法，它可以生成超出原始边界的图像内容，具有任意扩展倍数和一步完成的能力，而且在性能和时间效率方面优于其他现有方法。
PDF5 months ago
DDMI: 领域不可知的潜在扩散模型用于合成高质量的隐式神经表示
我们提出了用于隐式神经表示的无领域隐性扩散模型 (Domain-agnostic Latent Diffusion Model)，该模型生成自适应位置嵌入，而不是神经网络的权重。我们还引入了一种用于评估隐式神经表示的新型条件机制，通过分层分
PDF5 months ago
去噪视觉变换器
我们提出了一种噪声模型和去噪方法来解决 Vision Transformers 中存在的网格伪影问题，该方法能有效改善模型在语义和几何任务中的性能。
PDF6 months ago
通过在分段序列上训练扩展语言模型的输入上下文
在没有架构更改和额外存储成本的情况下，通过对分段序列的训练和基于插值的方法来扩展绝对位置嵌入，我们开发了一种训练过程，以扩展预训练模型的输入上下文大小。我们的方法能够将输入上下文扩展 4 倍，同时改善困惑度。
PDF8 months ago
ACL无需位置嵌入，自注意力变化中潜在位置信息的转换语言模型
本研究论述了传统 Transformer 语言模型中位置嵌入的必要性，提出随机初始化且去除位置嵌入的模型仍具备显著的位置信息，可以舍弃位置嵌入以提高预训练模型的效率。
PDFa year ago
CVPR区域感知预训练与视觉 Transformer 实现开放式目标检测
提出了一种区域感知的开放词汇视觉 Transformer（RO-ViT）预训练方法，其中使用区域级别的位置嵌入来代替整个图像位置嵌入，取得了在 LVIS 和 COCO 开放词汇检测基准测试的最佳效果。
PDFa year ago
使用连续的增强位置嵌入编码相对位置的 CAPE
这篇论文提出了一种增强型绝对位置嵌入 (CAPE) 的方法，使得 Transformer 神经网络在保持绝对位置嵌入简单和快速的同时，能够更好地推广到训练时未曾出现的更长序列，并在机器翻译等领域中获得更好的性能。
PDF3 years ago
ACL位置性伪像在掩码语言模型嵌入中传播
本文研究表明，基于预训练掩码语言模型的编码器推导出的上下文化字向量在层间分享一种共同的、可能不太理想的模式，即 BERT 和 RoBERTa 的隐藏状态向量中存在持续的异常值神经元。这些异常值与位置嵌入所捕获的信息密切相关。我们显示，裁剪这
PDF4 years ago
基于长短时记忆和卷积神经网络的跨句子 n 元关系抽取
本文提出一种结合了 LSTM 和 CNN 模型的组合模型 (LSTM-CNN)，利用词嵌入和位置嵌入来实现跨句子 n 元关系抽取。该模型利用了 LSTMs 和 CNNs 的特性，同时利用长距离的顺序信息和捕获大部分信息特征，是跨句子 n 元
PDF6 years ago