positional embedding | BriefGPT

关键词positional embedding

搜索结果 - 9

配置数据增强以减少视觉 Transformer 中位置嵌入的方差偏移
我们提供了关于 Vision Transformers 中数据增强的问题以及正确的配置，以消除方差偏移的副作用，并通过实验证明采用我们的准则与当前数据增强配置相比能够提高 Vision Transformers 的性能。
PDFa month ago
SPDER: 半周期阻尼启用物体表示
文章提出了一种称为 SPDER 的简单多层感知器神经网络结构，能够自然地学习位置嵌入，克服了传统隐式神经表示网络面临的较低频率谱偏差问题，并且速度很快、收敛到极低的损失水平，并且在图像表示中表现出与众不同的表现能力。
PDFa year ago
数字病理中的可解释且位置感知学习
本研究提出了一种基于整张切片图像的图像学习算法，利用基于位置的嵌入和图形注意机制，采用样条卷积神经网络进行结点位置嵌入，用于肾癌和前列腺癌的分级诊断，并使用渐变解释方法生成突出显着的区域地图，从而使该方法可解释性更好地识别 WSI 中的癌症
PDFa year ago
使用有效接受字段理解视觉变换器的高斯注意偏差
本研究提出了一种使用高斯注意偏差来指导位置嵌入的方法，以提高视觉转换器（ViTs）在图像分类、目标检测和语义分割等任务中的性能。研究表明，使用这种方法不仅有助于 ViT 理解图像，还提高了在各种数据集上的性能。
PDFa year ago
ICCVMUSIQ: 多尺度图像质量转换器
设计了一个多尺度图像质量 Transformer (MUSIQ)，它可以处理具有不同尺寸和长宽比的本机分辨率图像，通过多尺度表示，我们提出的方法可以捕捉不同粗细度的图像质量，并提出了一种基于哈希的二维空间嵌入和尺度嵌入，支持多尺度表示中的位
PDF3 years ago
使用并行计划采样和相对位置嵌入器改进 Transformer 对于语音识别的泛化能力
本文中，我们提出了一种采用 parallel scheduling sampling (PSS) 和 relative positional embedding (RPE) 来帮助 Transformer 泛化到看不见的数据的方法。我们的方
PDF5 years ago
神经机器翻译输出长度控制
本文首次解决了神经机器翻译中输出长度的控制问题，并调查了两种解决方法，分别是将输出与目标输入长度比例类相关联和在 Transformer 位置嵌入中加入长度信息。实验结果表明，这两种方法都可以使网络生成更短的翻译，并获得解释性的语言技能。
PDF5 years ago
基于 Transformer 的混合语音识别声学建模
本文提出并评估了基于 transformer 的声学模型在混合语音识别中的应用。通过讨论不同的建模选择，包括各种位置嵌入方法及迭代损失等，我们证明了在 Librispeech 基准测试中使用 transformer 模型相比其他模型性能更优
PDF5 years ago
用卷积上下文来进行 ASR 的变压器
本文提出了用卷积学习输入表示替换变形器的正弦位置嵌入，并阐述其在提供长程关系方面的优势和优化特点，最终实现了在无额外语言模型文本下，librispeech 测试中 4.7％和 12.9％的字错率。
PDF5 years ago