hard attention | BriefGPT - AI 论文速递

关键词hard attention

搜索结果 - 7

遮蔽硬关注变形器和布尔 RASP 准确识别无星语言
Transformer 编码器通过硬注意力和严格的未来掩码来识别语言，其所识别的语言类是无星自由语言；添加位置嵌入可以扩展所识别的语言类到其他研究领域。通过布尔 RASP 技术，我们将 Transformer 与一阶逻辑、时间逻辑和代数自动
PDF9 months ago
关于注意力网络学习动态
关注模型有三种不同的潜在变量边际可能性（LVML）：软关注、硬关注和软关注损失。我们观察到使用这些范例学到的模型具有独特的特征，并且提出了一种简单的混合方法，结合了不同损失函数的优点。
PDFa year ago
ACL饱和变压器是常深度阈值电路
这篇论文研究了使用软饱和注意力机制的 Transformer 模型的电路复杂度，证明了其能够被常数深度阈值电路模拟，限制了该模型在形式语言上的能力。
PDF3 years ago
Saccader: 改进视觉硬注意力模型的准确性
通过 Saccader 硬关注模型，基于类标签和策略梯度优化算法，准确分类图像并显示只注视图像的部分，性能达到了接近 ImageNet 基准的 75% 和 91% 的 Top-1 和 Top-5
PDF5 years ago
ACL基于 monotonic attention 的字符级转导的精确硬对齐
本文针对常见的字符级字符串转换任务，如字形到音素转换和形态变化，探讨单调性是否真的是这些任务中的有益归纳偏差，提出了一种强制严格单调性的硬注意力序列到序列模型，并结合动态规划精确计算所有单调位置对齐的边际化，取得了形态变化方面的最新成果。
PDF5 years ago
ICCVPatchwork: 基于分块注意力网络的视频流高效物体检测和分割
本文提出一种针对延迟敏感应用的硬关注机制，通过选择和处理框架的一个小子窗口，预测整个框架的结果，使得该方法在不影响准确性的前提下减少了大约四倍的延迟，并且使用特殊的内存单元和策略训练策略进一步提高了性能。
PDF5 years ago
ECCV通过引导式硬关注训练视觉问答模型
本文介绍了一种新型的硬注意力机制，该机制忽略了某些特征但仍能达到与软注意力相同或更好的性能，而且因为其选择了输入信息的重要特征，因此比类似的软注意力机制更加高效。
PDF6 years ago