attention-based architectures | BriefGPT

关键词attention-based architectures

搜索结果 - 7

注意力与事后解释性相遇：数学视角
通过数学研究，我们发现后续方法能够捕捉到比仅仅检查注意力权重更有用的见解，并且它们与基于注意力机制的解释结果存在明显差异。
PDF5 months ago
使用动作特征学习与人类协同工作
探究网络结构对学习算法利用语义关系的倾向性，发现基于注意力机制构建的网络结构在零样本协调任务中具有更好的归纳偏好，并经过精细的评估和场景分析，证明了这种策略是可解释的，并且这样的智能体在没有训练任何人类数据的情况下就能够与人类协调一致。
PDF2 years ago
ICLR不规则间隔事件及其参与者的变形器嵌入
本文在神经 Hawkes 过程、演绎式数据库、神经符号化模型、注意力机制等关键技术的基础上，采用注意力机制的扁平化结构替换其原来的 LSTM 架构，并展示了相对较高的精度。
PDF3 years ago
LeViT: 一个穿着 ConvNet 外衣的视觉 Transformer 用于更快的推理
本文介绍了 LeViT：一个用于快速推理图像分类的混合神经网络，它利用了最近在具有高度并行处理硬件竞争力的注意力架构中的发现，重新审视了卷积神经网络文献中的原则以将它们应用于 transformers，特别是带有分辨率降低的激活映射，还引入
PDF3 years ago
注意力不是唯一的解决方案：仅仅使用注意力机制会随着深度呈双倍指数级别的降低
本研究提出了一种新的方法来理解自我注意网络：我们展示了它们的输出可以分解为若干关注头跨层序列的操作所涉及的小项相加，通过这种分解，我们证明了自我注意具有强烈的归纳偏差，具体表现为 “令牌均匀性”；实验证明，不同变体的标准转换器体系结构存在收
PDF3 years ago
ICML具有独立机制竞争集合的 Transformer
本文提出了一种新的 Transformer 模型 ——Transformers with Independent Mechanisms (TIM)，使模型的不同部分通过注意力机制进行信息交换，从而实现对不同信息的准确分离并提高模型性能。
PDF3 years ago
IJCAI学习聚合函数
该论文提出了一种可学习的聚合函数（LAF），用于解决机器学习中处理集合的问题，该函数能够近似多种常用聚合器并在半合成和真实数据上显示其优越性能，可与注意力机制结合使用，有效地发挥作用。
PDF4 years ago