transformer attention | BriefGPT

关键词transformer attention

搜索结果 - 12

PASTA：通过逐步聚合时空对齐实现灵活高效的 HDR 图像处理
PASTA 是一种新颖的渐进聚合空时对齐框架，通过利用层次表示进行特征分解，从而实现高效性和效果性。通过在层次结构中利用不同的粒度，我们的方法极大地提升了计算速度并优化了 HDR 成像工作流程。实验结果展示了 PASTA 在视觉质量和性能指
PDF4 months ago
VQA 模型中的注意力模式零 - shot 翻译为自然语言
ZS-A2T 是一个零射击框架，将给定模型的转换器注意力转换为自然语言而无需任何训练，以可理解形式提供关于该模型的见解。它在视觉问答（VQA）的上下文中构建在预训练的大型语言模型上，并通过利用 VQA 模型的文本 - 图像匹配能力来确定其相
PDF8 months ago
如何捕捉高阶相关性？将矩阵 Softmax 注意力推广为克罗内克计算
在该研究中，我们研究了一种可以捕捉三元相关性的注意力机制的泛化形式，该泛化形式能够解决传统 transformers 无法解决的问题。我们展示了在有界输入情况下的近似计算，以及对于更高阶张量和相关性的拓展。同时，我们还发现输入的边界与张量的
PDF9 months ago
从时间序列的注意力中提取可解释的局部和全局表示
本研究论文研究了在时间序列数据的背景下，基于局部抽象和全局表示的两种 Transformer 注意力解释性方法，提供了一个综合框架来讨论它们在一般解释选择上的具体实例化，详细概述了它们各自的计算实现和抽象变体，并通过广泛的实验展示了所提出方
PDF10 months ago
ICCV视觉跟踪的鲁棒物体建模
提出了一种鲁棒的目标建模框架（ROMTrack），同时对固有模板和混合模板特征进行建模，通过结合目标对象的固有特征和搜索区域的引导来抑制有害干扰物，并使用混合模板提取与目标相关的特征，从而实现更强大的目标建模框架。
PDFa year ago
医学图像分割中的注意力机制：综述
本文系统地回顾了基于注意力机制的医学图像分割技术，总结了不同注意力机制（包括非 Transformer 和 Transformer 注意力）的原理、实现方法和应用任务，分析了它们的优点和局限性，归纳总结了当前研究进展和存在的不足，并探讨了未
PDFa year ago
迭代前向调整促进语言模型内部学习
本研究提出了一种有效的、高效的两阶段方法来增强大型语言模型中的上下文学习，该方法利用 Transformer 注意力和梯度下降优化之间的双重形式，将上下文学习过程分为 'Thinking' 和推理阶段，通过递归前向优化演示来增强 LLLs
PDFa year ago
为什么 GPT 能够学会上下文？语言模型秘密地作为元优化器执行梯度下降
本文将语言模型视为元优化器，在理论上和实验上探究了上下文内学习（ICL）的工作机理，通过解释 Transformer 注意力的梯度下降优化以及设计基于动量的注意力，揭示了 ICL 的内在特性和更好的应用前景。
PDF2 years ago
ACL每个词都很重要：一种多语言分析模型注意力与个人对齐的方法
通过分析母语和英语学习者阅读不同语言时的眼动数据，发现个体阅读行为会影响人类和模型之间的关联性，这需要在未来的研究中被考虑进去。
PDF2 years ago
FedFormer: 强化学习中的上下文联邦学习和注意力机制
该论文提出了一种名为 FedFormer 的新型联邦学习策略，使用 Transformer Attention 对不同学习者代理的模型进行上下文聚合嵌入，从而实现有效且高效的联邦学习，该方法在 Meta-World 环境中验证了其在联邦学习
PDF2 years ago
EMNLP基于注意力机制的对比学习在 Winograd Schema 上的应用
本文研究了将对比学习扩展到 Transformer attention 来解决 Winograd Schema Challenge 的能力，并提出了一种新的自监督框架，直接在自注意力层级上利用对比损失，最终在多个数据集上展现了优越的常识推理
PDF3 years ago
深度网络中空间注意机制的实证研究
本篇论文对注意力机制的实现方法进行了实证研究，发现空间注意力及注意力机制中的关键内容对比对深度神经网络的性能影响显著，为注意力机制的进一步研究及设计提供了新的思路和方向。
PDF5 years ago