bidirectional attention | BriefGPT

关键词bidirectional attention

搜索结果 - 7

Attendre: 基于内存的 Transformer 中的检索式等待以实现长上下文处理
使用逐出策略和 Attendre 层，在处理长序列输入时减少内存需求并适应各种架构，以提高 LM 的效果和性能。
PDF6 months ago
双向关注作为连续单词专家的混合
通过重新参数化，将多层多头的双向注意力视为堆叠的 MoE 和混合的 MoE，从而揭示了双向注意力中使用 MoE 的独特之处，并说明了其在处理异构数据方面的实际有效性。此外，统计视角还揭示了双向注意力的词嵌入中线性类比的限制条件。
PDFa year ago
AAAI关注开头：使用双向注意力进行摘要提取的研究
本文提出使用双向注意机制，关注讨论帖子中的开头（初始评论 / 帖子），可以引入一致的 ROUGE 分数提升，并在论坛讨论数据集上引入新的 ROUGE 分数的最新技术，同时发现此假设是否可扩展到其他通用形式的文本数据，通过考虑文本中前几句话，
PDF4 years ago
EMNLP双向序列生成中关注未来标记
这篇论文提出了一种采用特殊占位符令序列生成过程具有双向性的方法，将生成过程视为一个完全连接图，有效提高了对话任务的性能。
PDF5 years ago
ACL通过编码对话上下文生成微博话题标签
本文提出了一种新的序列生成框架方法，通过将 hashtag 视为简短的单词序列来自动标注微博帖子的 hashtag，并提出了一个双向关注的方法来一起处理目标文章和由它们引发的对话内容。实验结果表明，我们的模型显著优于基于分类的现有模型，并能
PDF5 years ago
ACLBAG：双向注意力实体图卷积网络用于多跳推理问答
该研究提出了基于双向注意力实体图卷积 (BAG) 网络的多跳推理问题回答方法，通过图卷积网络获得实体图节点的关系感知表示，进而使用双向注意力机制生成问题感知节点表示，实现了在 QAngaroo WIKIHOP 数据集上准确性能最优的效果。
PDF5 years ago
IJCAI基于协议的双向注意力神经机器翻译联合训练
通过协商双向翻译模型之间的单词对齐矩阵来优化神经机器翻译的关注机制，并提高翻译质量。
PDF9 years ago