attention-based mechanisms | BriefGPT

关键词attention-based mechanisms

搜索结果 - 4

记忆感知线性偏差对于专注式知识追踪的效果
这篇论文提出了一种简单而有效的解决方案，即遗忘感知线性偏差（FoLiBi），以反映遗忘行为作为线性偏差，并通过有效地解耦问题之间的相关性与遗忘行为，FoLiBi 与几种知识追踪模型相结合，在四个基准数据集上一致改善了最高 2.58％的 AU
PDF9 months ago
EMNLP多轮开放域对话系统中的历史感知层次变压器
本文提出了历史感知的分层 Transformer - 多轮开放域对话系统，能够利用历史交互信息与时下言语背景生成基于上下文且相关性强的对话回应，并在大规模多轮对话数据集上取得了优异的表现结果。
PDFa year ago
Transformer vs. MLP-Mixer: 自然语言处理问题的指数表达差距
本文分析了基于 MLP 的体系结构模拟多个不同输入之间依赖关系的表达能力，并展示了注意力机制和基于 MLP 的机制之间的指数差距，从而提供了 MLP 无法与注意力机制在 NLP 问题中竞争的理论解释。此外，文中还提出，MLP 相对于注意力机
PDF2 years ago
DensePASS: 通过注意力增强的上下文交换进行密集型全景语义分割的无监督域适应
本文采用领域适应的角度，针对 360 度车载相机图像的全景语义分割问题，提出了使用基于注意力机制的跨域全景语义分割框架，并公开了一个密集标注且包含有标注和无标注的全景图像数据集 DensePASS。在两个标准分割网络中使用我们的框架，相对
PDF3 years ago