EMNLPOct, 2020

基于查询导向的稀疏 Transformer 的长文档排名

PDF
TL;DR本文介绍了一种名为 QDS-Transformer 的算法，它在 Transformer 自注意力机制的基础上，设计了稀疏的查询导向注意力机制，以在文档排序任务中实现本地化背景、分层表示和查询定向的邻近匹配，同时还具有稀疏性和计算效率。实验证明，QDS-Transformer 模型在全监督和少样本 TREC 排名基准中具有稳定和强大的优势。
发现论文，激发创造
  • 基于内容的稀疏注意力路由转换网络

    本研究提出了 Routing Transformer，它结合了疏密注意力和本地、时间疏松注意力的建模灵活性和效率。该模型具有基于在线 K 均值的稀疏路由模块，将注意力的总体复杂度从 $O (n^2d)$ 降至 $O (n^{1.5} d)$，并在 Wikitext-103 和 ImageNet-64 上表现出了良好的性能。

    Mar, 2020

  • 学习稀疏 Transformer 网络以有效降雨图像

    本论文提出了一种名为 Sparse Transformer (DRSformer) 的去雨神经网络，它可以自适应地保留最有用的自注意力值以更好地促进高质量图像重建，并发展了一种有效的混合尺度前馈网络来为图像去雨生成更好的特征。

    Mar, 2023

  • 对长文本进行的本地自注意力机制以提高文档检索效率

    本文提出了一种局部自注意力机制，用于解决检索过程中考虑前 n 个单词导致系统检索长文档时出现偏差的问题，并在 TREC 2019 深度学习排行榜任务上取得了显著的检索质量提升。

    May, 2020

  • Explicit Sparse Transformer: 明确稀疏转换器 —— 通过明确选择实现集中注意力

    提出了一种名为显式稀疏 Transformer 的新模型，其通过选择最相关的片段来改进全局上下文的注意力集中度，展示了在自然语言处理和计算机视觉任务方面的优越表现，并实现了与稀疏注意力方法可比或更好的结果，但显著减少了训练和测试时间。

    Dec, 2019

  • 使用模块化 Re-ranker 进行长文档重新排名

    本文提出了一种新的长文档重新排序方法，通过利用自注意力机制和模块化 Transformer 框架建立查询到文档的交互模型，避免了编码过程中低维度表示带来的信息瓶颈，实现了从全部文档中提取重要信息的目的，并在 Robust04 和 ClueWeb09 等数据集上实现了有效的重新排序。

    May, 2022

  • Sparser 更快且更简洁：用于长程 Transformer 的高效稀疏注意力机制

    通过引入 SPARSEK Attention，将自注意机制的计算和内存障碍降到最低，提供线性时间复杂度和恒定的内存占用，实现了更高效的长序列处理和管理。

    Jun, 2024

  • 图注意力网络实现的对比文档表征学习

    本文提出使用图注意力网络在可用的预训练 Transformer 模型之上来学习文档嵌入，并基于该模型设计简单的对比学习策略，在大量无标签语料库上预训练模型。经验证明，我们的方法在文档分类和文档检索任务中是有效的。

    Oct, 2021

  • 总结系统编码器 - 解码器注意力中的稀疏性和句子结构

    研究表明摘要任务中有稀疏的句子结构，可以用部分输入句子来限制编码器 - 解码器注意机制，并保持系统性能。

    Sep, 2021

  • Treeformer: 高效注意力计算的密集梯度树

    本文提出了一种名为 Treeformer 的新型 transformer 模型，通过采用基于决策树的层次化导航方法，将 attention 计算的检索成本从线性降低为几乎对数级，同时使用 TF-Attention 和 TC-Attention 两种 attention 层实现了性能优于基准 Transformer 30 倍 FLOPs 的结果。

    Aug, 2022

  • 使用查询选择器的长期序列预测 -- 高效稀疏注意力模型

    本文中提出的 Query Selector 是一种高效、确定性的稀疏注意力矩阵算法，经实验证明它在 ETT、Helpdesk 和 BPI'12 数据集上取得了最先进的结果。

    Jul, 2021