EMNLPSep, 2021

MATE: 表格 Transformer 效率的多视角注意力机制

PDF
TL;DR使用稀疏注意力 Transformer 建构的 MATE 结构，可用于处理包含大量表格的网页文档。MATE 能够高效地处理表格的行列信息，并对涵盖超过 8000 个单元格的文档进行建模，同时在处理包含表格的大型文档时也表现出优越性。我们在三个涉及表格的推理数据集上创造了最新的最佳结果，其中包括了大型文档和表格的 HybridQA 数据集，我们的表现提高了 19 分。
sparse-attention transformerweb tablesmatetabular datahybridqa dataset
发现论文，激发创造
  • 基于多项式的自注意力机制用于表格表示学习

    通过提出一种基于矩阵多项式的自注意力层作为替代，我们改善了 Transformer 在表格数据中存在的平滑问题，并展示该层能够提高表格数据的表示性能，胜过现有方法。

    Dec, 2023

  • SEA：具有估计注意力掩码的稀疏线性注意力

    SEA 提出了稀疏线性注意力机制，通过基于核的线性注意力估计注意力矩阵，然后使用 top-k 选择生成对完整注意力矩阵的稀疏近似，以解决 transformers 在处理长序列时的复杂性问题，并保持可解释的注意力矩阵和利用知识蒸馏来降低预训练 transformers 的复杂性。

    Oct, 2023

  • 多分支注意力 Transformer

    本研究提出了一种名为多分支注意力 Transformer（MAT）的变体，通过平均多个分支的注意力层，并使用两种训练技术 —— 随机丢弃分支和相似初始化，对机器翻译、代码生成和自然语言理解等任务进行了实验，并取得了显著改善。

    Jun, 2020

  • TableFormer：表格文本编码的鲁棒 Transformer 建模

    提出了一种结构完整和鲁棒性强的表格文本编码架构 TableFormer，通过可学习的注意力偏置完全融合了表格结构偏差，进一步强化了对表格的理解能力，在 SQA、WTQ 和 TabFact 等表理解数据集方面优于强基线，尤其在面对具有答案不变的行列顺序扰动时，相对于最佳基线的提升达到 6％。

    Mar, 2022

  • 使用表格语言模型在工业表格中进行命名实体识别

    本文研究如何将基于 transformer 的模型应用于工业级别的表格数据中的实体识别问题，并开发了一种专用的表格数据增强策略来提高性能，实验证明表格的归纳偏差对于 transformer-based 模型的收敛至关重要。

    Sep, 2022

  • 基于 Transformer 的多层注意力解释模型用于表格数据

    该研究提出了一种基于图的注意力机制解释方法用于表格数据，使用 Transformer 架构易于实现可解释性，通过对所有层的注意力矩阵进行建模，通过识别出影响模型预测的重要特征组，可以提供多层的基于注意力的解释。

    Feb, 2023

  • 分子注意力变换器

    通过在 Transformer 中使用原子间距离和分子结构来扩充注意力机制，我们提出了 Molecule Attention Transformer（MAT）神经网络模型，其可以在一系列不同的分子预测任务中以竞争优势表现。并且，我们展示了一个简单的自监督预训练可以让 MAT 以很少的超参数调整就达到最新技术水平，并且 MAT 学习到的注意力权重可以从化学角度解释。

    Feb, 2020

  • TableFormer: 基于 Transformer 的表格结构理解

    本文提出了一种新的表格结构识别模型，通过引入新的对象检测解码器和基于 transformer 的解码器，能够更准确地提取表格内容并处理各种形式的表格。

    Mar, 2022

  • 关系学习中的全面关注提升

    基于树模型的注意机制结合与 (tabular data) 表格数据在 (gradient boosting) 梯度提升训练环境中学习，被证明在多个领域与包含树模型和神经网络模型的现有技术相比具有竞争力。

    Feb, 2024

  • 一种基于混合分层注意力的编码器 - 解码器方法用于标准表格摘要

    深度学习模型可使用 Hierarchical Attention 的编码 - 解码方法来提高结构化表格的自然语言 summarization，并在 WEATHERGOV 数据集中实验，得到了～30% 的提升。

    Apr, 2018