AAAIApr, 2020

Segatron: 面向分段的 Transformer 模型用于语言建模和理解

PDF
TL;DR提出一种基于段落、句子和标记结合的位置编码的 Segment-aware Transformer 模型，并在 Transformer-XL 模型和 BERT 模型上进行预训练和测试，在语言建模和自然语言处理任务中取得了更好的表现。
transformerssequence modelingsegment-aware transformerpre-trainingnlp tasks
发现论文，激发创造
  • 从序列到序列的角度重新思考使用 Transformers 进行语义分割

    本文提出了一种新的语义分割方法，使用纯 Transformer 编码图像为序列的方式，通过全局上下文模型和一个简单的解码器生成强大的分割模型，称为 SETR，取得多项最新的测试结果。

    Dec, 2020

  • 基于 Transformer 的语言模型

    本篇论文针对 Transformer 架构不足以高效融合语言建模所需的单词级序列上下文，提出了在保持计算效率的同时通过添加额外的 LSTM 层能够更好地捕捉顺序上下文的有效 Transformer 架构，其中 Coordinate Architecture Search（CAS）通过迭代模型的精炼来找到一个有效的架构，实验结果表明 CAS 在所有问题上的 perplexities 达到了 20.42 ~ 34.11，即比最先进的 LSTM 提高了 12.0 perplexity 单位。

    Apr, 2019

  • SegmATRon：室内环境下的体验式自适应语义分割

    提出了一种自适应变压器模型 SegmATRon，用于具有实体图像语义分割。模型在推理过程中使用混合多组分损失函数自适应调整权重，并在真实环境和合成环境数据集上进行了研究。结果表明，利用室内环境中代理行为获取的额外图像可以提高语义分割的质量。

    Oct, 2023

  • Transformer-XL: 超越固定长度上下文的关注式语言模型

    提出了一种名为 Transformer-XL 的神经架构，它能够在语言模型的设定中超越固定长度的依赖关系，并且不会破坏时间上的一致性。通过分段级别的循环机制和一种新颖的位置编码方案，Transformer-XL 不仅能够捕捉更长期的依赖关系，而且还解决了上下文破碎问题。在评估期间，它的速度比普通的 Transformers 要快 1,800 多倍，并且在短序列和长序列上表现更好。实验结果显示，在多个语料库上，Transformer-XL 都比目前的最先进结果表现要好。

    Jan, 2019

  • 分段循环变压器：一种高效的序列到序列模型

    本研究提出一种名为 “SRformer” 的分段循环变压器模型，通过使用分段关注机制和循环关注机制结合来处理长度较长的序列，降低计算和内存成本，并应用于 T5 和 BART 转换器上进行摘要生成等任务，结果显示比分段变压器基线具有更高的性能表现。

    May, 2023

  • 利用链接方式增强上下文感知的神经机器翻译中的编码句子位置

    本研究采用 segement embeddings 帮助 Transformer 识别翻译串联中每个句子的位置，并通过比较不同的 segment embeddings 和提出的方法，发现除了在特定情况下，它们并不会对原始串联方法产生益处。

    Feb, 2023

  • 语义分割的 Transformer 分割器

    本文提出了 Segmenter，一种用于语义分割的 Transformer 模型，利用一种点刀线性解码器或一个 mask transformer 解码器将图像分割为不同的类别，通过对模型参数的分析，表明 Segmenter 在 ADE20K 和 Pascal Context 数据集上具有良好的性能。

    May, 2021

  • 基于句间注意力机制改进基于 Transformer 的对话语音识别

    本文提出了一种基于 Transformer 的端到端架构方法，在自动语音识别中精确建模跨话语的语境依赖，通过引入上下文感知残余注意机制，对先前语音的上下文进行编码，同时，还采用条件解码器框架将历史语言信息融入到当前预测中，结果表明该方法在几种公开对话语料库上都取得了持续的改进

    Jul, 2022

  • 增强主题连贯性的基于预训练 Transformer 的神经文本分割模型

    本文提出了一种名为 Transformer$^2$ 的基于 transformer 的 transformer 框架，用于进行神经文本分割，并在实验中证明了其在语义一致性方面的优越性。

    Oct, 2021

  • 机器翻译的异步和分段双向编码

    该研究通过改进基于 Transformer 的异步分段双向解码策略，以提高翻译效率和准确性。实验结果表明，在处理长句子方面，与传统的单向翻译方法相比，我们的方法表现出更高的效率和改善的翻译质量。此外，研究还分析了句子长度对解码结果的影响，并探讨了模型在不同场景中的性能。这项研究的发现不仅为 NMT 领域提供了一种有效的编码策略，而且为未来的研究开辟了新的途径和方向。

    Feb, 2024