EMNLPOct, 2020

句子编码器预训练的交叉思维

PDF
TL;DR这篇论文提出了 Cross-Thought 方法用以预训练序列编码器，通过大规模的短序列训练 Transformer-based 序列编码器来自动选择对预测掩码词最有用的信息，用于大规模自然语言处理任务，如问答，文本推断等，实验结果表明，所提出的方法比传统基于连续句子信号的最新编码器以及传统掩码语言模型基线更加优秀，并打破了 HotpotQA (full-wiki setting) 的最新记录，取得了新的最高水平的中间信息检索表现。
cross-thoughtpre-trainingsequence encodertransformer-basednlp tasks
发现论文，激发创造
  • 基于预训练的自然语言生成用于文本摘要

    本文提出了一种基于预训练的编码器 - 解码器框架，使用 BERT 编码输入序列来生成输出序列，采用 Transformer-based 解码器生成草稿输出序列，并将其与原始输入序列结合使用，使用 BERT 生成的草稿表示来预测遮罩位置的优化单词，进而在文本摘要任务上实现了最新的技术水平。

    Feb, 2019

  • Poly-encoders: 转换器结构和预训练策略用于快速准确的多句子评分

    本文提出了一种新的神经网络编码器 ——Poly-encoder，它通过学习全局注意力特征来提高匹配任务的性能，并对三种常见的匹配方法进行了实验比较，得出了 Poly-encoder 相对于 Cross-encoder 和 Bi-encoder 都更快且更准确的结论，并强调了使用大数据集来进行预训练的重要性。

    Apr, 2019

  • Trans-Encoder: 通过自我和相互蒸馏进行无监督句对建模

    该研究提出了一种完全无监督学习的句子表示模型 Trans-Encoder，融合了 Bi-Encoder 和 Cross-Encoder 两种学习范式，在多个 benchmark 上表现优于现有的无监督句子编码器。

    Sep, 2021

  • VECO: 变量和灵活的跨语言预训练模型，用于语言理解和生成

    本文提出了一种在 Transformer 编码器中添加交叉注意力模块的方法，用于处理多语言预训练中的语言依赖关系问题，并在多种跨语言任务中获得新的最先进结果。

    Oct, 2020

  • 基于 “洞穴填充” 的自注意力网络预训练

    本研究提出了一种新的预训练双向 Transformer 模型的方法，通过解决一种词重建任务来提高语言理解问题的性能，实验表明，在 GLUE 和 NER 以及组分分析基准测试上获得了大幅度的性能提高，模型的各种因素对于有效的预训练起到了积极的贡献。

    Mar, 2019

  • MASS: 面向语言生成的遮掩序列到序列预训练

    该论文介绍了 MASS 作为一种在 encoder-decoder 架构下的自然语言生成前预训练方法，通过在随机遮掩的句子中构建代表性提取和语言建模能力，再在文本生成、翻译及会话生成等多个语言生成任务中进行进一步微调，以获得比其他无预训练模型和其他预训练方法更加出色的表现。

    May, 2019

  • 一次就够：一种轻量级的交叉注意力用于快速语句对建模

    本文提出了一种高效的 MixEncoder 范式，它包括一种轻量级的交叉关注机制，可以在快速计算的同时实现可比较的性能，大大加速了句子配对。

    Oct, 2022

  • 通过同步实现长序列高效编码

    本研究提出一种基于同步机制的层次编码方法，将长的输入序列分段处理并在 Transformer 层内利用自注意力机制对锚点嵌入进行同步，从而改善了不同类型长输入文本数据的全局信息交流。

    Mar, 2022

  • 多语言通用句子编码器用于语义检索

    本文介绍了两种基于 Transformer 和 CNN 模型架构的预训练多语言句子编码模型，并使用基于翻译的桥接任务学习绑定表示将 16 种语言的文本嵌入到单一的语义空间中，以提高检索效率，与最先进的语义检索、翻译检索和检索问题回答模型相竞争，并在某些情况下超越了英文单语句子嵌入模型的表现水平。

    Jul, 2019

  • 交叉编织多模态编码器

    本文提出了一种新的多模态语音和文本输入结构，使用多头交叉注意力结合预训练语音和文本编码器，并在目标问题上联合微调。所得的编码器可用于连续的令牌级别分类或对同时文本和语音进行话语级别的预测，并高效地捕获声学 - 韵律和词汇信息。

    Apr, 2022