Apr, 2019

Poly-encoders: 转换器结构和预训练策略用于快速准确的多句子评分

HTML
PDF
TL;DR本文提出了一种新的神经网络编码器——Poly-encoder，它通过学习全局注意力特征来提高匹配任务的性能，并对三种常见的匹配方法进行了实验比较，得出了Poly-encoder 相对于Cross-encoder 和 Bi-encoder 都更快且更准确的结论，并强调了使用大数据集来进行预训练的重要性。
发现论文，激发创造
  • ConveRT: 基于变形金刚的高效和准确的对话表示

    提出了一种名为ConveRT的预训练框架用于对话任务，其采用一种检索式的响应选择任务来预训练轻量级双编码器，能够实现在显著提高性能的同时降低模型大小，进而应用于广泛的对话任务和意图分类任务中。

    Nov, 2019

  • 面向零-shot 跨语言任务驱动对话系统的注意力导向混合语言训练

    该研究提出了Attention-Informed Mixed-Language Training (MLT)方法，用于跨语种任务定向对话系统的零样本适应。该方法通过利用极少的任务相关平行词对来生成代码交换句子，并利用注意层给出的分数提取源单词，最终实现了显著的零-shot适应性能提升。

    Nov, 2019

  • 视觉对话的大规模预训练: 一个简单的最先进基准线

    本文提出了一种基于ViLBERT的方法，该方法采用与Visual Dialog相关的视觉语言数据集的预训练，随后转移到Visual Dialog的训练上。文中还发现，在Visual Dialog中使用密集注释进行微调，可以提高NDCG，但会降低MRR。

    Dec, 2019

  • 利用预训练语言模型生成通用文本嵌入以实现可扩展推断

    研究使用共享文本编码器实现多任务推理以及使用二进制量化减少数据存储大小的方法，证明预训练的编码器在多个任务上表现的泛化性好。

    Apr, 2020

  • 句子编码器预训练的交叉思维

    这篇论文提出了Cross-Thought方法用以预训练序列编码器，通过大规模的短序列训练Transformer-based序列编码器来自动选择对预测掩码词最有用的信息，用于大规模自然语言处理任务，如问答，文本推断等，实验结果表明，所提出的方法比传统基于连续句子信号的最新编码器以及传统掩码语言模型基线更加优秀，并打破了HotpotQA (full-wiki setting)的最新记录，取得了新的最高水平的中间信息检索表现。

    Oct, 2020

  • 卷积与自注意力：重新解释预训练语言模型中的相对位置

    该研究探讨了卷积和自注意力在自然语言任务中的关系，提出了一种将卷积融合到自注意力中的方法，并使用BERT在多个下游任务上验证了卷积相对于绝对位置嵌入的性能优势。

    Jun, 2021

  • 异曲同工：探究多样化对话任务的适切预训练方法

    研究发现，为了适应特定领域的无标签数据，引入进一步的预训练阶段可以带来积极影响，不同的下游任务需要适当的先前任务作为进一步的预训练任务来弥合任务公式差距，并针对多个任务导向的对话下游任务设计各种任务以提高其性能。

    Sep, 2021

  • Trans-Encoder: 通过自我和相互蒸馏进行无监督句对建模

    该研究提出了一种完全无监督学习的句子表示模型Trans-Encoder，融合了Bi-Encoder和Cross-Encoder两种学习范式，在多个benchmark上表现优于现有的无监督句子编码器。

    Sep, 2021

  • 注意力还是卷积：用于推理效率的音频语言模型中的Transformer编码器

    通过本文研究发现，使用简单的自监督预训练音频模型能够实现与复杂的预训练模型相媲美的推理效率，同时采用自注意力模块与卷积模块相结合的语音转换器能够在ASR上取得最先进的性能表现，同时使用较低位权重量化技术的神经网络的简单方法，能够提高效率并防止在量化模块之间传播误差。

    Nov, 2023

  • 一次编码，多次并行解码：高效Transformer解码

    基于Transformer的NLP模型在计算成本上限制了其应用场景。我们引入了一种新的编码器-解码器模型配置（PiD），通过一次编码和并行解码输出来提高结构化输出和问答任务的效率，避免了重复的输入编码以及减小解码器的内存占用，从而获得了可比较或更好性能并具有高达4.6倍加速的计算减少。

    Mar, 2024