Jun, 2023

SIFTER：一种增强句子嵌入的任务特定对齐策略

PDF
TL;DR提出了一种名为 SIFTER 的方法，该方法可以通过缩放模型和数据的信息来增强有相关性的部分的领域信息以及减少不同领域任务的不相关元素，从而提高预先训练的自然语言处理任务在具体任务中的性能表现，通过实验证明 SIFTER 方法可以提高 SimCSE 和 LSTM 基线的性能表现。
发现论文，激发创造
  • 使用 Transformer 进行句子简化 -- 以五岁孩子的语言为解释

    本文使用预训练转换器模型探讨了简化句子的方法，并在 Mechanical Turk 数据集上结合 GPT-2 和 BERT 模型取得了 46.80 的最佳 SARI 得分，明显优于之前的最新研究成果。

    Dec, 2022

  • 来自不同监督信号的句子嵌入的比较和组合

    本文探讨了两种类型的句子嵌入方法对于语义文本相似度任务性能的影响，发现 fine-tunes 预训练语言模型在自然语言推断和单词预测任务中使用能够提高性能，而且将两种方法相结合能够比单个方法取得更好的效果。

    Feb, 2022

  • 适应航空领域的句子转换器

    针对航空领域的技术术语和非传统语法等特征，作者提出了一种两阶段的方法：使用航空文本数据进行预训练，然后使用自然语言推理数据集在 SBERT 架构上进行微调，以适应该领域并显著优于通用性转换器，突出了领域特定适应对于开发专业 NLP 解决方案的重要性。

    May, 2023

  • 蒸馏模型中的对比学习

    使用 SimCSE 论文中的适用对比学习方法，将基于知识蒸馏模型 DistilBERT 的模型架构进行调整，以解决自然语言处理模型在语义文本相似度上效果不佳且过大无法部署为轻量级边缘应用的问题，最终得到的轻量级模型 DistilFace 在 STS 任务的 Spearmans 相关性上达到了 72.1，相比 BERT Base 提升了 34.2％。

    Jan, 2024

  • 通过精简句子嵌入，可扩展的注意力句对建模

    该研究介绍一种基于知识蒸馏的 Distilled Sentence Embedding (DSE) 模型，旨在通过构建一个用于重构跨注意力模型得分的基于句子嵌入的学生模型，加速计算查询 - 候选句子对的相似度并在句子表示基准测试中达到最先进的性能。

    Aug, 2019

  • 异曲同工：探究多样化对话任务的适切预训练方法

    研究发现，为了适应特定领域的无标签数据，引入进一步的预训练阶段可以带来积极影响，不同的下游任务需要适当的先前任务作为进一步的预训练任务来弥合任务公式差距，并针对多个任务导向的对话下游任务设计各种任务以提高其性能。

    Sep, 2021

  • P-SIF: 使用划分平均法进行文档嵌入

    P-SIF 是一种基于分区词向量加权平均的长文档表示方法，相较于简单的加权平均和其他基准方法，在理论上和实际效果上都更为有效。

    May, 2020

  • 使用监督对比学习的句子嵌入

    本文提出了一种使用对比学习进行监督学习 Fine-tuning 预训练 BERT 模型以创建高效句子嵌入的新方法，相比于只使用基于交叉熵的监督学习的当前最先进方法 SBERT，我们的方法可以在句子转换和语义文本相似度基准测试上改进 2.8％和 1.05％。

    Jun, 2021

  • 关于预训练语言模型中句子嵌入的研究

    本篇论文提出通过使 BERT 句子嵌入分布变换成平滑和各向同性的高斯分布，从而提高 BERT 在各种语义文本相似度任务中的表现。实验证明，我们提出的 BERT-flow 方法在各种任务中显著优于现有状态下的句子嵌入方法。

    Nov, 2020

  • 使用选择性屏蔽作为预训练和微调之间的桥梁

    该研究提出了一种使用任务特定掩码的方法，通过修改预训练的 BERT 模型来适应下游任务。研究结果表明，这种选择性掩码策略优于随机掩码，具有较好的效果。

    Nov, 2022