Augmented SBERT：用于改善二元编码器对句对评分任务的数据增强方法

ACLOct, 2020

Augmented SBERT：用于改善二元编码器对句对评分任务的数据增强方法

Augmented SBERT: Data Augmentation Method for Improving Bi-Encoders for Pairwise Sentence Scoring Tasks

Nandan Thakur, Nils Reimers, Johannes Daxenberger, Iryna Gurevych

TL;DR提出了一种名为 Augmented SBERT 的简单而高效的数据增强策略，用于改善句子配对的分数，基于双编码器的方法，并具有显着的性能提升，尤其是在领域适应任务上。

Abstract

There are two approaches for pairwise sentence scoring: Cross-encoders, which perform full-attention over the input pair, and Bi-encoders, which map each input independently to a dense vector space. While cross-encoders often achieve higher performance, they are too slow for many pract

pairwise sentence scoring cross-encoder bi-encoder data augmentation domain adaptation

发现论文，激发创造

Trans-Encoder: 通过自我和相互蒸馏进行无监督句对建模

该研究提出了一种完全无监督学习的句子表示模型 Trans-Encoder，融合了 Bi-Encoder 和 Cross-Encoder 两种学习范式，在多个 benchmark 上表现优于现有的无监督句子编码器。

Sep, 2021

基于双向注意力的语音文本多模态训练，提高语音识别能力

采用双向注意力机制的多模态学习方法，能够有效地提升语音表示的语言信息，增强文本的语音表示，从而使共享的 ASR 模型更适用于无配对的文本数据预训练，仅使用配对数据学习时，单词错误率减少了 6.15％，使用更多无配对文本数据时，错误率减少了 9.23％。

Nov, 2022

Poly-encoders: 转换器结构和预训练策略用于快速准确的多句子评分

本文提出了一种新的神经网络编码器 ——Poly-encoder，它通过学习全局注意力特征来提高匹配任务的性能，并对三种常见的匹配方法进行了实验比较，得出了 Poly-encoder 相对于 Cross-encoder 和 Bi-encoder 都更快且更准确的结论，并强调了使用大数据集来进行预训练的重要性。

Apr, 2019

使用双向双编码器和加性边界 softmax 改进多语言句子嵌入

本研究提出了一种使用双向双编码器和加性边际 softmax 学习多语言句子嵌入的方法，能够在联合国 (UN) 平行语料库检索任务上取得最先进的结果，并使用检索到的语言对训练 NMT 模型。通过对我们的句子嵌入平均构建的简单文档级别嵌入进行实验，能在 UN 文档级别检索任务中取得 97% 以上的 P@1。最后，我们在 BUCC 挖掘任务上评估了所提出的模型，利用原始余弦相似度得分的学习嵌入与当前最先进的模型相比取得了有竞争力的结果，并利用第二阶段的评分器在此任务上实现了新的最先进水平。

Feb, 2019

利用基于 BERT 的可交换重述增强智能语音助手自然语言理解

本文介绍一种基于字节对编码和类 BERT 自注意力模型的数据增强技术，用于增强口语理解任务的性能，该方法通过领域分类和意图分类任务以及用户研究表现出了较强的性能。

Apr, 2021

Sentence-BERT：使用孪生 BERT 网络生成句子嵌入

本文介绍了 Sentence-BERT (SBERT)，它是预训练 BERT 网络的修改版，利用孪生和三元组网络结构来推导语义上有意义的句子嵌入，可以使用余弦相似性进行比较，将 BERT / RoBERTa 的寻找最相似组合的时间从 65 小时降至大约 5 秒钟，并保持来自 BERT 的精度。在共同的 STS 任务和转移学习任务中，我们评价 SBERT 和 SRoBERTa，该方法优于其他最先进的句子嵌入方法。

Aug, 2019

无监督句子嵌入方法：通过最大化互信息实现

本研究提出了一种在 BERT 基础上的轻量级扩展和基于互信息最大化策略的自监督学习目标，以无监督的方式生成有意义的句子嵌入。实验结果表明，该方法在常见的 STS 任务和下游监督任务中显著优于其他无监督句子嵌入基线，并在没有领域内标注数据的情况下超过了 SBERT。

Sep, 2020

条件 BERT 上下文增强

提出一种名为条件 BERT 上下文增强的有标注句子的新数据增强方法，基于 BERT 的条件掩蔽语言模型，通过替换预测到的更多变化的子词来增加标注的语句的多样性，实验显示该方法可以轻松应用于卷积或循环神经网络分类器中以获得明显的改进。

Dec, 2018

通过精简句子嵌入，可扩展的注意力句对建模

该研究介绍一种基于知识蒸馏的 Distilled Sentence Embedding (DSE) 模型，旨在通过构建一个用于重构跨注意力模型得分的基于句子嵌入的学生模型，加速计算查询 - 候选句子对的相似度并在句子表示基准测试中达到最先进的性能。

Aug, 2019

从自动挖掘的同义句训练有效的神经句子编码器

本文提出了一种无需人工标注的数据集构建方法，使用双语文本语料来 fine-tune Transformer 语言模型，并加入一个循环池层构建出有效的特定语种句子编码器，该方法在单张图形卡上使用不到一天时间训练，在波兰语的八个语言任务上实现了高性能，超越了最好的多语言句子编码器。

Jul, 2022