TaDSE: 模板感知的对话句子嵌入

May, 2023

TaDSE: Template-aware Dialogue Sentence Embeddings

Minsik Oh, Jiwei Li, Guoyin Wang

TL;DR通过模板信息，利用自我学习的对比学习框架，构建模板感知的对话句嵌入方法 TaDSE，并通过合成增强数据集增强话语和模板之间的关系，数据实验结果表明 TaDSE 在五项基准数据集上均超越了现有最佳效果，并且意图分类任务的表现较一致。

Abstract

Learning high quality sentence embeddings from dialogues has drawn increasing attentions as it is essential to solve a variety of dialogue-oriented tasks with low annotation cost. However, directly annotating and gathering utterance relationships in conversations are difficult, while t

dialogue-oriented tasks self-supervised contrastive learning utterance representation entity detection intent classification

发现论文，激发创造

从连续的话语中学习对话的表征

本文介绍了一种对话句子嵌入技术（DSE），它采用自监督对比学习方法来学习高效的对话表示，经在五个下游对话任务上的实验验证，DSE 在零样本和少样本学习中都表现出优异的性能。

May, 2022

DialogueCSE: 基于对话的对比学习句向量表示

本文提出一种对话导向的对比学习方法，即 DialogueCSE，以解决利用对话学习句子嵌入时出现的评估训练差距。通过引入新的匹配引导嵌入机制，该方法生成了上下文感知嵌入，并通过对比损失来最小化每个上下文感知嵌入与其对应的上下文无关嵌入的差异。实验结果表明，在三个多回合对话数据集上，该方法在 MAP 和 Spearman 相关性指标方面优于基线表现，具有很高的效力。

Sep, 2021

TSDAE: 使用基於 Transformer 的逐步去噪自編碼器進行無監督句子嵌入式學習

本研究基于预训练的 Transformer 和序列去噪自编码器（TSDAE）提出了一种新的最先进的无监督方法，该方法表现优于先前的方法高达 6.4 个点。它可以达到领域内监督方法的性能的 93.1％。此外，我们证明了 TSDAE 是一种强大的领域自适应和预训练方法，明显优于其他方法，如遮蔽语言模型。我们在来自异构领域的四个不同数据集上评估 TSDAE 和其他最近的方法。

Apr, 2021

D2CSE: 基于差异感知的深度连续提示对比句子嵌入

本文提出了一种基于连续提示的差异感知深度对比句子嵌入方法（D2CSE），它可以区分相似句子的细微差异并在自我引导的情况下使用对比学习和条件替换令牌检测来执行多个任务，同时减少了训练参数数量，并且在语义文本相似度基准测试中达到了最新的表现水平。

Apr, 2023

通过精简句子嵌入，可扩展的注意力句对建模

该研究介绍一种基于知识蒸馏的 Distilled Sentence Embedding (DSE) 模型，旨在通过构建一个用于重构跨注意力模型得分的基于句子嵌入的学生模型，加速计算查询 - 候选句子对的相似度并在句子表示基准测试中达到最先进的性能。

Aug, 2019

SimCSE: 简单的对比学习句子嵌入

本文介绍了一种简单的对比学习框架 SimCSE，通过无监督和监督学习两种方法，显著提高了句子嵌入的性能，适用于语义文本相似性任务。

Apr, 2021

无监督句子嵌入的自适应对比学习重建

我们提出了一种自适应重建对比句子嵌入（SARCSE）框架，通过使用自动编码器对句子中的所有单词进行重建，帮助模型在聚合单词时保留更多细粒度的语义。实验结果表明，与强基准 SimCSE 相比，SARCSE 在 7 个 STS 任务中取得了显着改进。

Feb, 2024

DiffCSE：基于差异的对比学习用于句向量

本文介绍了 DiffCSE，一个无监督的对比学习框架，可以学习敏感于原始句子和编辑后句子之间差异的句子嵌入，通过朴素的掩码和掩码语言模型中的采样获得编辑后的句子，证明了 DiffSCE 是一种等变对比学习，并在语义文本相似性任务中取得了超越无监督 SimCSE 的最先进结果。

Apr, 2022

DebCSE：从去偏见的角度重新思考无监督对比句嵌入学习

本文研究了对比学习中存在的偏见问题，提出了一种名为 DebCSE 的新型对比框架，通过逆倾向加权抽样方法选择高质量的正负样本对，以消除各种偏见的影响，从而提高句子嵌入的质量。在语义文本相似性基准测试中，DebCSE 的平均 Spearman 相关系数为 80.33%，显著优于最新的最先进模型。

Sep, 2023

SentiCSE：一种基于情感的对比句嵌入框架，配备情感引导的文本相似度

该研究提出了 Sentiment-guided Textual Similarity (SgTS) 方法来评估情感表示的质量，然后通过结合词级和句级目标的 Sentiment-aware Contrastive Sentence Embedding (SentiCSE) 框架构建情感表示，并展示了其在情感分析任务中的优越性能。

Apr, 2024