推进语义文本相似度建模：具有翻译 ReLU 和平滑 K2 损失的回归框架

Jun, 2024

推进语义文本相似度建模：具有翻译 ReLU 和平滑 K2 损失的回归框架

Advancing Semantic Textual Similarity Modeling: A Regression Framework with Translated ReLU and Smooth K2 Loss

Bowen Zhang, Chunping Li

TL;DR该论文介绍了一种创新的回归框架，并提出了两种简单而有效的损失函数：翻译 ReLU 和平滑的 K2 损失。实验分析表明，我们的方法在七个已建立的语义文本相似性基准中取得了令人信服的性能，尤其是在补充任务特定的训练数据的情况下。

Abstract

Since the introduction of BERT and RoBERTa, research on Semantic Textual Similarity (STS) has made groundbreaking progress. Particularly, the adoption of contrastive learning has substantially elevated state-of-the-art performance across various STS benchmarks. However, →

semantic textual similarity contrastive learning fine-grained annotated information sentence-bert regression framework

发现论文，激发创造

文本编码器缺乏知识：利用生成型语言模型为特定领域的语义文本相似性提供支持

语义文本相似度问题可以作为生成文本问题来解决，生成型的大型语言模型在特定领域的语义相似度任务中表现优于基于编码器的模型，并且在需要世界知识的 STS 任务上，新收集的数据验证了这个结论。

Sep, 2023

可解释的语义文本相似度：发现并解释句子之间的差异

本文研究了在语义文本相似度（STS）的基础上添加可解释性层，通过分析句对之间的对齐关系，给出了一种可度量关系的方法。同时，作者提供了一个公共的数据集来评估系统性能，研究表明该方法可用于进行自然语言的解释并提高用户的接受度。

Dec, 2016

SemEval-2017 任务 1：语义文本相似度 - 多语言和跨语言聚焦评估

研究了句子的语义文本相似度，旨在评估现有模型的性能和限制，并提出一个新的 STS 基准用于对语义表示的研究。

Jul, 2017

使用 Siamese CNN 和 LSTM 预测语义文本相似性

本文介绍了一种结合卷积神经网络和递归神经网络用于度量句子语义相似性的系统，使用卷积网络考虑单词的局部上下文和 LSTM 考虑句子的全局上下文，能够保留句子相关信息，并在句子相似性计算方面取得了良好的结果，具有和最优秀系统相竞争的优势。

Oct, 2018

从对话学习语义文本相似度

本论文通过学习使用对话数据学习句子级语义相似性的新方法，利用无监督模型预测对话输入响应对以训练，导出的句子嵌入在语义文本相似性基准测试和 SemEval 2017 的 CQA 问题相似性子任务上表现良好。通过介绍同时进行对话输入响应预测任务和自然语言推理任务的多任务训练来进一步改善性能。广泛的实验显示，所提出的模型在 STS 基准测试中达到了所有神经模型中最佳性能，并且在两个任务中的工程特征和混合系统方面与最先进的混合系统竞争。

Apr, 2018

基于组合短语语义的无监督句子文本相似度

本文针对各种领域但仅需要最少的数据和计算资源的无监督 STS 提出了一种轻量级的 Expectation-Correction (EC) 公式来计算 STS，此方法包括通过组合多个递归 EC 公式来捕捉组合短语语义的 Recursive Optimal Transport Similarity (ROTS) 算法，这比之前的方法更有效和可扩展，并通过对 29 个 STS 任务的详细消融研究证明了此方法的有效性。

Oct, 2022

语义相似度预测优于其他语义相似度度量

使用经过微调的模型准确预测语义相似度，以测量自然语言文本之间的语义相似度，与传统的基于子序列重叠或嵌入的方法相比，效果更好。

Sep, 2023

基于 Transformer 的大语料库语义相似度分析的认知研究

本文利用传统技术和转换器技术对美国专利短语进行语义相似性分析和建模，并对 Decoding Enhanced BERT（DeBERTa）的四种不同变体进行实验，在此基础上通过 K 次交叉验证提高性能，实验结果表明我们的方法比传统技术更具有优越性，平均 Pearson 相关系数为 0.79。

Jul, 2022

Sentence-BERT：使用孪生 BERT 网络生成句子嵌入

本文介绍了 Sentence-BERT (SBERT)，它是预训练 BERT 网络的修改版，利用孪生和三元组网络结构来推导语义上有意义的句子嵌入，可以使用余弦相似性进行比较，将 BERT / RoBERTa 的寻找最相似组合的时间从 65 小时降至大约 5 秒钟，并保持来自 BERT 的精度。在共同的 STS 任务和转移学习任务中，我们评价 SBERT 和 SRoBERTa，该方法优于其他最先进的句子嵌入方法。

Aug, 2019

蒸馏模型中的对比学习

使用 SimCSE 论文中的适用对比学习方法，将基于知识蒸馏模型 DistilBERT 的模型架构进行调整，以解决自然语言处理模型在语义文本相似度上效果不佳且过大无法部署为轻量级边缘应用的问题，最终得到的轻量级模型 DistilFace 在 STS 任务的 Spearmans 相关性上达到了 72.1，相比 BERT Base 提升了 34.2％。

Jan, 2024