Aug, 2023

用于推荐系统的多 BERT 嵌入

PDF
TL;DR我们提出了一种使用 Sentence-BERT（SBERT）和 RoBERTa 两种最先进的自然语言处理模型结合生成文档嵌入的新方法。通过将句子视为标记并为其生成嵌入，我们的方法可以捕捉文档内句子间和句子间的关系，从而生成更具语义丰富性和准确性的文档嵌入。通过对 Goodreads 数据集上的图书推荐任务进行实验，我们评估了我们的模型，并证明了其在生成嵌入方面的有效性。与仅使用 SBERT 生成的文档嵌入相比，我们使用 MULTI-BERT 模型生成的文档嵌入在嵌入质量方面始终表现更好，通过精确度作为评估指标，我们发现我们的模型能够捕捉到更细微的语义关系，从而实现更准确的推荐。总体而言，我们的结果证明了我们的方法的有效性，并表明这是一个改进推荐系统性能的有前途的方向。
document embeddingssentence-bertrobertabook recommendationnatural language processing
发现论文，激发创造
  • Sentence-BERT：使用孪生 BERT 网络生成句子嵌入

    本文介绍了 Sentence-BERT (SBERT)，它是预训练 BERT 网络的修改版，利用孪生和三元组网络结构来推导语义上有意义的句子嵌入，可以使用余弦相似性进行比较，将 BERT / RoBERTa 的寻找最相似组合的时间从 65 小时降至大约 5 秒钟，并保持来自 BERT 的精度。在共同的 STS 任务和转移学习任务中，我们评价 SBERT 和 SRoBERTa，该方法优于其他最先进的句子嵌入方法。

    Aug, 2019

  • SBERT 研究意义表示：将句子嵌入分解为可解释的语义特征

    该论文介绍了一种新的基于 semantically structured sentence BERT embeddings（S^3BERT）的方法，通过近似可解释的 AMR 图表特征的方法将句子嵌入分解为语义特征，并通过 SBERT 教师模型的相似度打分来约束分解学习过程，从而保持神经嵌入的效力和效率。

    Jun, 2022

  • BERT 和 ALBERT 句子嵌入在下游 NLP 任务中的表现评估

    探讨了使用 BERT 和 ALBERT 进行 Sentence Embedding 的方式，并通过实验发现，对于 STS 和 NLI 数据集的任务，ALBERT 表现明显优于 BERT。

    Jan, 2021

  • 无监督句子嵌入方法：通过最大化互信息实现

    本研究提出了一种在 BERT 基础上的轻量级扩展和基于互信息最大化策略的自监督学习目标，以无监督的方式生成有意义的句子嵌入。实验结果表明，该方法在常见的 STS 任务和下游监督任务中显著优于其他无监督句子嵌入基线，并在没有领域内标注数据的情况下超过了 SBERT。

    Sep, 2020

  • 最佳多语言文件嵌入是否只是基于句子嵌入？

    本研究系统地比较了使用 LASER、LaBSE 和 Sentence BERT 预训练的多语言模型从句子中生成文档级表示的方法，证明了对于多语言任务来说，通常使用句子嵌入的巧妙组合要优于将整个文档编码为单个单元，并且说明了虽然简单的句子平均值对于分类任务来说已经有一定的效果，但对于语义任务来说需要更复杂的组合。

    Apr, 2023

  • SBERT-WK：通过解剖基于 BERT 的词模型的句子嵌入方法

    本文介绍了一种基于 BERT 的词模型的高质量句子嵌入方法 ——SBERT-WK，它通过对词表示所张成空间的几何分析，研究了深度上下文模型词表示的分层模式，并在语义文本相似度和下游监督任务中评估了其性能，实验结果表明 SBERT-WK 取得了最先进的性能。

    Feb, 2020

  • 多层次句子嵌入用于人格预测

    通过 AdaCos 损失函数对上层句子空间进行训练，并使用基于余弦相似度的新型损失函数进行微调，我们成功地将文本表示为多维空间中的向量，实现了在拥有复杂多级结构的数据集中进行文本分类的目标。

    May, 2023

  • 旅游中的情感分析：BERT 微调还是句子嵌入串接？

    比较研究了 Fine-Tuning 的 Bidirectional Encoder Representations from Transformers 和一种将两个嵌入进行串联以提高堆叠的 Bidirectional Long Short-Term Memory-Bidirectional Gated Recurrent Units 模型性能的方法，将这两种方法应用于摩洛哥购物地点的情感分析，并在两种方法的学习率和最佳优化器之间进行了比较。

    Dec, 2023

  • BERT 的多阶段文档排名

    利用 BERT 模型，在多阶段排名结构中将文档排序问题分别转化为点和对分类的两个变量来解决，这是一种终端到终端的用于搜索的系统设计，可以通过控制每个管道阶段的候选人数量来权衡质量和延迟，并在 MS MARCO 和 TREC CAR 数据集上提供了与现有技术相当或更好的结果。

    Oct, 2019

  • PromptBERT: 利用提示提高 BERT 句子嵌入

    本文提出了一种新的对比学习方法 PromptBERT，用于改进句子表示的效果，在分析当前 BERT 句子嵌入的缺陷后，通过两种提示表示方法和三种提示搜索方法实现更好的句子嵌入，同时通过模板去噪技术，提出了一种新的无监督训练目标，大大缩短了有监督和无监督设置之间的性能差距，实验证明了方法的有效性。

    Jan, 2022