MMSep, 2021

conSultantBERT: 微调的 Siamese 句子 BERT 用于匹配招聘职位和求职者

PDF
TL;DR该论文重点研究了将文本信息构建为有用的嵌入表示，将其作为特征输入职位与求职者匹配模型。作者使用了一种 fine-tuning 的 Siamese Sentence-BERT 模型并解决了多语言和跨语言匹配等挑战。结果表明，作者的模型显著优于现有的基于 TF-IDF 加权特征向量和 BERT 嵌入表示的方法。此外，作者还发现该模型成功匹配了跨语言和多语言的文本内容。
textual embeddingsjob matching modelssiamese sentence-bertcross-lingual matchingmultilingual textual content
发现论文，激发创造
  • VacancySBERT：招聘领域标题和技能的语义相似性搜索表示方法

    该论文关注应用于人力资源领域的深度学习语义搜索算法，旨在开发一种新颖的方法来训练 Siamese 网络以将招聘广告中提到的技能与职位标题关联起来，并通过基于共现信息的语义相似性搜索来找到用于标题标准化的候选人。通过比较 FastText、BERT、SentenceBert 和 JobBert 等基准模型，已经证明了该新方法相对于其他通用文本编码器在准确率上的显著改进，通过 VacancySBERT 和 VacancySBERT（带技能）分别实现了 10% 和 21.5% 的改进，该论文还开发了一个开源的基准模型，以促进该领域的进一步研究。

    Jul, 2023

  • 使用多语言双编码 BERT 学习匹配工作候选人

    使用候选人放置历史生成标记的 CV-vacancy 数据集，并使用带有 bi 编码器结构的多语言 BERT 来微调，添加余弦相似度对数损失层，从而实现简历和职位匹配络的可维护和可伸缩的管道，以及学习桥接词汇差距和处理语言障碍的多语言转换器可以帮助我们减少歧视。

    Sep, 2021

  • Sentence-BERT：使用孪生 BERT 网络生成句子嵌入

    本文介绍了 Sentence-BERT (SBERT)，它是预训练 BERT 网络的修改版，利用孪生和三元组网络结构来推导语义上有意义的句子嵌入，可以使用余弦相似性进行比较，将 BERT / RoBERTa 的寻找最相似组合的时间从 65 小时降至大约 5 秒钟，并保持来自 BERT 的精度。在共同的 STS 任务和转移学习任务中，我们评价 SBERT 和 SRoBERTa，该方法优于其他最先进的句子嵌入方法。

    Aug, 2019

  • 对 SwissBERT 编码模型进行微调，用于嵌入句子和文档

    对句子或短文档进行嵌入式编码的编码器模型，用于语义搜索和主题建模。本文介绍了一种专门为此目的微调的 SwissBERT 编码器模型版本，采用对瑞士四种国家语言（德语、法语、意大利语和罗曼什语）进行了预训练，使用对应文章子集的对比学习进行微调，实验证明 SentenceSwissBERT 在瑞士特定环境下的文档检索和文本分类任务中表现对原始 SwissBERT 模型和可比基准模型的准确性。该模型可供研究使用。

    May, 2024

  • 双视角蒸馏 BERT 用于句子嵌入

    本文提出了一种基于 Dual-view distilled BERT~(DvBERT) 的句子匹配方法，该方法能够捕捉多个角度的句子信息，进而提升表征能力，相较于 state-of-the-art 方法，在六个 STS 任务上达到了更好的效果。

    Apr, 2021

  • 使用监督对比学习的句子嵌入

    本文提出了一种使用对比学习进行监督学习 Fine-tuning 预训练 BERT 模型以创建高效句子嵌入的新方法，相比于只使用基于交叉熵的监督学习的当前最先进方法 SBERT，我们的方法可以在句子转换和语义文本相似度基准测试上改进 2.8％和 1.05％。

    Jun, 2021

  • 用于推荐系统的多 BERT 嵌入

    我们提出了一种使用 Sentence-BERT（SBERT）和 RoBERTa 两种最先进的自然语言处理模型结合生成文档嵌入的新方法。通过将句子视为标记并为其生成嵌入，我们的方法可以捕捉文档内句子间和句子间的关系，从而生成更具语义丰富性和准确性的文档嵌入。通过对 Goodreads 数据集上的图书推荐任务进行实验，我们评估了我们的模型，并证明了其在生成嵌入方面的有效性。与仅使用 SBERT 生成的文档嵌入相比，我们使用 MULTI-BERT 模型生成的文档嵌入在嵌入质量方面始终表现更好，通过精确度作为评估指标，我们发现我们的模型能够捕捉到更细微的语义关系，从而实现更准确的推荐。总体而言，我们的结果证明了我们的方法的有效性，并表明这是一个改进推荐系统性能的有前途的方向。

    Aug, 2023

  • 针对越南评论的情感分析 BERT 微调

    本文介绍了使用 BERT fine-tuning 方法处理越南评论数据集中情感分析任务的实验结果，并且发现相比于使用 GloVe 和 FastText，使用 BERT 模型略胜一筹。同时，本文研究提出的 BERT fine-tuning 方法也比原模型表现更好。

    Nov, 2020

  • ESIE-BERT: 基于 BERT 明确丰富子词信息的联合意图分类和槽位填充

    该文章提出了一种基于 BERT 的新方法，在识别复杂 token 中的语义信息时，通过提出的子词注意适配器（SAA）来保留整个话语信息。此外，我们还提出了一个意向注意适配器（IAA）来在模型中实现整句特征提取，从而改进了预测性能，最终，我们在两个公共基准数据集上取得了显著的性能提升。

    Nov, 2022

  • L3Cube-MahaSBERT 和 HindSBERT：用于印地语和马拉地语的句子 BERT 模型和评估 BERT 句子表示的基准

    本文介绍了使用合成的 NLI 和 STS 数据集，针对印地语和马拉地语这两种低资源语言，使用 NLI 预训练和 STSb 微调策略训练生成的高性能 Sentence-BERT 模型，并在下游文本分类和相似性任务中进行了评估。同时，提出了基于不同模型的句子嵌入的比较分析，并释放了 L3Cube-MahaSBERT 和 HindSBERT。

    Nov, 2022