Jun, 2024

结合嵌入和领域知识进行职位发布的重复检测

PDF
TL;DR我们提出了一种用于检测职位描述中的重复内容的方法，结合基于字符相似度的重叠度、文本嵌入和关键词匹配的方法，取得了令人信服的结果。使用我们的方法开发的工具已经在生产中使用，并且来自实际使用的反馈证实了我们的评价。
job descriptionsautomated recruitmentduplicate detectiontext embeddingkeyword matching
发现论文，激发创造
  • 从工作描述聚合网络中学习职位表示

    通过职位描述聚合组件和双向对比损失函数，我们提出了一种学习职位标题的替代框架，并在域内和域外设置中评估了我们方法的性能，相比于基于技能的方法，取得了更好的表现。

    Jun, 2024

  • 使用孪生结构细化 GPT-3 嵌入来进行技术文章重复检测

    通过使用 GPT-3 嵌入来检测重复的技术文章，并结合基于 GPT-3 嵌入的孪生网络，实现对技术论坛中重复帖子的准确表示与捕捉。

    Dec, 2023

  • VacancySBERT：招聘领域标题和技能的语义相似性搜索表示方法

    该论文关注应用于人力资源领域的深度学习语义搜索算法，旨在开发一种新颖的方法来训练 Siamese 网络以将招聘广告中提到的技能与职位标题关联起来，并通过基于共现信息的语义相似性搜索来找到用于标题标准化的候选人。通过比较 FastText、BERT、SentenceBert 和 JobBert 等基准模型，已经证明了该新方法相对于其他通用文本编码器在准确率上的显著改进，通过 VacancySBERT 和 VacancySBERT（带技能）分别实现了 10% 和 21.5% 的改进，该论文还开发了一个开源的基准模型，以促进该领域的进一步研究。

    Jul, 2023

  • 基于聚类的图像 - 文本图匹配模型桥接领域差距

    通过融合图像和文本的多模态图形表示，我们通过考虑图像和文本描述符之间内在的语义结构得到领域不变的关键嵌入，从而实现领域泛化问题中的域不变特征学习。我们的模型在 CUB-DG 和 DomainBed 等大规模公共数据集上实验，取得了与或更好于这些数据集上的最新性能。

    Oct, 2023

  • 利用人类相似度评判修剪词向量以提高可解释性

    通过一种有监督学习方法，针对特定领域（例如运动、职业），识别出一组强烈改善人类相似度判断预测的模型特征子集，并通过两种方法解释所保留特征的语义，从而揭示了人类如何根据性别包容性和国际性来区分运动类别，以及不同领域中特征对不同语义维度的预测能力。对于职业特征而言，最能预测认知、情感和社会维度，而对于水果或蔬菜特征而言，则最能预测味觉维度。讨论了对于人工智能系统与人类知识之间的对齐的意义。

    Oct, 2023

  • 基于嵌入式推荐系统的大规模工作与候选人匹配

    本文研究基于嵌入的推荐系统应用于大规模的招聘场景，提出融合不同级别的文本、语义实体和位置信息的嵌入式聚类方法构建 Faiss 索引来支持候选人检索，最终运用二阶段模型完成了在线招聘匹配系统，并取得了显著的成功。

    Jul, 2021

  • 领英深度职位理解

    该研究论文介绍了 LinkedIn 如何利用深度迁移学习方法和专家反馈循环来改进其职位理解模型，从而提高职位推荐系统的准确性和雇佣效率。

    May, 2020

  • 多语种去重策略：应用可扩展相似度搜索与单语和多语嵌入模型

    本文介绍了使用先进的 NLP 工具对多语种文本数据进行去重的方法。我们比较了一个包括翻译为英文后嵌入 mpnet 的两步方法和一个多语种嵌入模型 (distiluse)。两步方法在 F1 得分方面表现更好 (82% vs. 60%)，特别是在较少使用的语言上，可以通过利用基于领域知识的专家规则将其提高至 89%。我们还强调了与标记长度限制和计算效率相关的局限性。我们的方法对未来的多语种去重任务提出了改进建议。

    Jun, 2024

  • 学习极短文本的语义相似性

    研究了基于单词嵌入和 tf-idf 相似性的方法，用于匹配短文本片段，并得出使用两种方法的混合方法可以更好地模拟非常短的文本片段中的语义内容。

    Dec, 2015

  • 使用单词嵌入进行跨语言抄袭检测

    本文提出使用分布式单词表示（word embeddings）来进行跨语言文本相似度检测，并通过组合不同的方法来验证它们的补充性，最终在非常具有挑战性的语料库上，在块级别下实现了英法相似度检测的总体 F1 得分 89.15％（在句级别下为 88.5％）。

    Feb, 2017