Jul, 2023

作为内置零迁移 ESCO 技能匹配器的大型语言模型

PDF
TL;DRThe paper presents an end-to-end zero-shot system for skills extraction from job descriptions based on large language models, achieving promising results on skills extraction against the ESCO framework without human annotations.
labour market dynamicsautomation techniquesskills extractionesco frameworklarge language models
发现论文，激发创造
  • 在职业市场领域利用大型语言模型重新思考技能提取

    通过在 6 个统一化技能提取数据集上使用大语言模型（LLMs）的少样本学习能力，我们研究了上下文学习的使用，以克服手动注释数据的高依赖性对这些方法的泛化能力的限制。我们展示了 LLMs 能够更好地处理在技能提取任务中句法复杂的技能提及，尽管在性能上不及传统监督模型。

    Feb, 2024

  • 利用大型语言模型进行极端多标签技能抽取训练

    通过使用大型语言模型，本研究提出了一种成本有效的方法来生成准确、全合成的技能提取的标签数据集，并提出了一种对比学习策略，证明其在任务中的有效性。在三个技能提取基准测试中，我们的结果显示，与仅依赖于远程监督的字面匹配的先前发布结果相比，R-Precision@5 提高了 15 至 25 个百分点。

    Jul, 2023

  • 远程监督技能提取负采样策略设计

    本研究提出了一种基于远程监督的技能提取系统，结合 ESCO 分类法和多种负采样策略提高提取技能的性能，并引入手动注释的基准评估数据集，以促进该任务的进一步研究。

    Sep, 2022

  • 职场领域的实体链接

    本文首次探索在职业技能与 ESCO 分类之间进行实体链接，使用高效的神经模型（双编码器和自回归模型）进行技能链接的实证研究。

    Jan, 2024

  • 技能集优化：通过可转移技能强化语言模型行为

    通过构建和优化一组可迁移技能，我们提出了技能集优化（Skill Set Optimization，SSO）来提高大型语言模型在交互环境中的决策性能。在这种方法中，SSO 通过提取具有高奖励的共同子轨迹，并生成子目标和指示来构建技能。这些技能在上下文中提供给大型语言模型以加强具有高奖励的行为，并通过删除不再产生高奖励的技能来进一步优化技能集。我们通过在经典游戏 NetHack 和文本环境 ScienceWorld 中的实证评估来展示 SSO 优化技能集并提升在上下文中策略改进的能力。在我们自定义的 NetHack 任务中，SSO 的性能比基准提升了 40%，并在 ScienceWorld 中超过了先前的最先进方法达到 35% 的改进。

    Feb, 2024

  • 使用弱监督从职位发布中提取技能

    利用弱监督技术中的技能提取，结合欧洲技能、能力、资格和职业分类法，使用潜在表示法在职位广告中发现类似的技能标签，相对于基于令牌级别和语法模式的基准测试，该方法显示出强正信号。

    Sep, 2022

  • LLM4Jobs: 无监督职业提取与标准化，基于大规模语言模型

    LLM4Jobs 是一种利用大型语言模型（LLMs）进行职位编码的新型无监督方法，通过在合成和实际数据集上进行严谨实验证明，LLM4Jobs 始终超过无监督最先进的基准，展示了其在不同数据集和细粒度上的多功能性。

    Sep, 2023

  • SkillGPT：一种使用大型语言模型进行技能提取和标准化的 RESTful API 服务

    使用开源的大型语言模型，以摘要和向量相似性搜索的方式，提供无监督的技能提取和标准化 SES 处理工具 SkillGPT。

    Apr, 2023

  • 基于技能 - 职业图上下文的大型语言模型压缩在人力资源相关任务中的应用

    我们通过介绍简历 - 职位描述基准（RJDB）来填补缺失的综合性人力资源任务的基准以及没有具备竞争力的小型模型的挑战，该基准精心制作，以满足各种人力资源任务，包括简历与职位描述匹配和解释、从简历中提取技能和经验，以及编辑简历。我们通过从大型语言模型（LLM）中提取领域特定知识，并依靠精心策划的技能 - 职业图来确保多样性并为 LLMs 提供上下文生成，创建该基准。我们的基准包括超过 5 万个职位描述、匹配的简历和不匹配的简历的三元组。使用 RJDB，我们训练多个较小的学生模型。我们的实验表明，学生模型达到了与教师模型（GPT-4）相近或更好的性能，验证了该基准的有效性。此外，我们探索了在零 - shot 和弱监督方式下，RJDB 在对技能提取和简历 - 职位描述匹配的未出现在分发数据上的实用性。我们发布我们的数据集和代码以促进进一步的研究和工业应用。

    Nov, 2023

  • 基于句子嵌入的职位广告中横向技能的分层分类

    通过分类框架和深度学习模型，该论文提出一种方法来识别职位要求和横向技能的关联，并预测个体职位描述所需的技能。该方法使用 ESCO（欧洲技能、能力和职业）分类法进行数据收集、预处理和标记。采用分层分类和多标签策略进行技能识别，通过数据平衡增强模型的鲁棒性。通过比较使用英语特定和多语言句子嵌入模型得到的结果，发现它们具有相近的准确性。实验案例研究详细介绍了神经网络配置、超参数和交叉验证结果，突出了分层方法的有效性和多语言模型在多样化欧洲职位市场的适用性。因此，提出了一种新的方法来从职位广告中对横向技能进行分层分类。

    Jan, 2024