Dec, 2022

用于开发 AI 软件领域语言模型的统一知识图谱服务

PDF
TL;DR通过使用知识图谱增强任务特定的训练程序，我们提出了 KnowledgeDA 作为一个统一而低代码的领域语言模型开发服务，实现了两个领域的语言模型学习，并进行了五项领域特定 NLP 任务的实验证明。
natural language processingai software engineeringlanguage modeldomain-specificknowledgeda
发现论文，激发创造
  • 基于知识图谱的神经网络在自然语言处理中的应用

    提出了一种增强学习模型的方案，即通过知识图谱的事实三元组来为自然语言处理任务提供上下文知识，并采用基于卷积的模型来减少关注空间，从而大大提高了文本分类和自然语言推理任务的性能。

    Feb, 2018

  • 语言模型敲响了知识图谱的丧钟

    使用深度学习的语言模型在医疗领域的应用取代了以往使用知识图谱的方法。

    Jan, 2023

  • 企业使用案例结合知识图谱与自然语言处理

    本研究论文基于最近对知识图谱（KG）和自然语言处理（NLP）的研究文献的调查，从企业环境的选定应用场景出发，探讨了这种组合所产生的协同效应。论文涵盖了 KG 构建、推理以及基于 KG 的 NLP 任务的各种方法。除了解释创新的企业用例外，我们还评估了它们在实际应用中的成熟度，并展望了未来的新兴应用领域。

    Apr, 2024

  • 知识混合增强模型：低资源 NLP 的全功能数据增强方案

    该论文提出了一种名为 KnowDA 的 Seq2Seq 语言模型，该模型利用知识混合训练 (KoMT) 在多个异构 NLP 任务中预先训练并生成高质量的合成数据，用于解决低资源 NLP 任务中数据增强的问题。实验证明，KnowDA 成功地将任务知识转移给在 KoMT 中看到和没有看到过的 NLP 任务。

    Jun, 2022

  • 知识插件：为领域特定推荐增强大型语言模型

    本文提出了一种通过域特定知识来增强 LLMs（large language models）在实际应用中性能的方法，即 DOKE。通过一个域知识提取器，将提取的知识以 LLM 可理解的方式整合到模型中，实验证明 DOKE 能够显著提高 LLM 在特定领域中的性能。

    Nov, 2023

  • 辅助知识图谱构建：从自然语言中进行人工监督的知识图谱构建

    通过 WAKA 这一 Web 应用程序，可以帮助领域专家以自然语言的方式构建特定领域的知识图谱。

    Jan, 2024

  • 自然语言处理中知识图谱十年调研

    对自然语言处理中知识图谱相关研究领域进行综合调研，总结任务分类、相关贡献和研究进展，并提出了未来研究方向

    Sep, 2022

  • 利用知识图谱将领域知识融入医疗自然语言推理

    本文研究如何将医学语言模型（BioELMo）的结构与医学任务中可用的知识图谱（UMLS）进行融合，通过实验验证结论表明融合策略不仅仅是可以改善 MedNLI 数据集上的 BioELMo 模型的基线表现，而且在医疗领域的任务中也导致了最前沿的结果。

    Aug, 2019

  • 基于远程监督迭代训练的粗到细的知识图谱领域适应

    本文针对现代深度学习神经网络模型需要大量手动标注数据以及从大量文本数据中构建领域特定知识图谱的困难问题，提出一个将知识图谱自适应和重新学习应用于不需要手动注释训练数据的领域适应性构建的综合框架，并引入了一种新的迭代训练策略来促进领域特定命名实体和三元组的发现和抽取，实验结果表明，该框架可以有效执行领域适应和构建知识图谱的任务。

    Nov, 2022

  • 将领域知识注入语言模型以用于面向任务的对话系统

    本研究中，我们使用轻量级 adapters 来注入特定领域的知识以在 TOD 任务上进行微调，通过 KPRS 探测方法证明 adapters 对于对话生成任务有着优秀的表现。

    Dec, 2022