May, 2024

利用小型语言模型进行 Text2SPARQL 任务以提高 AI 助手的韧性

PDF
TL;DR本研究展示了小于十亿参数的语言模型可以在微调后用于将自然语言翻译成 SPARQL 查询。通过使用从学术界到真实世界的三个不同数据集，我们确定了训练数据必须满足的先决条件以确保训练成功。目标是让语义网络技术的用户能够使用经济实惠的通用硬件进行 AI 辅助，增强其对外界因素的韧性。
language modelssparql queriestraining datasemantic web technologyai assistance
发现论文，激发创造
  • 从自然语言翻译到 SPARQL 的神经机器翻译

    本篇论文采用八种不同的神经机器翻译模型，探讨将自然语言问题翻译成结构化查询语言 SPARQL 的方法，结果表明基于 CNN 的架构效果最佳， BLEU 分数高达 98，准确率高达 94%。

    Jun, 2019

  • SPARQL 作为外语

    本文提出了一种称之为 Neural SPARQL Machines 的神经网络模型，该模型通过 seq2seq 训练模式将自然语言翻译成 SPARQL 查询，从而提高 Linked Data Cloud 上的问题搜寻效率。

    Aug, 2017

  • 基于数据库的对话自然语言接口的高效部署

    研究使用对话式多轮数据的方法加速训练自然语言到查询语言的机器学习模型，旨在解决领域数据有限及集成过程繁琐耗时等问题。

    May, 2020

  • 基于知识的文本生成中的对话型大型语言模型的比较分析

    通过对四个不同大小的大型语言模型以及不同提示技术的比较和基准实验分析，我们发现对于从语义三元组生成自然语言文本，少量示范、后处理和高效微调技术可以显著提高大型语言模型的能力，尤其对于表现出低零样本性能的较小模型。

    Feb, 2024

  • SPARQL 生成：对于在生命科学知识图谱上进行问答的 OpenLLaMA 微调分析

    利用大型语言模型 (LLM)，本研究评估了几种策略用于在生命科学知识图谱上进行问题回答，并提出一种端到端的数据增强方法，使得即使在缺乏问题到 SPARQL 查询对的数据集的情况下，也能进行微调。此外，研究还探讨了查询中语义线索的作用，并在真实的基因表达知识图谱上进行了评估，结果表明语义线索可以提高模型性能，相比于随机变量名和没有注释的基准结果，性能提升最多达到 33%。

    Feb, 2024

  • 语言模型是少样本学习的管家

    使用预训练语言模型和简单的强化学习算法，无需大量专家示范即可在文本环境中操作并取得 51% 的成功率改进。

    Apr, 2021

  • 受限语言模型实现少样本语义分析器

    利用大型预处理语言模型作为少型语义解析器，将输入 paraphrase 成类似英语的控制子语言，通过很少的数据和代码快速批量生成语义解析器，表现出令人惊讶的有效性，远超过基线方法。

    Apr, 2021

  • 通过增加自然语言变化提升语义解析的泛化能力

    使用数据增强来增强文本到 SQL 解析器对自然语言变化的鲁棒性，通过大型语言模型生成更真实和多样化的问题，从而在评估集合中实现显著的改进。

    Feb, 2024

  • 神经机器翻译用于查询构建和组合

    本论文研究了使用神经机器翻译范式进行问题解析的应用，采用序列到序列模型来学习 SPARQL 图查询语言及其组合中的图形模式。通过模板构建问题和查询之间的对齐情况，探讨半监督学习方法代替问题 - 答案对诱导程序，并且借助自然语言生成的新进展扩展语言表达的覆盖范围。

    Jun, 2018

  • 语言模型是少样本学习器

    在大规模预训练语言模型上进行 fine-tuning 可以显著提高模型在 NLP 任务中的任务值线表现，同时还证明了 scaling up 语言模型可以大大改善任务独立的 few-shot learning 表现，并探讨了 GPT-3 模型优势和局限性。

    May, 2020