NL2INTERFACE: 从自然语言查询生成交互式可视化接口
我们开发了一个基于数据驱动方法的自然语言接口系统,其中包含了一个逐步查询推荐模块,帮助用户在探索大型复杂 SQL 数据库时进行更有效和系统化地数据分析过程。我们的用户研究表明,相比于没有推荐模块的基准系统,我们的系统可以帮助用户更加高效和系统化地进行数据分析。
Jan, 2022
自然语言处理引起了用户与表格数据交互方式的革命,通过更直观、基于语言的界面,从传统的查询语言和手动绘图转变。大语言模型(LLMs)如 ChatGPT 及其后续模型进一步推进了这一领域,为自然语言处理技术开辟了新的途径。本研究综述了面向表格数据查询与可视化的自然语言界面,该界面允许用户使用自然语言查询与数据进行交互。我们介绍了这些界面背后的基本概念和技术,特别关注实现自然语言到 SQL 查询或数据可视化命令的语义解析技术。接着,我们从数据集、方法论、评估指标和系统设计等角度探讨了文本到 SQL 和文本到可视化问题的最新进展。这包括深入研究了 LLMs 的影响,突出了它们的优势、限制和未来改进的潜力。通过本综述,我们旨在为对开发和应用大语言模型时代的数据交互自然语言界面感兴趣的研究人员和实践者提供一条路线图。
Oct, 2023
本文介绍了一种用于视觉数据分析的可解释自然语言接口系统 XNLI,通过引入 Provenance Generator、交互式小部件以及 Hint Generator 等功能,帮助用户定位问题、调整查询并提供解释。用户研究表明,该系统可以显著提高任务准确性,而不会干扰 NLI 分析过程。
Jan, 2023
使用大型语言模型进行自然语言到可视化的转换任务,在分析如何将结构化表格数据转化为 LLM 所需的顺序文本提示时,发现将结构化表格数据转化为程序是有效的,并且在制定提示时考虑表格模式是必要的。同时,通过对比实验发现,LLM 在 NL2Vis 任务中优于基线方法,并且推理模型在提供少量示范的情况下通过上下文学习能够进一步改善性能,时而甚至超过微调模型。最后,分析 LLM 在 NL2Vis 任务中失败的情况,并提出了循环更新的策略,通过链式思维、角色扮演和代码解释等方法来迭代更新结果,实验证实了这种迭代更新的有效性,具有广阔的未来研究潜力。
Apr, 2024
本文介绍了一种基于深度模型的数据探索工具 DBPal,它采用自然语言界面,能够将自然语言问题转化为 SQL 查询,并为用户提供自动完成功能,帮助用户更有效地编写复杂查询。
Apr, 2018
本文讲述如何通过核心编程语言并允许用户自然地增量定义替代语法和越来越复杂的概念来创建方便的自然语言接口,以在类似于分析数据、操作文本和查询数据库等复杂的任务中实现与编程语言同等的能力。作者在一个体素世界中展示了一个用户社区可以同时教授一个共同系统各种不同的语言,并用它来构建数百个复杂的体素结构的例子。三天内,这些用户从只使用核心语言到 85.9%的后 10K 个语句中使用自然化语言。
Apr, 2017
通过使用对话方式构建数据可视化,本研究提出了一种名为 CoVis 的新任务,并通过使用多模态神经网络 MMCoVisNet 来回答与数据可视化相关的查询,实验证明 MMCoVisNet 优于现有基准并达到了最先进的性能。
Jul, 2023
本论文提出了能够通过自然语言指令生成目标图像的交互式图像处理系统,使用了神经网络处理潜在空间中的图像向量将源向量转换为目标向量,成功地在我们的数据集中利用源图像和操作指令生成目标图像,从而实现更可控、更实用的自然语言条件下的图像生成。
Feb, 2018
探讨了交互式可视化在解释自然语言处理模型中的作用、与目标用户和 NLP 管道的关系,提供了几个使用 XNLP 可视化的具体示例,并指出了该领域的广泛研究机会。
Jan, 2023