夜晚中的 Lumos:探索夜间灯光模式的 AI 视觉工具
使用大型语言模型进行自然语言到可视化的转换任务,在分析如何将结构化表格数据转化为 LLM 所需的顺序文本提示时,发现将结构化表格数据转化为程序是有效的,并且在制定提示时考虑表格模式是必要的。同时,通过对比实验发现,LLM 在 NL2Vis 任务中优于基线方法,并且推理模型在提供少量示范的情况下通过上下文学习能够进一步改善性能,时而甚至超过微调模型。最后,分析 LLM 在 NL2Vis 任务中失败的情况,并提出了循环更新的策略,通过链式思维、角色扮演和代码解释等方法来迭代更新结果,实验证实了这种迭代更新的有效性,具有广阔的未来研究潜力。
Apr, 2024
自然语言处理引起了用户与表格数据交互方式的革命,通过更直观、基于语言的界面,从传统的查询语言和手动绘图转变。大语言模型(LLMs)如 ChatGPT 及其后续模型进一步推进了这一领域,为自然语言处理技术开辟了新的途径。本研究综述了面向表格数据查询与可视化的自然语言界面,该界面允许用户使用自然语言查询与数据进行交互。我们介绍了这些界面背后的基本概念和技术,特别关注实现自然语言到 SQL 查询或数据可视化命令的语义解析技术。接着,我们从数据集、方法论、评估指标和系统设计等角度探讨了文本到 SQL 和文本到可视化问题的最新进展。这包括深入研究了 LLMs 的影响,突出了它们的优势、限制和未来改进的潜力。通过本综述,我们旨在为对开发和应用大语言模型时代的数据交互自然语言界面感兴趣的研究人员和实践者提供一条路线图。
Oct, 2023
本研究旨在提出使用人与机器生成数据进行调整范例,以改进视觉语言模型的常识推理与人类意图的一致性,结果发现我们的 ILLLUME 方式可有效改善模型的推理能力,并仅需较少的训练数据以及极少数反馈。
Aug, 2022
Prompt4Vis 是一种利用大型语言模型和上下文学习来增强从自然语言生成数据可视化查询的性能的新型框架,通过在 NVBench 数据集上进行广泛实验,明显优于最先进的 RGVisNet 约 35.9% 和 71.3%。
Jan, 2024
NL2INTERFACE 通过自然语言查询生成多功能的可视化界面,用户可以通过这个界面互动,更方便地进行数据转化和数据可视化。
Sep, 2022
我们开发了一个基于数据驱动方法的自然语言接口系统,其中包含了一个逐步查询推荐模块,帮助用户在探索大型复杂 SQL 数据库时进行更有效和系统化地数据分析过程。我们的用户研究表明,相比于没有推荐模块的基准系统,我们的系统可以帮助用户更加高效和系统化地进行数据分析。
Jan, 2022
该研究介绍了一个原型工具,结合多种可视化方式,帮助终端用户理解临床文本中提取出的信息,修正必要错误,形成反馈循环,支持 NLP 模型的优化。针对该工具进行的临床医生和研究人员的用户研究显示,用户可以快速开始修正 NLP 模型,尽管他们很少或没有机器学习经验。研究结果还提供了优化界面以支持结果审查工作流程和解释的建议。
Jul, 2017
本文介绍了一种用于视觉数据分析的可解释自然语言接口系统 XNLI,通过引入 Provenance Generator、交互式小部件以及 Hint Generator 等功能,帮助用户定位问题、调整查询并提供解释。用户研究表明,该系统可以显著提高任务准确性,而不会干扰 NLI 分析过程。
Jan, 2023
我们探索了使用大型语言模型(如 BERT)作为编码器,基于序列到序列变压器的机器学习模型架构,从自然语言查询中预测可视化命令,并应用可用的 T5 序列到序列模型进行比较。
Oct, 2023
通过利用 Langchain 框架将数据表转化为分层文本数据块,本研究提出了一种新颖的方法来解决数据表重型领域(如金融决策)中的自动问答问题,实现针对各种用户查询生成定制化的语言模型提示,并在幻觉和响应置信度方面进行了多度量标评估。该系统在用户查询响应方面取得了超过 90% 的置信度,并可应用于其他分析领域以确保最佳幻觉控制保障。
Nov, 2023