使用大型语言模型进行自然语言到可视化的转换任务，在分析如何将结构化表格数据转化为 LLM 所需的顺序文本提示时，发现将结构化表格数据转化为程序是有效的，并且在制定提示时考虑表格模式是必要的。同时，通过对比实验发现，LLM 在 NL2Vis 任务中优于基线方法，并且推理模型在提供少量示范的情况下通过上下文学习能够进一步改善性能，时而甚至超过微调模型。最后，分析 LLM 在 NL2Vis 任务中失败的情况，并提出了循环更新的策略，通过链式思维、角色扮演和代码解释等方法来迭代更新结果，实验证实了这种迭代更新的有效性，具有广阔的未来研究潜力。

Apr, 2024

数据可视化已成为从大规模数据集中获取洞察力的有效工具。本研究提出了一种中文文本到可视化的数据集，并展示了我们对该问题的首次尝试。我们的模型集成了多语言 BERT 作为编码器，增强了跨语言能力，并将 $n$-gram 信息融入我们的词表示学习中。实验结果表明我们的数据集具有挑战性，并值得进一步研究。

Sep, 2023

Prompt4Vis 是一种利用大型语言模型和上下文学习来增强从自然语言生成数据可视化查询的性能的新型框架，通过在 NVBench 数据集上进行广泛实验，明显优于最先进的 RGVisNet 约 35.9% 和 71.3%。

Jan, 2024

本文介绍了视觉对话任务，即通过图像、对话历史和问题，要求 AI 智能体以自然、对话式的语言与人类进行有意义的对话，并率先提出了一种基于视觉的通用测试方法以及一种新颖的二人聊天数据收集协议。在此基础上，利用 Latre Fusion、Hierarchical Recurrent Encoder 和 Memory Network 等三个编码器和两个解码器（生成式和判别式），超越了许多复杂的基准线，并采用了基于检索的评估协议，Quantify 了机器和人类在视觉对话任务上的性能差距，进而演示了第一款 “视觉聊天机器人”。

Nov, 2016

我们探索了使用大型语言模型（如 BERT）作为编码器，基于序列到序列变压器的机器学习模型架构，从自然语言查询中预测可视化命令，并应用可用的 T5 序列到序列模型进行比较。

Oct, 2023

本文介绍了 Data2Vis：一种神经翻译模型，可自动生成给定数据集的可视化。通过将数据规范映射到声明语言（Vega-Lite）中的可视化规范，将可视化生成作为序列到序列翻译问题。为此，我们训练了一个多层基于注意力的长期短期记忆（LSTM）单元的循环神经网络（RNN）模型在可视化规范语料库上，以生成与手动创建的可视化相媲美但时间仅为其一小部分的可视化。

Apr, 2018

研究针对文本到可视化的模型在语义匹配上对输入变化的鲁棒性进行全面分析，发现现有方法对于新的数据集变化，特别是在词汇和短语层面上，表现出不足的鲁棒性。为此，提出了一个新颖的基于 RAG 技术的框架 GRED，通过三个部分解决了自然语言变体、编程风格差异和数据模式变体等挑战，实验证明该模型在鲁棒性方面比目前领先的文本到可视化模型 RGVisNet 有 32% 的精度提升。

Apr, 2024

本文提出了一种新颖的知识桥梁图网络模型，该模型使用图形在细粒度上构建跨模式语义关系的桥梁，通过自适应信息选择模式检索所需的知识，从而清晰地提取视觉对话的推理线索，并通过实验结果在 VisDial v1.0 和 VisDial-Q 数据集上展示了超越现有模型的最先进成果。

Aug, 2020

展示了一个简单对称的辨别性基线，该基线可用于预测答案和问题，其性能与最先进的记忆网络方法相当。此外，首次在视觉对话数据集上评估了提问系统的性能，并展示了如何从辨别式问题生成和问题回答生成视觉对话。

Mar, 2018

提出神经符号视觉对话（NSVD）方法，将深度学习和符号程序执行结合起来，用于多轮基于视觉的推理，并取得了显著的性能提升。在使用更严格的评估方案时，我们的最佳模型在 CLEVR-Dialog 数据集上实现了 99.72％的准确度，在总体上比现有技术提高了 10％以上。我们的结果表明，神经符号模型的平均故障轮数更高，对不完整的对话历史记录更稳健，并在长度高达训练期间三倍的对话框架以及未见过的问题类型和场景上表现出更好的泛化能力。

Aug, 2022