提出了LLMMaps作为一种新的可视化技术来评估大型语言模型的性能，可以支持分层评估， 来更好地评估LLM的风险并引导未来的发展。LLMMaps可以将Q&A数据集以及LLM响应转换为内部知识结构进行详细分析，并允许多个LLM进行比较。

Apr, 2023

通过使用对话方式构建数据可视化，本研究提出了一种名为CoVis的新任务，并通过使用多模态神经网络MMCoVisNet来回答与数据可视化相关的查询，实验证明MMCoVisNet优于现有基准并达到了最先进的性能。

Jul, 2023

我们的研究探索了生成式大型语言模型在通过对话界面创建和改进可视化方面的能力，发现生成式语言模型驱动的分析对话机器人在支持渐进式可视化改进方面存在不足。基于这些发现，我们开发了AI Threads，一个多线程的分析对话机器人，能够主动管理对话上下文并提高其输出的效果。通过众包研究（n=40）和专家分析师的深入访谈（n=10），我们评估了其可用性。我们还在生成式语言模型的训练语料库之外的数据集上展示了AI Threads的能力，从而展示了生成式语言模型的潜力，同时也揭示了未来研究的挑战和有成果的方向。

Nov, 2023

该研究论文对大型语言模型数据集进行了综述和分类，包括预训练语料库、微调数据集、偏好数据集、评估数据集和传统自然语言处理数据集等五个方面；此外还提供了现有数据集资源的综合评估，涵盖8个语言类别和32个领域，包括来自444个数据集的统计信息，共计超过774.5 TB的预训练语料库数据和7亿个实例的其他数据集数据；旨在为研究人员提供整个LLM文本数据集的全貌，并为未来的研究做出贡献。

Feb, 2024

通过比较预测结果，KnowledgeVis是一个人机交互的可视分析系统，用于解释语言模型，帮助用户创建和测试多个提示变量，并使用新颖的语义聚类技术分析预测的单词，以及通过交互可视化方式发现模式和关系。

Mar, 2024

使用大型语言模型进行自然语言到可视化的转换任务，在分析如何将结构化表格数据转化为LLM所需的顺序文本提示时，发现将结构化表格数据转化为程序是有效的，并且在制定提示时考虑表格模式是必要的。同时，通过对比实验发现，LLM在NL2Vis任务中优于基线方法，并且推理模型在提供少量示范的情况下通过上下文学习能够进一步改善性能，时而甚至超过微调模型。最后，分析LLM在NL2Vis任务中失败的情况，并提出了循环更新的策略，通过链式思维、角色扮演和代码解释等方法来迭代更新结果，实验证实了这种迭代更新的有效性，具有广阔的未来研究潜力。

Apr, 2024

通过比较概述了12个研究探索了大型语言模型在数据标注方面的潜力，同时揭示了存在的限制，如表征性、偏见、对提示变化的敏感性和对英语的偏好。利用这些研究的见解，我们的实证分析在四个主观数据集上进一步检查了人类和生成的GPT意见分布之间的一致性，从而支持了少数研究在评估数据标注任务时考虑多元化观点的方法，并强调了在这个方向上进一步研究的必要性。

May, 2024

提出了一种名为VisEval的新的NL2VIS基准，该基准通过引入高质量大规模数据集并倡导综合自动化评估方法，揭示了目前研究中普遍存在的挑战并为未来的进一步发展提供了重要的见解。

Jul, 2024

本研究针对数据可视化领域中预训练语言模型应用不足的问题，提出了DataVisT5，这是一种新型的PLM，旨在通过混合目标预训练和多任务微调策略，提升文本和数据可视化的解读能力。研究表明，DataVisT5在多个数据可视化任务上的表现超越了现有最先进模型，具有推动相关研究和应用的潜力。

Aug, 2024

本研究探讨了将大型语言模型（LLMs）集成到可视分析系统中的方法，以通过直观的自然语言交互提升其能力。关键发现是LLMs能够改变可视分析的传统流程，提供新的多模态交互机会，同时也指出了当前使用LLMs在可视分析任务中面临的重要挑战。

Sep, 2024