Feb, 2024

Vi (E) va LLM！基于生成 AI 可视化的评估和解释概念栈

PDF
TL;DR通过我们提出的评估方法和平台 EvaLLM，我们解决并评估了大型语言模型生成可视化的问题，并通过 GPT3.5-turbo with Code Interpreter 和 Llama2-70-b 模型的两个案例研究展示了相关结果。
automatic generationlarge language modelsvisualizationevaluationbenchmarking
发现论文，激发创造
  • 面向语言引导的交互式 3D 生成：LLMs 作为布局解释器与生成反馈

    该研究提出了一种基于大型语言模型（LLMs）的 LI3D 系统，它集成了 LLMs 作为 3D 布局解释器到现有的布局生成模型中，使用户能够灵活且交互式地生成 3D 场景并且验证其有效性和性能。

    May, 2023

  • LLMMaps -- 大型语言模型分层评估的可视化隐喻

    提出了 LLMMaps 作为一种新的可视化技术来评估大型语言模型的性能，可以支持分层评估， 来更好地评估 LLM 的风险并引导未来的发展。LLMMaps 可以将 Q&A 数据集以及 LLM 响应转换为内部知识结构进行详细分析，并允许多个 LLM 进行比较。

    Apr, 2023

  • 大型语言模型的概念模型解释器

    探索性研究应用代码生成和解释器，将概念模型以文本形式生成并使用最新的大型语言模型（如 Llama~2 和 ChatGPT 4）进行自动渲染，在对话界面中支持模型的迭代建模。

    Nov, 2023

  • MLLM-Bench，使用 GPT-4V 评估多模式 LLMs

    为了追求人工通用智能（AGI），将视觉集成到语言模型中标志着一个重要里程碑。视觉语言模型（MLLMs）的出现，如 GPT-4V，扩展了人工智能应用程序，与人脑的多模态能力相匹配。然而，评估 MLLMs 的有效性面临着重大挑战，因为缺乏确定性答案的任务具有主观性。现有的多模态大型语言模型的自动评估方法依赖于具有标准答案的客观查询，并未充分解决创造性和联想性多模态任务的细微差别。为了解决这个问题，我们引入了 MLLM-Bench，这是一个受 Vicuna 启发的创新基准，涵盖了各种场景，包括感知、理解、应用、分析、评估和创作，以及伦理考虑。MLLM-Bench 的设计更加准确地反映用户体验，并提供了对模型性能更全面的评估。对比评估结果表明，现有的开源模型和 GPT-4V 之间存在显著的性能差距。我们认为，MLLM-Bench 将推动开源社区在开发能满足广泛实际应用需求的用户导向视觉语言模型方面取得进展。请访问 https://mllm-bench.llmzoo.com 查看在线排行榜。

    Nov, 2023

  • 利用大型语言模型进行自然语言生成评估：综述

    自然语言生成（NLG）评估中引入大型语言模型（LLM）为评估生成内容质量提供了新的途径，本文提供了对利用 LLM 进行 NLG 评估的全面概述，包括组织现有基于 LLM 的评估指标的一致性分类法、批判性评估不同的 LLM 方法以及比较其在评估 NLG 输出中的优势和局限性，讨论未解决的挑战，并推动更公平、更先进的 NLG 评估技术。

    Jan, 2024

  • AI 增强型脑写作：探究 LLMs 在群体创意中的应用

    使用大型语言模型改进创意过程，尤其在创意生成和评估阶段，可以提高团队协作和创意产出，并对人机交互教育和实践产生重要影响。

    Feb, 2024

  • 大语言模型时代的数据可视化基准测试：VisEval

    提出了一种名为 VisEval 的新的 NL2VIS 基准，该基准通过引入高质量大规模数据集并倡导综合自动化评估方法，揭示了目前研究中普遍存在的挑战并为未来的进一步发展提供了重要的见解。

    Jul, 2024

  • LLMs 作为视觉解释器：通过演变的视觉描述推进图像分类

    将视觉语言模型（VLMs）与大型语言模型（LLMs）相结合的迭代优化与视觉反馈方法，显著提高了图像分类性能，并产生了可解释和稳健的特征描述符。

    Nov, 2023

  • LLM 模型的概念归纳：用于评估的用户实验

    通过利用 GPT-4 的领域知识和常识能力，我们探索了大型语言模型在图像分类特定环境中生成高级概念作为人类解释的潜力，并通过人类研究评估了其有效性。

    Apr, 2024

  • 基于 LLM 的自然语言生成评估：现状与挑战

    自然语言生成（NLG）的评估是人工智能中一个重要但具有挑战性的问题。本文调查了基于大型语言模型的 NLG 评估方法，探讨了它们的优势和劣势，讨论了人机合作的 NLG 评估，并提出了该领域的几个开放问题和未来的研究方向。

    Feb, 2024