Jul, 2024

MindBench：心智地图结构识别与分析的综合基准

HTML
PDF
TL;DR多模态大型语言模型在文档分析领域取得了重大进展，为了解决结构化文档中元素之间复杂互动的问题，引入了名为MindBench的新评估基准，包括真实或合成图像、详细注释、评估指标和基线模型，以及五种结构化理解和解析任务，展示了当前模型在处理结构化文档信息方面的潜力和改进空间。MindBench的推出将显著推进结构化文档分析技术的研究和应用开发。
发现论文，激发创造
  • LongBench: 一个用于长篇上下文理解的双语多任务基准

    通过引入LongBench，对8个大型语言模型进行全面评估，我们发现商业模型（GPT-3.5-Turbo-16k）优于其他开源模型，但在更长的语境下仍存在困难；在较长序列上进行的缩放位置嵌入和微调，在长语境理解方面带来了实质性的改进；检索等上下文压缩技术对于长上下文能力较弱的模型带来了改进，但性能仍落后于具有强大长上下文理解能力的模型。

    Aug, 2023

  • MM-BigBench：评估多模态模型在多模态内容理解任务上的表现

    通过使用全面的评估框架MM-BigBench，本文综合评估了20个语言模型（包括14个多模态大型语言模型）在14个多模态数据集上的性能，并通过引入新的指标，对不同模型和指令之间的性能以及适应性进行了评估。

    Oct, 2023

  • SEED-Bench-2：多模态大型语言模型基准测试

    我们提出了 SEED-Bench-2，这是一个综合评估多模态大型语言模型能力的基准测试，并通过对23个主要开源多模态大型语言模型的性能评估，揭示了现有模型的局限性。

    Nov, 2023

  • 用于快速文本理解的结构化摘要生成

    使用大型语言模型（LLMs）生成文本的结构化表示，通过提出有效的提示策略来解决当前模型在生成结构化输出方面的困难，并且通过使用表格和思维导图作为代表模态进行实证评估，结果表明与纯文本相比，使用表格和思维导图可以显著减少阅读理解时间而不会导致准确性降低。

    Jan, 2024

  • SEED-Bench-2-Plus：基于多模态大型语言模型的文本丰富视觉理解基准测试

    我们介绍了SEED-Bench-2-Plus，这是一个专门设计用于评估MLLMs的文本丰富视觉理解的基准，通过涵盖现实世界中的三个广泛类别（图表、地图和网络），它们有效地模拟了复杂多样的文本丰富环境，并强调了当前MLLMs在文本丰富视觉理解方面的限制。

    Apr, 2024

  • MileBench: 在长上下文中评测多语言大型语言模型

    该研究旨在通过引入MileBench基准来系统评估多模态大型语言模型（MLLMs）在长上下文和多图像任务中的适应能力，并发现开源MLLMs在长上下文情境中面临着挑战，尤其在涉及多图像的情景下。

    Apr, 2024

  • II-Bench：基于多模态大型语言模型的图像影响理解基准

    通过对多个多模态大型语言模型进行实验，我们发现高级图片感知能力方面存在较大差距，并且这些模型在理解高级语义和捕捉图片细节方面存在限制。此外，当提供图片情感极性提示时，大多数模型表现出更好的准确性，暴露出它们对图片情感的内在理解不足。

    Jun, 2024

  • MMLongBench-Doc: 用视觉化评估长上下文文档理解技术的基准测试

    通过构建一个多模式长上下文的基准数据集，本研究表明长上下文文档理解对于当前的大型视觉-语言模型(LVLMs)来说是个巨大挑战，并验证了未来研究更强大的长上下文LVLMs的必要性。

    Jul, 2024

  • DOCBENCH：一种用于评估基于LLM的文档阅读系统的基准

    DocBench旨在建立一个标准化的基准，以在不同的实际场景下评估基于LLM的文档阅读系统，从而指导未来在这个研究领域的进一步发展。

    Jul, 2024

  • 巴别基准：一种用于多模态和多结构数据的代码驱动分析的通用基准

    本研究针对大语言模型在处理多模态和多结构数据时缺乏统一评估方法的问题，提出了创新的巴别基准框架。该框架通过包含247个精心策划的问题集，评估模型在理解、推理、规划和调试等方面的综合能力，发现即使是最先进的模型如ChatGPT 4仍有很大的改进空间，为未来研究提供了重要指导。

    Oct, 2024