我们提出了评估长上下文语言模型的标准化评估方法，开发了包含411个长文档和超过2,000个查询-回复对的L-Eval，经过作者手工注释和检查。结果表明，开源模型在开放式任务和封闭式任务上都表现出令人印象深刻的性能，其中LLaMA2在4k上下文长度的开放式任务中获得最佳结果，而ChatGLM2在8k输入标记的封闭式任务中取得最佳结果。

Jul, 2023

基于Flamingo架构的8个近期开源LMMs在5个不同的维度中评估了他们的缺陷，并研究了在上下文学习(ICL)方面的解决方案，提出了Multitask-ICL、Chain-of-Hindsight-ICL和Self-Correcting-ICL等新的多模态ICL方法。

Oct, 2023

通过使用全面的评估框架MM-BigBench，本文综合评估了20个语言模型（包括14个多模态大型语言模型）在14个多模态数据集上的性能，并通过引入新的指标，对不同模型和指令之间的性能以及适应性进行了评估。

Oct, 2023

通过构建全面的评估框架（ChEF），对多模态大语言模型（MLLMs）的能力和限制进行标准化和全面的评估，以及提出新的评估方法和模型集成工具包，以促进MLLM社区的进一步分析和发展。

Nov, 2023

填补大型多模型（LMMs）评估中的不足，通过研究其输出在常见破坏情况下的自一致性，调查文本、图像和语音之间的跨模态交互，创建了一个综合性基准MMCbench，评估了100多个受欢迎的LMMs（共150个模型检查点），此全面评估对于实际部署至关重要，并有助于更好地了解顶尖LMMs的可靠性。

Jan, 2024

通过研究LLM在各种关键基准测试中的表现，我们探索了减少LLM性能评估所需评估次数的策略，并发布了评估工具和微型基准测试，证明这些工具和测试足以可靠高效地复现原始评估结果。

Feb, 2024

介绍了一个名为FreeEval的模块化和可扩展框架，用于可靠高效地自动评估大型语言模型，通过统一的架构整合了各种评估方法，并结合人工评估和数据污染检测等元评估技术，实现了评估结果的公平性。

Apr, 2024

本研究通过在DT-VQA数据集上对GPT4V、Gemini和不同的开源LMM进行全面评估，揭示了它们的优点和缺点，并评估了LMM的两种策略：prompt engineering和downstream fine-tuning。研究发现，即使使用自动标记的训练数据集，模型性能也能显著提高，希望本研究能促进LMM在密集文本任务中的研究。

May, 2024

自动化实验设计的框架APEx可以借助大型语言模型和预先指定的工具库生成一组实验，并逐步编制科学报告，以驱动测试过程和生成自然语言的结果。

Jun, 2024

本研究针对现有多模态大语言模型（MLLMs）评估面临的挑战，特别是数据规模小导致的性能差异、注释质量受限和任务难度不足等问题，提出了MME-RealWorld基准。通过筛选出13,366张高质量图像以及29,429对问答对，这一基准体现了现实应用中的复杂性，结果显示即便是最先进的模型在这一基准上也未能达到60%的准确率，凸显了改进高分辨率图像处理和复杂场景理解的迫切需求。

Aug, 2024