Jan, 2024
PathMMU: 一个用于理解和推理病理学的大规模多模态专业水平基准
PathMMU: A Massive Multimodal Expert-Level Benchmark for Understanding
and Reasoning in Pathology
TL;DR通过构建专业水准的最大、最高质量的病理学基准测试 PathMMU,我们对大型多模态模型的发展和精确评估进行了研究,发现高级多模态模型在面临挑战性的 PathMMU 基准测试中表现不佳,而且即使进行优化,也无法达到病理学家的专业水准。