Feb, 2024

MM-Soc: 社交媒体平台上多模态大型语言模型的基准测试

PDF
TL;DR社交媒体是多模态信息交流的中心，包括文本、图片和视频，这对机器来理解在线空间中的信息或情感相关的交互构成了挑战。本文介绍了 MM-Soc，一个综合性基准，旨在评估多模态大型语言模型对多模态社交媒体内容的理解能力。通过我们对四个开源多模态大型语言模型的十个规模变体的详尽评估，我们发现了重要的性能差异，突出了模型在社交理解能力方面的改进需求。
发现论文，激发创造
  • EmoLLM：多模态情感理解与大型语言模型

    通过引入 EmoBench 和 EmoLLM，基于多模态大型语言模型的多模态情感理解性能得到显著提升，提供了更深入、更细致的人类情感理解，为人机交互、心理健康支持和共情人工智能系统等领域的应用开发提供了可能。

    Jun, 2024

  • MM-BigBench：评估多模态模型在多模态内容理解任务上的表现

    通过使用全面的评估框架 MM-BigBench，本文综合评估了 20 个语言模型（包括 14 个多模态大型语言模型）在 14 个多模态数据集上的性能，并通过引入新的指标，对不同模型和指令之间的性能以及适应性进行了评估。

    Oct, 2023

  • 多社交：机器生成的社交媒体文本检测的多语言基准

    该研究提出了第一个多语种（22 种语言）和多平台（5 个社交媒体平台）数据集 ——MultiSocial，用于在社交媒体领域评估机器生成文本检测的性能，结果显示 fine-tuned 的检测器在社交媒体文本上训练没有问题，并且训练过程中选择的平台对结果有影响。

    Jun, 2024

  • 多模式大型语言模型综述

    本文旨在追踪和总结 MLLM 的最新进展，包括 MLLM 的公式，技术和应用，以及现有的挑战和有前途的研究方向。

    Jun, 2023

  • 多模态大型语言和视觉模型综述

    通过对具有多模态能力的 LLM 和 MM-LLM 的当前状况进行广泛回顾，本文涵盖了 LLM 的历史发展、注意力机制在提升模型性能方面的作用，以及 Fine-tuning 和 prompt engineering 等模型调整技术。同时还分析了伦理考虑和挑战，并讨论了开源和专有模型在 AI 研究中的影响。通过这个综述，我们揭示了 MM-LLM 在各种应用中的转型潜力。

    Mar, 2024

  • 多模态大语言模型（MM-LLMs）的最新进展

    综述了过去一年多模态大型语言模型（MM-LLMs）的进展，提供了对 MM-LLMs 的全面调查，包括模型架构和训练流程的设计概述，介绍了 26 种不同形式的 MM-LLMs，并回顾了其在主流基准上的性能以及提升其效力的关键训练方法，同时探索了 MM-LLMs 领域的前景方向。

    Jan, 2024

  • SoMeLVLM：用于社交媒体处理的大型视觉语言模型

    通过介绍一种用于社交媒体处理的大型视觉语言模型（SoMeLVLM），该模型具备知识与理解、应用、分析、评估和创造等五个关键能力，在处理多种社交媒体任务方面取得了最先进的性能。

    Feb, 2024

  • 高效多模态大型语言模型综述

    在这份调研报告中，我们综述了当前高效多模态大语言模型（MLLMs）的研究状况，包括代表性的高效 MLLM 的时间线、高效结构和策略的研究现状以及应用领域。最后，我们讨论了目前高效 MLLM 研究的限制和有前途的未来方向。

    May, 2024

  • 多模态大型语言模型的数据中心视角调查

    本综述以数据为中心的视角全面回顾多模态大型语言模型的文献，探索了在多模态数据准备、预训练和适应阶段的方法，分析了数据集的评估方法和评估多模态大型语言模型的基准。此外，本综述还概述了未来的研究方向，以便为研究人员提供对多模态大型语言模型的数据驱动方面的详细理解，推动该领域的进一步探索和创新。

    May, 2024

  • 支持现实世界事实核查的多模态大型语言模型

    对多模态大型语言模型在事实检查方面的能力和局限性进行了系统评估，发现 GPT-4V 在识别恶意和误导性多模态论断方面表现出优越性能，具备解释不合理方面和潜在动机的能力，同时已有的开源模型存在强烈的偏见，并对提示非常敏感。这项研究为对抗虚假多模态信息和构建安全可靠的多模态模型提供了启示，据我们所知，这是第一次对多模态大型语言模型进行真实世界事实检查的评估。

    Mar, 2024