Dec, 2023

FoodLMM：使用大型多模态模型的多功能食物助手

PDF
TL;DR提出了一种基于 Large Multi-modal Models 的多功能食品助手 FoodLMM，包括食品识别、成分识别、食谱生成、营养估计、食品分割和多轮对话等各种能力，通过引入一系列新颖的任务特定标记和头部来预测食品营养价值和多个分割掩码，采用两阶段训练策略，使其能够进行专业对话和基于对食品领域的复杂推理来生成分割掩码，并在若干食品数据集上取得了最先进的结果。
large multi-modal modelsfoodlmmfood recognitionnutrition estimationrecipe generation
发现论文，激发创造
  • Tool-LMM：一个用于工具智能学习的大型多模态模型

    通过使用多模态编码器将开源大语言模型（LLM）与多模态输入指令结合起来，我们提出了 Tool-LMM 系统，使学习的 LLMs 能够意识到多模态输入指令并正确选择匹配功能的工具，实验证明我们的 LMM 能够为多模态指令推荐适当的工具。

    Jan, 2024

  • 多模态大型语言和视觉模型综述

    通过对具有多模态能力的 LLM 和 MM-LLM 的当前状况进行广泛回顾，本文涵盖了 LLM 的历史发展、注意力机制在提升模型性能方面的作用，以及 Fine-tuning 和 prompt engineering 等模型调整技术。同时还分析了伦理考虑和挑战，并讨论了开源和专有模型在 AI 研究中的影响。通过这个综述，我们揭示了 MM-LLM 在各种应用中的转型潜力。

    Mar, 2024

  • 多模态大语言模型（MM-LLMs）的最新进展

    综述了过去一年多模态大型语言模型（MM-LLMs）的进展，提供了对 MM-LLMs 的全面调查，包括模型架构和训练流程的设计概述，介绍了 26 种不同形式的 MM-LLMs，并回顾了其在主流基准上的性能以及提升其效力的关键训练方法，同时探索了 MM-LLMs 领域的前景方向。

    Jan, 2024

  • F-LMM: 冻结大规模多模态模型的基础

    通过冻结已训练好的 Large Multimodal Models（LMMs）并结合人机对话，我们提出了一种简单且有效的设计 F-LMM，可以在完全保留 LMMs 的通话能力的同时，在指示物镜分割和全景叙述理解等测试中实现有竞争力的性能。

    Jun, 2024

  • 冻结的大规模模型在多模态任务导向对话中的应用

    使用现有的 LENS Framework 来测试对话系统的多模态任务的可行性，与以往的基于 Transformer 的模型相比，我们的方法在流畅性、有用性以及相关性和连贯性上均有显著提升，同时证明了大规模预训练模型对于多模态任务导向对话系统的有效性。

    Oct, 2023

  • GLaMM: 像素 grounding 大规模多模态模型

    GLaMM 是首个能够无缝生成自然语言回复并与相应对象分割遮罩混合的模型，在图像和文本领域中以不同粒度的方式与模型进行交互，同时通过 GLaMM，还可以在诸多其他任务中有效地实现指代表达分割、图像和区域级别的字幕以及视觉语言对话。

    Nov, 2023

  • 统一多模态运动生成的大型运动模型

    大运动模型（LMM）是一个以运动为中心的多模态框架，将主流的运动生成任务统一为一个通用模型，并通过综合不同类型的运动数据和任务来实现广泛泛化。

    Apr, 2024

  • OphGLM: 基于指令与对话训练的眼科大型语言与视觉助手

    本文研究和构建了一个眼科大型多模型模型来进行眼科疾病评估和诊断，并通过病情相关知识数据和公开可用的实际医疗对话建立了一个新的眼科多模态指示和对话微调数据集。实验结果表明，该模型表现异常优秀，具有革命性的眼科临床应用潜力。

    Jun, 2023

  • 多模态自回归建模基于视觉单词

    成功进行多模态自回归建模，并首次提出了视觉词概念，将视觉特征映射到 LLMs 词汇的概率分布，为视觉建模提供了监督信息。通过对 5 个 VQA 任务和 4 个基准工具包的实验结果和消融研究的验证，证明了我们提出方法的强大性能。

    Mar, 2024

  • ChatDiet: 通过 LLM 增强框架赋能个性化营养导向的食品推荐聊天机器人

    食物对健康的深远影响需要先进的以营养为导向的食品推荐服务。本文介绍了 ChatDiet，这是一个新的基于大型语言模型的框架，专门设计用于个性化的以营养为导向的食品推荐聊天机器人，实现了个性化和可解释的食物推荐，以及与用户个人喜好相适应的互动。

    Feb, 2024