FoodieQA: 一个用于细粒度理解中国美食文化的多模态数据集

Jun, 2024

FoodieQA: 一个用于细粒度理解中国美食文化的多模态数据集

FoodieQA: A Multimodal Dataset for Fine-Grained Understanding of Chinese Food Culture

Wenyan Li, Xinyu Zhang, Jiaang Li, Qiwei Peng, Raphael Tang...

TL;DR对中国各地区的食物文化进行分析，创建了 FoodieQA 数据集，包括图像和文字描述，并评估了视觉 - 语言模型和大型语言模型的表现，发现在多图像和单图像问答任务上，开源的视觉 - 语言模型仍然存在较大的差距，而理解食物文化及其文化含义仍然是一个具有挑战性且尚未深入探索的方向。

Abstract

Food is a rich and varied dimension of cultural heritage, crucial to both individuals and social groups. To bridge the gap in the literature on the often-overlooked regional diversity in this domain, we introduce foodie

food cultures foodieqa vision-language models question-answering tasks regional diversity

发现论文，激发创造

Food-500 Cap：用于评估视觉语言模型的细粒度食物标题基准

我们综合研究了流行的视觉 - 语言模型（VLMs）在特定领域，即食品领域中的能力，并发现它们在特定领域的表现不如在一般领域中的表现好，同时揭示了 VLMs 在处理不同地理区域的食物方面存在严重偏见。

Aug, 2023

RecipeQA: 多模态烹饪食谱理解挑战数据集

本文介绍了适用于多模态理解和推理任务的 “RecipeQA” 数据集，其中包含大约 20,000 个有多个模态（如标题，描述和一组对齐的图像）的烹饪配方的指令，与其对应的 36,000 多个问题答案对。我们利用自动生成的问题，设计了一组需要对图像和文本进行联合理解，捕捉事件的时间流和理解流程知识的任务。该数据集是衡量计算机理解系统的理想基准，并提供数据和排行榜。

Sep, 2018

CVQA：跨文化多语言视觉问答基准

构建了 CVQA，一个新的多元文化多语言视觉问答基准，覆盖了 28 个国家的文化驱动图像和问题，包括 26 种语言和 11 种文字，共提供了 9k 个问题。针对 CVQA 对几种多模态大型语言模型进行了基准测试，显示出该数据集对当前最先进的模型具有挑战性。这一基准测试可以作为评估多模态模型的文化能力和偏见的探测套件，并希望鼓励更多研究努力来增加该领域中的文化意识和语言多样性。

Jun, 2024

OpenViVQA: 越南语视觉问题回答任务、数据集和多模态融合模型

本文介绍了 OpenViVQA：首个包含越南语开放式答案的大规模 VQA 数据集，包括 11,000 + 图像和 37,000+ 问答对，并提出了三个融合图像和答案信息的方法（FST，QuMLAG 和 MLPAG），并使用这些融合的特征构建答案，旨在促进研究社区针对越南语这类低资源语言开发出更广义的算法，结果与 SOTA 模型竞争力相当。

May, 2023

FoodSky: 一种面向食品的大型语言模型，通过厨师和饮食学考试

通过感知和推理实现食物数据的深度理解，FoodSky 在厨师和营养师考试中的准确度分别为 67.2％和 66.4％，将大幅超越通用类型的大型语言模型，并且可以提升烹饪创造力，推广更健康的饮食模式，并为解决食品领域的复杂现实问题设定了新的标准。

Jun, 2024

AiGen-FoodReview：一个多模态的机器生成餐厅评论和社交媒体图片的数据集

通过使用大规模语言模型和图像模型构建 AiGen-FoodReview 数据集，本论文提供了检测和识别机器生成的虚假评论的方法，该方法能在单模态和多模态情况下取得接近真实数据性能的可扩展并可解释的检测结果。

Jan, 2024

ChiQA: 一个大规模基于图像的真实世界问题回答数据集，用于多模态理解

这篇论文介绍了一个基于图像的新的问题回答数据集 ——ChiQA，其中问题是真实的、与图像无关的查询，相比于以往的数据集更为多样和不偏，要求更深入的语言和视觉推理，并评估了几个最先进的可视语言模型，显示出在 ChiQA 上仍有很大的提高空间。

Aug, 2022

ChineseFoodNet：一个用于中式菜品识别的大规模图像数据集

介绍了一个名为 “ChineseFoodNet” 的新型大规模食品图像数据集，旨在自动识别中国菜；该数据集包含 208 类别的 18 万多个食品照片，通过使用深度卷积神经网络与投票方法的机器学习方法，该方法在验证集和测试集分别达到了 81.43％和 81.55％的 top-1 精度。

May, 2017

FoodLMM：使用大型多模态模型的多功能食物助手

提出了一种基于 Large Multi-modal Models 的多功能食品助手 FoodLMM，包括食品识别、成分识别、食谱生成、营养估计、食品分割和多轮对话等各种能力，通过引入一系列新颖的任务特定标记和头部来预测食品营养价值和多个分割掩码，采用两阶段训练策略，使其能够进行专业对话和基于对食品领域的复杂推理来生成分割掩码，并在若干食品数据集上取得了最先进的结果。

Dec, 2023

视觉 - 语言模型推动食品成分编译

本文提出了一种基于视觉语言神经网络模型的 UMDFood-VL 模型，并利用最全面的 UMDFood-90k 多模态食品数据库，相较于传统的卷积神经网络（CNNs）和循环神经网络（RNNs），在各种营养价值估计上显著提高，尤其是在食品成分估计上取得了 95％的宏平均 AUCROC，具有一定的实际应用价值。

May, 2023