Jun, 2024

以地域多样的世界美食数据集为基础，为基础模型提供饮食

PDF
TL;DR通过 World Wide Dishes 数据集和社区回顾，研究揭示了基于语言模型和文本 - 图像生成模型的基础模型在生成特定地区美食的文本和图像输出时存在的能力和表现偏差问题。
foundation modelsregional disparitiescapabilityrepresentational biasesworld wide dishes
发现论文，激发创造
  • 检验文图生成模型图像地理代表性

    本文中，我们采用众包研究来衡量使用 DALL.E 2 和 Stable Diffusion 模型对普通名词进行生成时，生成图像对全球各地表现力的代表性。我们发现，对于没有特定国名的输入，生成的图像表现美国和印度的环境最好，其他国家的表现不如其它的。如果在输入中指定国家名称，则 DALL.E 2 的表现提升了 1.44 分，Stable Diffusion 的表现提升了 0.75 分，但许多国家的总体得分仍然很低，需要未来的模型在地理上更加包容。最后，我们研究了在不进行用户研究的情况下量化生成图像在地理上的代表性的可行性。

    May, 2023

  • 中亚食品数据集用于个性化膳食干预，扩展摘要

    该研究旨在创建中亚美食数据集 (CAFD)，数据集包含 42 种中亚美食的超过 16,000 张图片。使用 ResNet152 神经网络模型在 CAFD 上，达到了 88.70％的分类准确度。研究表明，基于计算机视觉技术的食品识别模型在饮食评估中具有高精确度。

    May, 2023

  • FoodieQA: 一个用于细粒度理解中国美食文化的多模态数据集

    对中国各地区的食物文化进行分析，创建了 FoodieQA 数据集，包括图像和文字描述，并评估了视觉 - 语言模型和大型语言模型的表现，发现在多图像和单图像问答任务上，开源的视觉 - 语言模型仍然存在较大的差距，而理解食物文化及其文化含义仍然是一个具有挑战性且尚未深入探索的方向。

    Jun, 2024

  • 从食堂食物到日常餐饮：将食物识别推广到更多实用场景中

    设计了两个新的基准数据集，DailyFood-172 和 DailyFood-16，用于评估将在精心策划的食品图像领域训练的方法转移到日常生活食品图像领域的可行性，并提出了一种名为 MCRL 的简单而有效的基线方法来解决领域差距问题。

    Mar, 2024

  • ChineseFoodNet：一个用于中式菜品识别的大规模图像数据集

    介绍了一个名为 “ChineseFoodNet” 的新型大规模食品图像数据集，旨在自动识别中国菜；该数据集包含 208 类别的 18 万多个食品照片，通过使用深度卷积神经网络与投票方法的机器学习方法，该方法在验证集和测试集分别达到了 81.43％和 81.55％的 top-1 精度。

    May, 2017

  • 深度图像至食谱翻译

    深度图像到菜谱的翻译，是计算机视觉和自然语言生成的交叉领域，旨在弥合珍贵食物记忆与烹饪艺术之间的鸿沟。

    Jul, 2024

  • 食品盘中的菜肴检测：自动饮食记录和营养管理框架

    通过深度学习方法，建立了一个集数据整合、标记、模型识别及移动 APP 实现于一体的餐饮管理框架，以繁复印度盛菜为例研究证明，使用 YOLOv8x 和 ResNet152 模型在平均精度上更优，通过模型可以有效的记录和监管人们的饮食，为营养干预和改善生活方式等领域提供可能性。

    May, 2023

  • NutritionVerse-3D：一份用于营养摄入量估计的三维食品模型数据集

    本研究利用机器学习和计算机视觉技术，采用 NutritionVerse-3D 大规模高质量高分辨率数据集，开发了一种收集食品 3D 模型的方法，推进了营养感知的机器学习加速开放计划。

    Apr, 2023

  • 模型 Ratatouille：回收各种模型以实现超出分布的泛化

    本文提出一种称为 Model Ratatouille 的新技术，通过在多个辅助任务上重新使用同一基础模型的多个微调，利用微调之间的差异提高结果多样性以优化目标任务结果。通过该技术在参考 DomainBed 基准上显着改善了结果，并将贡献到可更新机器学习的新兴范例和开源软件开发类似的社区合作。

    Dec, 2022

  • Nutrition5k：面向通用食品的自动营养理解

    该研究通过引入 Nutrition5k 数据集，采用计算机视觉算法能够精确预测真实世界中的复杂菜肴的热量和营养素值，并且具有超过专业营养学家的准确性，使这一领域的营养理解得到加速创新。

    Mar, 2021