May, 2023

视觉 - 语言模型推动食品成分编译

PDF
TL;DR本文提出了一种基于视觉语言神经网络模型的 UMDFood-VL 模型，并利用最全面的 UMDFood-90k 多模态食品数据库，相较于传统的卷积神经网络（CNNs）和循环神经网络（RNNs），在各种营养价值估计上显著提高，尤其是在食品成分估计上取得了 95％的宏平均 AUCROC，具有一定的实际应用价值。
发现论文，激发创造
  • 食品成分知识库的半自动化构建

    本研究使用自然语言处理方法和预训练的 BioBERT 语言模型来构建一个半自动化的食物成分知识库，以提高生产和研究的效率。

    Jan, 2023

  • Nutrition5k：面向通用食品的自动营养理解

    该研究通过引入 Nutrition5k 数据集，采用计算机视觉算法能够精确预测真实世界中的复杂菜肴的热量和营养素值，并且具有超过专业营养学家的准确性，使这一领域的营养理解得到加速创新。

    Mar, 2021

  • NutritionVerse-3D：一份用于营养摄入量估计的三维食品模型数据集

    本研究利用机器学习和计算机视觉技术，采用 NutritionVerse-3D 大规模高质量高分辨率数据集，开发了一种收集食品 3D 模型的方法，推进了营养感知的机器学习加速开放计划。

    Apr, 2023

  • Food-500 Cap：用于评估视觉语言模型的细粒度食物标题基准

    我们综合研究了流行的视觉 - 语言模型（VLMs）在特定领域，即食品领域中的能力，并发现它们在特定领域的表现不如在一般领域中的表现好，同时揭示了 VLMs 在处理不同地理区域的食物方面存在严重偏见。

    Aug, 2023

  • 利用深度神经网络从食物图像中进行多任务营养预测的研究

    该论文通过利用各种神经网络结构来预测餐食图像的营养含量，提高了膳食摄入估计的效力，并展示了其在改善膳食摄入估计准确性方面的潜力。

    May, 2024

  • 多标签学习在食品成分识别中的应用

    研究了自动饮食评估系统中视觉识别食物的核心功能，使用深度多标签学习方法评估了几种最先进的神经网络，以在图像中检测任意数量的成分，并针对编码使用了多个著名的神经网络模型。在使用挑战性数据集 Nutrition5K 上，取得了有希望的初步结果，并为未来的探索奠定了坚实的基础。

    Oct, 2022

  • 多阶层食品分类

    通过在 VFN 中的每个食物图像上注释含有营养成分信息的食物项目，我们引入了 VFN-nutrient 数据集，旨在将食物项目与营养数据库对齐。为了解决此问题，我们提出了一个多阶段层次结构的食物项目分类框架，通过在训练过程中迭代聚类和合并食物项目，使深度模型能够提取具有标签差异的图像特征。我们的方法在 VFN-nutrient 数据集上进行评估，并在食物类型和食物项目分类方面取得了有希望的结果。

    Sep, 2023

  • 营养宇宙：不同饮食摄入估计方法的实证研究

    准确的膳食摄入估计对于支持健康饮食的政策和计划至关重要，然而，自我报告方法存在严重的偏倚。为了解决这个问题，本文介绍了 NutritionVerse-Synth，这是第一个大规模的数据集，包含 84,984 张真实感合成的 2D 食物图像，以及相关的膳食信息和多模态注释。通过利用这些新颖的数据集，开发和评估了 NutritionVerse，包括间接基于分割和直接预测网络的各种膳食摄入估计方法。最后，发布了这两个数据集（NutritionVerse-Synth、NutritionVerse-Real），作为加速机器学习在膳食感知方面的开放倡议的一部分。

    Sep, 2023

  • 基于视觉感知层次的食品识别

    本研究提出了一种新的基于 Convolutional Neural Networks (CNNs) 的两步骤食物识别系统，其中包括基于 Faster R-CNN 方法的食物定位和用于执行基于视图关联的分类任务的多任务 CNN 模型，该模型能够自动生成表达食物类别语义视觉关系的层次结构。实验结果表明，该系统在 4 个公开数据集和新的 VFN 数据集上均可以显著提高分类和识别性能。

    Dec, 2020

  • DeepFood: 基于深度学习的食品图像识别用于计算机辅助膳食评估

    本研究旨在通过分析移动设备（如智能手机）捕获的食物图像来改进膳食评估的准确性，提出了一种新的基于卷积神经网络的食品图像识别算法，并将该方法应用于两个真实数据集（UEC-256 和 Food-101）中，取得了令人瞩目的结果。

    Jun, 2016