Jul, 2024

MetaFood CVPR 2024 对物理信息3D食物重建的挑战：方法与结果

HTML
PDF
TL;DR基于最新的3D重建技术，我们主办了“MetaFood Workshop”及其“Physically Informed 3D Food Reconstruction”挑战赛，针对从2D图像中使用可见棋盘作为尺寸参考，重建食物项目的体积准确的3D模型。这项挑战在食物重建方面取得了有希望的结果，并有助于改善膳食评估和营养监测的份量估计。
发现论文，激发创造
  • Nutrition5k：面向通用食品的自动营养理解

    该研究通过引入Nutrition5k数据集, 采用计算机视觉算法能够精确预测真实世界中的复杂菜肴的热量和营养素值，并且具有超过专业营养学家的准确性，使这一领域的营养理解得到加速创新。

    Mar, 2021

  • NutritionVerse-3D：一份用于营养摄入量估计的三维食品模型数据集

    本研究利用机器学习和计算机视觉技术，采用NutritionVerse-3D大规模高质量高分辨率数据集，开发了一种收集食品3D模型的方法，推进了营养感知的机器学习加速开放计划。

    Apr, 2023

  • NutritionVerse-Thin: 一种优化策略，用于改进 3D 薄食物模型的呈现

    该论文针对 3D 模型渲染中的薄物体问题，提出了一种基于可区分重构的优化策略，该方法针对薄物体进行了优化，达到了更好的渲染效果。

    Apr, 2023

  • 营养宇宙: 不同饮食摄入估计方法的实证研究

    准确的膳食摄入估计对于支持健康饮食的政策和计划至关重要，然而，自我报告方法存在严重的偏倚。为了解决这个问题，本文介绍了NutritionVerse-Synth，这是第一个大规模的数据集，包含84,984张真实感合成的2D食物图像，以及相关的膳食信息和多模态注释。通过利用这些新颖的数据集，开发和评估了NutritionVerse，包括间接基于分割和直接预测网络的各种膳食摄入估计方法。最后，发布了这两个数据集（NutritionVerse-Synth、NutritionVerse-Real），作为加速机器学习在膳食感知方面的开放倡议的一部分。

    Sep, 2023

  • FoodFusion：一种用于逼真食物图像生成的潜在扩散模型

    通过利用开源食品数据集和两种数据清洗方法开发的FoodFusion模型，能够以更真实和多样化的方式生成食品图像，填补了现有图像生成模型的不足。

    Dec, 2023

  • NutritionVerse-Synth: 用于饮食摄入估计的开放式合成2D食物场景数据集

    通过物理模拟生成多样化逼真的餐食图片，克服数据限制，并驱动计算机视觉自动膳食评估的进步。

    Dec, 2023

  • NutritionVerse-Real：一项用于饮食摄入估计的开放获取的手工精选2D食物场景数据集

    营养素摄入估计的重要性和面向机器学习的营养感知的开放倡议在这篇论文中介绍了NutritionVerse-Real数据集的创建、分析和可用性。

    Nov, 2023

  • 通过三维物体缩放进行食物容量估计

    本研究提出了一种新的框架，通过利用3D食物模型和场景中的物理参考，从2D图像中估计食物的容量和能量。该方法通过重现具有估计姿态的食物的3D模型图像，来估计输入图像中摄像头和食物物体的姿态。我们还介绍了一个新的数据集，SimpleFood45，其中包含45种食物的2D图像和相应的注释，包括食物的容量、重量和能量。我们的方法在这个数据集上的平均误差为31.10千卡（17.67%），表现优于现有的分量估计方法。

    Apr, 2024

  • VolETA：一次和少量样本的食物体积估计

    使用3D生成技术进行食物容量估算，通过选择关键帧、分割参考物体、估计相机位置、独立构建参考和食物对象的网格，并通过精调缩放因子进行准确容量测量，实现了对食物容量的鲁棒准确估计，对计算营养和膳食监测的进展具有重要贡献。

    Jul, 2024

  • MetaFood3D：大型3D食品对象数据集及营养价值

    本研究针对现有3D数据集中缺乏营养价值的信息这一问题，提出了MetaFood3D数据集，涵盖637个精细标注的3D食品对象，包含108个类别及详细的营养信息。该数据集的创新之处在于其丰富的多模态信息，能够显著提升食品对象分析算法的性能，潜在地推动计算机视觉领域的研究进展。

    Sep, 2024