基于新型大规模食谱数据集的热量预测多任务学习方法

Nov, 2020

基于新型大规模食谱数据集的热量预测多任务学习方法

Multi-Task Learning for Calorie Prediction on a Novel Large-Scale Recipe Dataset Enriched with Nutritional Information

Robin Ruede, Verena Heusser, Lukas Frank, Alina Roitberg, Monica Haurilet...

TL;DR本研究提出 pic2kcal 基准，通过学习人们在互联网上发布的食谱来直接从图像中估算餐的卡路里含量，并通过多任务范式扩展神经网络进行蛋白质、碳水化合物和脂肪量预测以及多标签成分分类。实验表明，多任务学习可以显著提高卡路里估计，优于单任务卡路里回归 9.9%。

Abstract

A rapidly growing amount of content posted online, such as food recipes, opens doors to new exciting applications at the intersection of vision and language. In this work, we aim to estimate the calorie amount of a meal directly from an image by learning from recipes people have published on the Internet, thus skipping time-consuming manual data annotation.

calorie estimation pic2kcal benchmark multi-task learning neural networks ingredient classification

发现论文，激发创造

利用深度神经网络从食物图像中进行多任务营养预测的研究

该论文通过利用各种神经网络结构来预测餐食图像的营养含量，提高了膳食摄入估计的效力，并展示了其在改善膳食摄入估计准确性方面的潜力。

May, 2024

基于图像的多任务饮食评估：食物识别和份量估算

本研究提出了一种端到端的多任务学习框架，可以同时实现食品分类和食品份量估计，通过使用 L2 范数的软参数共享和特征适应方法，提高了图像饮食评估的性能和预测准确率。

Apr, 2020

多标签学习在食品成分识别中的应用

研究了自动饮食评估系统中视觉识别食物的核心功能，使用深度多标签学习方法评估了几种最先进的神经网络，以在图像中检测任意数量的成分，并针对编码使用了多个著名的神经网络模型。在使用挑战性数据集 Nutrition5K 上，取得了有希望的初步结果，并为未来的探索奠定了坚实的基础。

Oct, 2022

Nutrition5k：面向通用食品的自动营养理解

该研究通过引入 Nutrition5k 数据集，采用计算机视觉算法能够精确预测真实世界中的复杂菜肴的热量和营养素值，并且具有超过专业营养学家的准确性，使这一领域的营养理解得到加速创新。

Mar, 2021

烹饪情境下的图像和菜谱检索

本文基于机器学习技术，提出了一种用于大规模检索任务的图片 - 食谱对齐方法，并在 Recipe1M 数据集上进行了实验，取得了最先进的成果。

May, 2018

DeepFood: 基于深度学习的食品图像识别用于计算机辅助膳食评估

本研究旨在通过分析移动设备（如智能手机）捕获的食物图像来改进膳食评估的准确性，提出了一种新的基于卷积神经网络的食品图像识别算法，并将该方法应用于两个真实数据集（UEC-256 和 Food-101）中，取得了令人瞩目的结果。

Jun, 2016

利用人类关注度提高卡路里估算

本研究旨在研究在从食品图像预测卡路里时将人类显著性融入任务的有效性，并发现使用突出显示最高卡路里区域的注意力图可以提高 32.2％的相对改进，同时通过使用预训练模型在质量估计和食品分类任务上开始最佳模型，未能提高其准确性。但是，我们发现我们的最佳模型也无法超越与测试数据集 Nutrition5k 一起发布的原始性能。在实验中，我们使用了 ResNet50 和 Xception 作为基本模型。

Jun, 2023

基于主动学习的三百万份多样化、典型化、注释化的烹饪食谱数据集

此研究介绍了一种基于领域专家知识和主动学习技术的新数据集，其包含了 200 万种用各种类别标记的烹饪食谱，包括糕点、饮料、非素食、蔬菜、快餐、谷物、餐点、配菜和融合九个类别，并且可以用于机器学习任务和各种自然语言处理任务的训练和评估。

Mar, 2023

基于单眼图像的形状重建的端到端食物分量估计框架

通过使用单目图像进行三维形状重建，我们提出了一种端到端深度学习框架，用于从食物图像中估计食物能量，其在公开的食品图像数据集 Nutrition5k 上评估结果显示，我们的方法具有竞争力的性能，只需使用 RGB 图像作为推理阶段的唯一输入。

Aug, 2023

深度图像至食谱翻译

深度图像到菜谱的翻译，是计算机视觉和自然语言生成的交叉领域，旨在弥合珍贵食物记忆与烹饪艺术之间的鸿沟。

Jul, 2024