本研究介绍了Recipe1M+，这是一个包含超过一百万个烹饪食谱和1300万个美食图像的大规模结构化语料库。通过使用数据，我们训练一个神经网络，学习食谱和图像的联合嵌入，从而在图像-食谱检索任务上取得了令人印象深刻的结果。此外，我们证明了通过添加高级分类目标的正则化可以提高检索性能，并使语义向量算术成为可能。我们假设这些嵌入将为进一步探索Recipe1M+数据集以及食品和烹饪提供基础。

Oct, 2018

通过构建大规模的食品图像本体，本文提出了一个将空间通道注意力与构建格外区域注意机制相结合的堆叠全局-局部注意网络，用于食品识别。在 ISIA Food-500 和其他两个流行数据集上的广泛实验表明了该方法的有效性。

Aug, 2020

本研究提出pic2kcal基准，通过学习人们在互联网上发布的食谱来直接从图像中估算餐的卡路里含量，并通过多任务范式扩展神经网络进行蛋白质、碳水化合物和脂肪量预测以及多标签成分分类。实验表明，多任务学习可以显著提高卡路里估计，优于单任务卡路里回归9.9%。

Nov, 2020

本文提出了一种基于视觉语言神经网络模型的UMDFood-VL模型，并利用最全面的UMDFood-90k多模态食品数据库，相较于传统的卷积神经网络（CNNs）和循环神经网络（RNNs），在各种营养价值估计上显著提高，尤其是在食品成分估计上取得了95％的宏平均AUCROC，具有一定的实际应用价值。

May, 2023

提出了两个个人化食物图像分类基准数据集，Food101-Personal和VFNPersonal，以及利用自我监督学习和时间图像特征信息的个人化食物图像分类新框架，并在基准数据集上展示了相比现有方法更好的性能。

Sep, 2023

通过利用开源食品数据集和两种数据清洗方法开发的FoodFusion模型，能够以更真实和多样化的方式生成食品图像，填补了现有图像生成模型的不足。

Dec, 2023

通过物理模拟生成多样化逼真的餐食图片，克服数据限制，并驱动计算机视觉自动膳食评估的进步。

Dec, 2023

提出了一种基于Large Multi-modal Models的多功能食品助手FoodLMM，包括食品识别、成分识别、食谱生成、营养估计、食品分割和多轮对话等各种能力，通过引入一系列新颖的任务特定标记和头部来预测食品营养价值和多个分割掩码，采用两阶段训练策略，使其能够进行专业对话和基于对食品领域的复杂推理来生成分割掩码，并在若干食品数据集上取得了最先进的结果。

Dec, 2023

在食品计算领域，从图像中分割出食材面临着巨大挑战，因为相同食材的内部类别差异较大，新食材的出现以及大型食品分割数据集所伴随的高昂标注成本。OVFoodSeg是一种采用开放词汇设置并将文本嵌入与视觉上下文相结合的框架，通过集成视觉-语言模型（VLMs），我们的方法通过两个创新模块（FoodLearner和图像感知文本编码器）使文本嵌入丰富化与图像特定信息。通过解决先前模型的不足，OVFoodSeg在FoodSeg103数据集上在平均交并比（mIoU）上取得了显著提高，提升了4.9％，为食品图像分割设定了一个新的里程碑。

Apr, 2024

本研究解决了现有食品计算研究中缺乏多模态整合的问题，提出了一种新型的食品计算基础模型ChefFusion，能够同时处理食谱生成、食品图像生成等多项任务。该模型通过结合大语言模型和预训练图像编码解码模型，展现了显著的性能提升，尤其在食品图像生成和食谱生成领域具有广泛的应用价值。

Sep, 2024