知识蒸馏以从包含多个对象的图像中有效获取感兴趣区域和全局语义
通过构建大规模的食品图像本体,本文提出了一个将空间通道注意力与构建格外区域注意机制相结合的堆叠全局-局部注意网络,用于食品识别。在 ISIA Food-500 和其他两个流行数据集上的广泛实验表明了该方法的有效性。
Aug, 2020
本研究提出了一种新的基于Convolutional Neural Networks (CNNs) 的两步骤食物识别系统,其中包括基于 Faster R-CNN 方法的食物定位和用于执行基于视图关联的分类任务的多任务CNN模型,该模型能够自动生成表达食物类别语义视觉关系的层次结构。实验结果表明,该系统在4个公开数据集和新的VFN数据集上均可以显著提高分类和识别性能。
Dec, 2020
本文研究了食物图像分割的困难,提供了一个鲁棒的基准数据集FoodSeg103,采用卷积神经网络和双向编码器表示图像转换器(BEiT)进行对比,并证明 BEiT 在食物图像分割中的表现优于其他模型,表明转移学习可以提高图像分割性能。
Jun, 2023
FoodSAM是一种创新的框架,整合了粗糙的语义掩膜和SAM生成的掩膜,以提高语义分割质量,并将零样本能力扩展到实例分割和全景分割,是首个在食品图像上实现实例、全景和可提示分割的工作。
Aug, 2023
提出了一种无需像素级注释进行食物图像分类和语义分割模型训练的弱监督方法,该方法基于多实例学习和基于注意力机制的方法,实现了食物类别的分类和语义分割,并在FoodSeg103数据集上进行了实验验证和探索了注意力机制的性能特性。
Aug, 2023
本研究提出了一种改进的方法来识别从食物图像中分割出的成分,使用定位和滑动窗口技术定位成分的候选区域,并使用基于CNN的单成分分类模型将这些区域分配到成分类别中。为了解决多成分识别中的处理速度挑战,提出了一种新的模型修剪方法,提高了分类模型的效率。随后,通过融合两种新算法的决策方案实现了多成分的识别。实验结果验证了我们方法的有效性,尤其突出了其在识别多个成分方面的改进能力,这在食物图像分析领域标志着重大进展。
Jan, 2024
该研究介绍了一个被学术界低估的食物数据集CNFOOD-241,并在VMamba模型中引入了残差学习框架,同时利用原始VMamba架构中固有的全局和局部状态特征。研究结果显示VMamba在细粒度和食物分类上超过了当前的SOTA模型,并提出的Res-VMamba在没有预训练权重的情况下将分类准确率提高到79.54%。我们的发现指出,我们提出的方法在CNFOOD-241数据集上建立了SOTA性能的新基准。
Feb, 2024
在食品计算领域,从图像中分割出食材面临着巨大挑战,因为相同食材的内部类别差异较大,新食材的出现以及大型食品分割数据集所伴随的高昂标注成本。OVFoodSeg是一种采用开放词汇设置并将文本嵌入与视觉上下文相结合的框架,通过集成视觉-语言模型(VLMs),我们的方法通过两个创新模块(FoodLearner和图像感知文本编码器)使文本嵌入丰富化与图像特定信息。通过解决先前模型的不足,OVFoodSeg在FoodSeg103数据集上在平均交并比(mIoU)上取得了显著提高,提升了4.9%,为食品图像分割设定了一个新的里程碑。
Apr, 2024
当代社会中,运用人工智能进行自动食品识别在营养追踪、减少食物浪费以及提升食品生产和消费效率等方面具有巨大的潜力。该研究使用预训练的MobileNetV2模型,结合多种技术手段,提高了食品识别的性能和鲁棒性,从而可应用于实际应用中。
May, 2024