Aug, 2023

RECipe：多模态食谱知识图谱适合于多用途推荐系统吗？

PDF
TL;DRRECipe 是一个多用途食谱推荐框架，使用多模态知识图作为支撑，通过深度神经协同过滤 (NCF) 在用户查询自然语言或提供图像时推荐食谱。RECipe 包括行为、评论和图像三个子系统，依赖于图中实体和关系的嵌入表示。通过微软 MPNet 的模型对文本实体进行预训练，然后使用这些嵌入表示初始化实体的权重用于知识图嵌入 (KGE) 模型的训练。对于图像部分，使用 KGE-Guided variational autoencoder (KG-VAE) 学习图像的分布和潜在表示。KGE 和 KG-VAE 模型训练完成后，用于作为多用途推荐框架。RECipe 在数据集上进行了实验证明了 KGE 模型与神经解决方案的可比性，并提供了预训练 NLP 嵌入来解决冷启动问题和基于食谱类别的条件推荐。最终演示了 RECipe 在多用途推荐设置中的应用。
recommendation systemsrecipe recommendationmulti-modal knowledge graphneural collaborative filteringkge models
发现论文，激发创造
  • Recipe2Vec: 基于图神经网络的多模态食谱表示学习

    本文讨论了将视觉，文本和关系信息集成到食谱嵌入中的问题，并介绍了一种基于图神经网络（GNN）的全新食谱嵌入模型 Recipe2Vec。通过对大量实验的验证，证明该模型在两项食品学研究任务中表现出色 - 风味分类和地区预测。

    May, 2022

  • RecipeRec：一种用于食谱推荐的异构图学习模型

    本文提出了一种基于图模型的食谱推荐方法，将协作信号纳入计算中，通过具有分层注意力和成分集转换器的异构图神经网络来捕捉食谱内容和协作信号，使用图对比增强策略以自我监督的方式提取信息，利用推荐和对比学习的联合目标函数来优化模型，实验证明了其优于现有的食谱推荐方法。

    May, 2022

  • 多模式烹饪工作流程构建用于食谱

    利用图形化方法描述菜谱的工作流程是一个需要常识推理的复杂任务。本文提出了一个基于神经网络技术的编码器 - 解码器模型，通过使用视觉和文本信息来构建食品制作工作流程。我们还构建了一个包含 9,850 道菜谱的大型数据集，采用该方法比手工特征提取能够显著提高 20% 以上的性能。

    Aug, 2020

  • 多模态模块化人工智能厨师：基于图像的复杂食谱生成

    本文介绍了一种基于多模态方法的轻量级和专门化的 API，使对象检测和最新的文本生成器的串联生成秤可能的食谱。

    Mar, 2023

  • Recipe1M+: 面向学习烹饪食谱和食物图像的跨模态嵌入数据集

    本研究介绍了 Recipe1M+，这是一个包含超过一百万个烹饪食谱和 1300 万个美食图像的大规模结构化语料库。通过使用数据，我们训练一个神经网络，学习食谱和图像的联合嵌入，从而在图像 - 食谱检索任务上取得了令人印象深刻的结果。此外，我们证明了通过添加高级分类目标的正则化可以提高检索性能，并使语义向量算术成为可能。我们假设这些嵌入将为进一步探索 Recipe1M + 数据集以及食品和烹饪提供基础。

    Oct, 2018

  • CHEF: 跨模态层次嵌入用于食品领域检索

    本文提出了一种新颖的跨模态学习框架来自动发现食谱中文本和图像的实体及其相应的重要性，并能在没有明确监督的情况下识别出食谱描述中的主要成分和烹饪动作，为跨模态检索和食谱适应任务提供更有意义的特征表示。

    Feb, 2021

  • 富有表现力多模式查询支持下的食谱内容和制备过程的计划式丰富食谱表达

    本文探讨在食品领域运用 AI 进行决策支持的构建，需要更好地表达和处理食谱信息，为此构建了一个基于计划的可机器理解食谱表示和 TREAT，这种方法可以提高智能化制作食品效率。

    Mar, 2022

  • 烹饪情境下的跨模态检索：学习语义文本 - 图像嵌入

    本文提出了一种跨模态检索模型，采用视觉和文本数据对餐品及其食谱进行建模，并在包含近 100 万图像配方对的 Recipe1M 数据集上进行了验证，取得了比先前最先进模型更好的效果，并针对计算烹饪应用案例展示了质量结果。

    Apr, 2018

  • 知识图谱上的深度学习在推荐系统中的应用：综述

    本文综述了基于图神经网络的知识感知深度推荐系统的现状和发展方向，重点讨论了核心组件 —— 图嵌入模块，以及它们如何解决实际推荐问题，例如规模扩展，冷启动等，并总结了常用的基准数据集、评估指标和开源代码。

    Mar, 2020

  • 跨模态检索和合成（X-MRS）：在共享表示学习中弥合模态差距

    提出一种计算食品分析的方法，该方法结合了多模态共享表示学习和多语言翻译，包括转换器和图像嵌入技术，通过学习数字配方和图片的联合语义来生成美食图像。

    Dec, 2020