RECipe 是一个多用途食谱推荐框架，使用多模态知识图作为支撑，通过深度神经协同过滤 (NCF) 在用户查询自然语言或提供图像时推荐食谱。RECipe 包括行为、评论和图像三个子系统，依赖于图中实体和关系的嵌入表示。通过微软 MPNet 的模型对文本实体进行预训练，然后使用这些嵌入表示初始化实体的权重用于知识图嵌入 (KGE) 模型的训练。对于图像部分，使用 KGE-Guided variational autoencoder (KG-VAE) 学习图像的分布和潜在表示。KGE 和 KG-VAE 模型训练完成后，用于作为多用途推荐框架。RECipe 在数据集上进行了实验证明了 KGE 模型与神经解决方案的可比性，并提供了预训练 NLP 嵌入来解决冷启动问题和基于食谱类别的条件推荐。最终演示了 RECipe 在多用途推荐设置中的应用。

Aug, 2023

本研究介绍了 Recipe1M+，这是一个包含超过一百万个烹饪食谱和 1300 万个美食图像的大规模结构化语料库。通过使用数据，我们训练一个神经网络，学习食谱和图像的联合嵌入，从而在图像 - 食谱检索任务上取得了令人印象深刻的结果。此外，我们证明了通过添加高级分类目标的正则化可以提高检索性能，并使语义向量算术成为可能。我们假设这些嵌入将为进一步探索 Recipe1M + 数据集以及食品和烹饪提供基础。

Oct, 2018

本文提出了一种基于图模型的食谱推荐方法，将协作信号纳入计算中，通过具有分层注意力和成分集转换器的异构图神经网络来捕捉食谱内容和协作信号，使用图对比增强策略以自我监督的方式提取信息，利用推荐和对比学习的联合目标函数来优化模型，实验证明了其优于现有的食谱推荐方法。

May, 2022

利用图形化方法描述菜谱的工作流程是一个需要常识推理的复杂任务。本文提出了一个基于神经网络技术的编码器 - 解码器模型，通过使用视觉和文本信息来构建食品制作工作流程。我们还构建了一个包含 9,850 道菜谱的大型数据集，采用该方法比手工特征提取能够显著提高 20% 以上的性能。

Aug, 2020

本文提出了一种跨模态检索模型，采用视觉和文本数据对餐品及其食谱进行建模，并在包含近 100 万图像配方对的 Recipe1M 数据集上进行了验证，取得了比先前最先进模型更好的效果，并针对计算烹饪应用案例展示了质量结果。

Apr, 2018

本文提出了一种新颖的跨模态学习框架来自动发现食谱中文本和图像的实体及其相应的重要性，并能在没有明确监督的情况下识别出食谱描述中的主要成分和烹饪动作，为跨模态检索和食谱适应任务提供更有意义的特征表示。

Feb, 2021

本文提出了一种名为 Semantic-Consistent and Attention-based Networks (SCAN) 的方法，可解决在跨模式食品数据中存在的内在方差大和间方差小的问题以及获取区分性食谱表示的难点，其目的是学习图像和食谱的嵌入，使相应的图像 - 食谱嵌入彼此靠近，然后在大规模的 Recipe1M 数据集上评估了该方法的性能，并表明它在食品图像和烹饪食谱的交叉检索方面优于几种最先进的策略。

Mar, 2020

本文介绍一种通过 “模态一致嵌入网络” 实现食品图片与烹饪配方的跨模态检索的方法，旨在提升健康应用领域中的食品检索技术。经过广泛的实验结果证明，该方法在 Recipe1M 数据集上表现优秀并且需要较少的计算成本。

Apr, 2020

本研究针对跨模态食谱检索任务，提出一个基于端到端模型的层级食谱 Transformer，使用自我监督损失函数在图像和食谱样本上训练，取得了 Recipe1M 数据集上的最佳性能表现。

Mar, 2021

提出一种无监督学习的方法，使用图表示法从烹饪食谱中提取相关信息，并通过解码图成文本进行监督，与其他方法相比，使用文本到图和图到文本的方式迭代学习图结构和参数，并通过与标注数据集的实体对比、输入和输出文本的差异对比以及与现有方法生成的图的对比来评估该方法。

Jan, 2024