本文介绍了一种基于多模态方法的轻量级和专门化的 API，使对象检测和最新的文本生成器的串联生成秤可能的食谱。

Mar, 2023

利用图形化方法描述菜谱的工作流程是一个需要常识推理的复杂任务。本文提出了一个基于神经网络技术的编码器 - 解码器模型，通过使用视觉和文本信息来构建食品制作工作流程。我们还构建了一个包含 9,850 道菜谱的大型数据集，采用该方法比手工特征提取能够显著提高 20% 以上的性能。

Aug, 2020

本文介绍了适用于多模态理解和推理任务的 “RecipeQA” 数据集，其中包含大约 20,000 个有多个模态（如标题，描述和一组对齐的图像）的烹饪配方的指令，与其对应的 36,000 多个问题答案对。我们利用自动生成的问题，设计了一组需要对图像和文本进行联合理解，捕捉事件的时间流和理解流程知识的任务。该数据集是衡量计算机理解系统的理想基准，并提供数据和排行榜。

Sep, 2018

RECipe 是一个多用途食谱推荐框架，使用多模态知识图作为支撑，通过深度神经协同过滤 (NCF) 在用户查询自然语言或提供图像时推荐食谱。RECipe 包括行为、评论和图像三个子系统，依赖于图中实体和关系的嵌入表示。通过微软 MPNet 的模型对文本实体进行预训练，然后使用这些嵌入表示初始化实体的权重用于知识图嵌入 (KGE) 模型的训练。对于图像部分，使用 KGE-Guided variational autoencoder (KG-VAE) 学习图像的分布和潜在表示。KGE 和 KG-VAE 模型训练完成后，用于作为多用途推荐框架。RECipe 在数据集上进行了实验证明了 KGE 模型与神经解决方案的可比性，并提供了预训练 NLP 嵌入来解决冷启动问题和基于食谱类别的条件推荐。最终演示了 RECipe 在多用途推荐设置中的应用。

Aug, 2023

本文提出了一种通过将烹饪配方和食品图像表示为烹饪程序来建模如何指导说明性程序（如烹饪食谱），并展示了使用自我监督和联合嵌入生成程序的可行性，从图像生成食品图像，这使得跨模态检索效果更佳。

Mar, 2022

本文提出了一种新颖的跨模态学习框架来自动发现食谱中文本和图像的实体及其相应的重要性，并能在没有明确监督的情况下识别出食谱描述中的主要成分和烹饪动作，为跨模态检索和食谱适应任务提供更有意义的特征表示。

Feb, 2021

基于 T5 和 GPT-3.5 的基线模型，该研究论文介绍了具有中间步骤描述的烹饪食谱语料库，以有效地理解和推理烹饪食谱中的输入和输出，从而为智能推理和程序文本生成提供了有关常识推理的挑战性任务和见解。

Jan, 2024

本文提出了一种跨模态检索模型，采用视觉和文本数据对餐品及其食谱进行建模，并在包含近 100 万图像配方对的 Recipe1M 数据集上进行了验证，取得了比先前最先进模型更好的效果，并针对计算烹饪应用案例展示了质量结果。

Apr, 2018

本文基于机器学习技术，提出了一种用于大规模检索任务的图片 - 食谱对齐方法，并在 Recipe1M 数据集上进行了实验，取得了最先进的成果。

May, 2018

该研究提出了一种针对食品计算领域的新型多模态方法（FIRE），该方法基于输入的食品图像生成食品标题、配料和烹饪说明，并展示了与大型语言模型提示结合的两个实际应用：将食谱个性化以适应用户偏好和将食谱转化为代码以实现自动化烹饪过程。实验结果验证了该方法的有效性，并强调其在食品计算领域的未来发展和广泛应用潜力。

Aug, 2023