本文提出了一种跨模态检索模型，采用视觉和文本数据对餐品及其食谱进行建模，并在包含近100万图像配方对的Recipe1M数据集上进行了验证，取得了比先前最先进模型更好的效果，并针对计算烹饪应用案例展示了质量结果。

Apr, 2018

本文介绍了适用于多模态理解和推理任务的“RecipeQA”数据集，其中包含大约20,000个有多个模态（如标题，描述和一组对齐的图像）的烹饪配方的指令，与其对应的36,000多个问题答案对。我们利用自动生成的问题，设计了一组需要对图像和文本进行联合理解，捕捉事件的时间流和理解流程知识的任务。该数据集是衡量计算机理解系统的理想基准，并提供数据和排行榜。

Sep, 2018

本研究介绍了Recipe1M+，这是一个包含超过一百万个烹饪食谱和1300万个美食图像的大规模结构化语料库。通过使用数据，我们训练一个神经网络，学习食谱和图像的联合嵌入，从而在图像-食谱检索任务上取得了令人印象深刻的结果。此外，我们证明了通过添加高级分类目标的正则化可以提高检索性能，并使语义向量算术成为可能。我们假设这些嵌入将为进一步探索Recipe1M+数据集以及食品和烹饪提供基础。

Oct, 2018

通过使用无监督算法和图算法对文本和视频食谱的多模态数据进行对齐，研究了如何自动提取感性解释以说明现实世界中的复杂过程，构建了包含 4,262 道菜品的 Microsoft Research Multimodal Aligned Recipe Corpus 数据集。

May, 2020

利用图形化方法描述菜谱的工作流程是一个需要常识推理的复杂任务。本文提出了一个基于神经网络技术的编码器-解码器模型，通过使用视觉和文本信息来构建食品制作工作流程。我们还构建了一个包含 9,850 道菜谱的大型数据集，采用该方法比手工特征提取能够显著提高20%以上的性能。

Aug, 2020

本文提出了一种通过将烹饪配方和食品图像表示为烹饪程序来建模如何指导说明性程序（如烹饪食谱），并展示了使用自我监督和联合嵌入生成程序的可行性，从图像生成食品图像，这使得跨模态检索效果更佳。

Mar, 2022

本文介绍了一种基于多模态方法的轻量级和专门化的API，使对象检测和最新的文本生成器的串联生成秤可能的食谱。

Mar, 2023

本文提出了一种基于食谱流程图的框架，来预测开放领域中流程文本的流程图，通过实现领域适应模型，实验结果表明领域适应的模型比只在烹饪或目标领域数据上训练的模型具有更高的性能。

May, 2023

该研究提出了一种针对食品计算领域的新型多模态方法（FIRE），该方法基于输入的食品图像生成食品标题、配料和烹饪说明，并展示了与大型语言模型提示结合的两个实际应用：将食谱个性化以适应用户偏好和将食谱转化为代码以实现自动化烹饪过程。实验结果验证了该方法的有效性，并强调其在食品计算领域的未来发展和广泛应用潜力。

Aug, 2023

本研究解决了现有食品计算研究中缺乏多模态整合的问题，提出了一种新型的食品计算基础模型ChefFusion，能够同时处理食谱生成、食品图像生成等多项任务。该模型通过结合大语言模型和预训练图像编码解码模型，展现了显著的性能提升，尤其在食品图像生成和食谱生成领域具有广泛的应用价值。

Sep, 2024