对中国各地区的食物文化进行分析，创建了 FoodieQA 数据集，包括图像和文字描述，并评估了视觉 - 语言模型和大型语言模型的表现，发现在多图像和单图像问答任务上，开源的视觉 - 语言模型仍然存在较大的差距，而理解食物文化及其文化含义仍然是一个具有挑战性且尚未深入探索的方向。

Jun, 2024

提出了一种基于 Large Multi-modal Models 的多功能食品助手 FoodLMM，包括食品识别、成分识别、食谱生成、营养估计、食品分割和多轮对话等各种能力，通过引入一系列新颖的任务特定标记和头部来预测食品营养价值和多个分割掩码，采用两阶段训练策略，使其能够进行专业对话和基于对食品领域的复杂推理来生成分割掩码，并在若干食品数据集上取得了最先进的结果。

Dec, 2023

本文探究使用与食品相关的语料库对预训练基于 Transformer 的语言模型进行预训练的有效性，并利用外部知识源，如 FoodOn 本体论，对此任务进行微调，提出使用基于 GPT 模型作为基线和利用 ChatGPT 作为外部知识源进行研究的两个新途径，同时扩展了本研究的范围，探讨了其他自然语言处理任务。

Jun, 2023

本技术报告介绍了 Skywork-13B，这是一个大型语言模型（LLMs）系列，它是基于包括英文和中文文本在内的超过 3.2 万亿标记训练的。我们采用两阶段的训练方法，通过使用分段语料库进行通用训练和特定领域增强训练。该模型在流行的基准测试上表现出色，并且在中国语言建模的各个领域中实现了最新的技术水平。此外，我们提出了一种新颖的泄漏检测方法，证明测试数据污染是一个迫切需要 LLM 社区进一步研究的问题。为了推动未来的研究，我们发布了 Skywork-13B 以及培训过程中得到的中间阶段的检查点。我们还发布了部分 SkyPile 语料库，其中包含超过 1500 亿个网络文本标记，这是迄今为止最大的高质量开放中文预训练语料库。我们希望 Skywork-13B 和我们开放的语料库能成为一个宝贵的开源资源，使高质量的 LLMs 变得更加普及。

Oct, 2023

现有的大规模语言模型建设通常是在基础模型上进行微调，有些模型还会融入知识库而不需要预训练。本文提出了一种增量预训练方法来处理结构化知识和扫描文档，通过构建知识图谱作为外部知识库，旨在解决大规模语言模型中的机器幻觉问题。

Aug, 2023

使用大型语言模型，结合众包工人和营养专家，在缺乏公共资源的营养咨询领域，成功地聚集了一系列高质量的数据集，并通过专家评估得出，ChatGPT 生成的文本在流畅度和人类化方面表现出色，但在敏感话题（如心理健康）中存在不利行为，不适合无监督使用。

Jan, 2024

食物对健康的深远影响需要先进的以营养为导向的食品推荐服务。本文介绍了 ChatDiet，这是一个新的基于大型语言模型的框架，专门设计用于个性化的以营养为导向的食品推荐聊天机器人，实现了个性化和可解释的食物推荐，以及与用户个人喜好相适应的互动。

Feb, 2024

我们综合研究了流行的视觉 - 语言模型（VLMs）在特定领域，即食品领域中的能力，并发现它们在特定领域的表现不如在一般领域中的表现好，同时揭示了 VLMs 在处理不同地理区域的食物方面存在严重偏见。

Aug, 2023

LongSkywork 是一种具有长上下文处理能力的大型语言模型 (LLM)，通过在标准 SFT 阶段之后添加长上下文 SFT 阶段来增强长上下文处理能力，使用合成数据的方法显著提高了训练效率，并在各种长上下文基准测试中取得了出色的表现。

Jun, 2024

本文提出了一种基于视觉语言神经网络模型的 UMDFood-VL 模型，并利用最全面的 UMDFood-90k 多模态食品数据库，相较于传统的卷积神经网络（CNNs）和循环神经网络（RNNs），在各种营养价值估计上显著提高，尤其是在食品成分估计上取得了 95％的宏平均 AUCROC，具有一定的实际应用价值。

May, 2023