Jul, 2024
NutriBench：餐描述中碳水化合物估计的大型语言模型评估数据集
NutriBench: A Dataset for Evaluating Large Language Models in
Carbohydrate Estimation from Meal Descriptions
TL;DR准确的营养估计有助于人们做出明智的饮食选择，并在预防严重健康问题方面至关重要。我们介绍了NutriBench，这是第一个基于自然语言的餐饮描述的公开营养基准。NutriBench包括5,000个经人工验证的餐饮描述，附有宏量营养标签，包括碳水化合物、蛋白质、脂肪和卡路里。数据分为15个子集，根据餐饮中食物项目的数量、份量和受欢迎程度以及份量描述的特定性而变化。我们对七个流行的和最先进的大型语言模型进行了广泛评估，包括GPT-3.5、Llama-3和一种医学领域特定模型，采用标准的思考链和检索增强生成策略用于我们的碳水化合物估计基准。我们还进行了一项涉及专家和非专家参与者的人员研究，并发现LLMs可以在各种复杂查询中提供更准确和更快速的预测。我们对不同LLMs进行了彻底的分析和比较，并突出了在实际场景中使用LLMs进行营养估计的机会和挑战。我们的基准公开可用于此链接地址。