Apr, 2024

麻婆豆腐有咖啡吗？探索基于语言模型的食品文化知识

PDF
TL;DR我们通过对食品领域进行研究，引入了一个以多语言为中心的食品文化事实和食品实践多样性数据集 FmLAMA，分析了不同架构和配置的 LLMs 在单语和多语环境中的表现，并发现 LLMs 对于美国的食品知识存在明显偏见，同时发现融入相关文化背景可以显著提高 LLMs 访问文化知识的能力，而 LLMs 对于捕捉文化细微差异的有效性则高度依赖于探测语言、具体的模型架构和所讨论的文化背景之间的相互作用。这项研究强调将文化理解融入 LLMs 的复杂性，并强调多样化的数据集在减少偏见和提高不同文化领域模型性能方面的重要性。
发现论文，激发创造
  • LAMP：一种地图上的语言模型

    通过在特定城市数据上对预训练模型进行微调，本研究引入了一种新的框架，从而使其能够提供准确的推荐，同时最大限度地减少虚构。我们分享了我们的模型 LAMP 和用于训练它的数据，通过实验分析其正确检索空间对象的能力，并将其与 GPT-4 等众所周知的开源和封闭源语言模型进行比较。最后，我们通过一次日程规划的案例研究探索它的新兴能力。

    Mar, 2024

  • DLAMA: 一个用于整理多元文化事实以探究预训练语言模型知识的框架

    本研究提出了一种新的针对文化多样性的基准数据集 DLAMA-v1，并表明英语提示对多语言模型的性能有较大的影响。

    Jun, 2023

  • GeoMLAMA：多语言预训练语言模型上的地理多样性常识探针

    本文介绍了一个多语种、跨文化的基准数据集 GeoMLAMA，旨在探究多语种 PLMs 中通用知识的多样性，通过在 11 个标准多语种 PLMs 上的测试，发现尺寸较大的多语种 PLMs 并不一定比尺寸较小的更好地存储多样的概念，语言不一定能很好地反映其本地文化的知识，而一个语言在探索非本国国家的知识时，则可能比探索本国国家的知识更好。

    May, 2022

  • Multi - 向性知识评估：利用 FActScore 评估多语言 LLMs 的多区域知识

    本研究通过对九种语言进行分析，系统评估了跨语言和地理区域的多语言大型语言模型的事实准确性，发现英语在事实准确性和生成事实的数量方面一直表现优异，并且多语言模型对来自西方大陆的事实信息存在偏见，这些发现凸显了改善多语言事实评估的需求和大型语言模型事实生成中的地理偏差。

    Feb, 2024

  • 评估和缓解大型语言模型中的语言歧视

    通过使用多种语言进行训练，大型语言模型（LLMs）通常具有多语言支持，并展示出在不同语言描述的任务中解决问题的显著能力。然而，由于在不同语言之间训练数据的不均衡分布，LLMs 可能表现出语言歧视，即面对相同任务但在不同语言中描述时，难以保持一致的响应。在本研究中，我们首先从安全性和质量两个方面探讨 LLMs 在对各种语言的查询产生的输出的一致性。我们使用两个数据集（AdvBench 和 NQ）对四个 LLMs（Llama2-13b、Gemma-7b、GPT-3.5-turbo 和 Gemini-pro）进行分析。结果显示，与孟加拉语、格鲁吉亚语、尼泊尔语和迈蒂利语的查询相比，LLMs 对英语、法语、俄语和西班牙语的查询表现出更强的人类对齐能力（平均有 1.04％的有害查询成功越狱）。此外，对于英语、丹麦语、捷克语和斯洛文尼亚语的查询，LLMs 倾向于产生具有更高质量的响应（平均 F1 得分为 0.1494），与其他语言相比。基于这些发现，我们提出了一种基于相似度的投票机制 LDFighter 来减轻 LLMs 中的语言歧视。LDFighter 确保为不同语言使用者提供一致的服务。我们使用良性查询和有害查询来评估 LDFighter。结果显示，LDFighter 不仅显著降低了成功越狱的概率，还平均改善了响应质量，证明了其有效性。

    Apr, 2024

  • 适用于特定文化背景的大型英语语言模型的方法论

    针对大型语言模型在特定文化背景下应用的挑战，本文提出了一种快速自适应方法，利用特定文化知识和安全价值数据进行指导调整。实验结果表明，适应后的语言模型在领域特定知识和适应性方面显著提升，同时保持了其原有的专业优势。

    Jun, 2024

  • 探索使用大型语言模型进行人类化翻译策略

    本文提出了一个名为 MAPS 框架，通过多方面提示和选择的方式，使用大型语言模型分析源文本获取三个与翻译相关的知识方面：关键词、主题和相关演示，并通过质量估计的机制过滤噪音和无用的知识来指导翻译过程，实验证明 MAPS 在最新的 WMT22 测试集上对八个翻译方向都有显著和一致的改进，为解决翻译中的幻觉错误提供了关键的知识。

    May, 2023

  • CPopQA: 通过 LLMs 对文化概念的热度进行排名

    该研究通过引入一种新的少样本问答任务（CPopQA），评估了大型语言模型（LLMs）对长尾文化概念（如假期）的统计排名能力，特别关注这些概念在美国和英国的受欢迎程度，并发现 GPT-3.5 在跨大洲识别地理文化接近性方面表现出卓越性能。

    Nov, 2023

  • X-FACTR: 预训练语言模型多语言事实知识检索

    该研究创建了一个跨 23 种不同语言的多语言基准测试，旨在评估语言模型中的事实知识检索能力，并提出了基于语言切换的方法来提高多语言模型获取知识的能力。

    Oct, 2020

  • CALLA 数据集：探索 LLMs 对中医文献的互动知识获取

    使用 CALLA 数据集验证了以医学文献为基础的指导微调数据对大型语言模型在医学领域的知识获取能力、互动应用和准确性的促进作用。

    Sep, 2023