Apr, 2024

CultureBank：朝向具有文化意识的语言技术的在线社区驱动式知识库

PDF
TL;DR为增强语言模型的文化意识，我们设计了一个通用的流程来从不同的在线社区大规模构建文化知识库。通过该流程，我们构建了一个基于 TikTok 用户自述和 Reddit 的文化描述信息的 CultureBank 知识库，包含 12K 个文化描述符和 11K 个上下文化场景。使用 CultureBank，我们评估了不同语言模型的文化意识，并找出改进的领域。我们还在 CultureBank 上微调了一个语言模型：实验证明它在零 - shot 设定下在两个后续文化任务上有更好的性能。最后，基于我们的发现，我们为未来的文化意识语言技术提供了建议。
language modelscultural awarenessknowledge basesculturebankcultural descriptors
发现论文，激发创造
  • 大规模多元文化知识获取与语言模型基准测试

    通过从维基百科文献到链接页面的导航，建立文化知识的多元多样化采集方法与 CultureAtlas 数据集，该数据集涵盖了各种亚国家地理区域和族群，用于评估语言模型在文化多元背景下的表现和开发具有文化敏感和意识的语言模型，以促进数字领域中全球文化的更具包容性和平衡的表达。

    Feb, 2024

  • CulturePark: 大型语言模型中跨文化理解的提升

    通过 CulturePark，我们生成了 41,000 个文化样本，用于优化八个特定文化的 LLM。我们在内容审查、文化协调和文化教育三个下游任务中评估了这些模型，结果表明在内容审查方面，基于 GPT-3.5 的模型要么与 GPT-4 相匹配，要么胜过它。在文化协调方面，我们的模型优于 GPT-4 的 Hofstede 的 VSM 13 框架。此外，针对人类参与者的文化教育，我们的模型在学习效果和用户体验方面与 GPT-4 相比展现了卓越的结果。CulturePark 是解决文化偏见和推动人工智能民主化的重要进展，突显了文化包容性数据在模型训练中的关键作用。

    May, 2024

  • EnCBP: 英语中更细粒度的文化背景预测的新基准数据集

    本文介绍了如何通过 EnCBP 数据集中的语言建模评估和人工分析，证实英语五个说话国家和美国四个州之间存在明显的语言差异。在 CoNLL-2003、PAWS-Wiki、QNLI、STS-B、RTE、SST-5、SST-2、情感和 Go-Emotions 等任务上的评测表明，引入文化背景信息明显提高了深度学习模型在大多数任务上的性能。

    Mar, 2022

  • CulturaX：一个干净、庞大且多语言的数据集，适用于拥有 167 种语言的大型语言模型

    CulturaX 为大型语言模型提供一份多语种数据集，经过严格清洗和去重处理，解决了 LLM 开发中的透明度、幻觉和偏见问题，促进了多语种 LLM 的研究和发展。

    Sep, 2023

  • CULTURE-GEN: 透过自然语言提示揭示语言模型中的全球文化认知

    通过对 110 个国家和地区的 8 个与文化有关的主题的文化条件生成，以及从这些生成中提取与每个文化相关的符号，我们发现文化条件生成由区分边缘文化与默认文化的语言 “标记” 组成，而且发现 LLM 在文化符号的多样性方面存在不平衡，并且来自不同地理区域的文化在 LLM 的文化无关生成中存在不同的存在。我们的发现促进了进一步研究 LLM 中全球文化知识和公平感知的研究。

    Apr, 2024

  • 多元文化常识知识蒸馏

    通过 MANGO 方法，从概念和文化两个入口点逐步指导大型语言模型，提取文化知识，通过聚类和生成式摘要方法合并，最终获得了 167K 个高准确性的关于 30K 个概念和 11K 个文化的表述，达到了非常显著的提升。将 MANGO 的知识应用于对话系统中，增强了对话系统的整体质量、特异性和文化敏感性，经过人工标注员评价证实。提供数据和代码下载。

    Feb, 2024

  • BertaQA：语言模型对本地文化了解多少？

    大型语言模型在全球范围或以英文为中心的主题上表现出广泛知识，但对于在网上不那么突出的其他文化相关主题表现如何仍存在疑问。通过引入英文和巴斯克文平行的选择题数据集 BertaQA，我们发现一流的大型语言模型在本地文化知识上表现出困难，但持续的巴斯克文预训练显著提高了英文查询下模型在巴斯克文化方面的表现，这是低资源语言向高资源语言的知识传递的首个确凿证据。我们的分析揭示了语言和知识之间复杂的相互作用，并发现某些先前的发现在重新评估地方主题时不完全成立。我们的数据集和评估代码可在此 https URL 下的开放许可下获取。

    Jun, 2024

  • CultureBERT：为企业文化微调基于 Transformer 的语言模型

    本研究将监督式机器学习应用于从文本文档中度量企业文化的文献中，通过对员工评论数据集的人工标注，细调基于转换器的语言模型进行分类预测，相比传统的文本分类方法，我们的语言模型可以将员工评论的 16 至 28 个百分点与人类评估者产生一致性，并将我们的模型公开发布。

    Dec, 2022

  • 利用 TalkBank 多个数据集的分层方法

    这篇文章介绍了一个针对 TalkBank 的系统框架，采用层次搜索方法，以及标准化清理元数据的方式，实现了对大数据集的高效筛选和集成。

    Jun, 2023

  • CRAFT: 从野外提取和调整文化指引

    本文介绍了一种从庞大的非结构化语料库中提取高质量文化相关调优数据集的新型流程。通过自我生成流程识别文化概念和触发指令，并与通用指令调优数据集相结合，我们的模型展示出了较强的识别和理解区域文化细微差别的能力，从而增强了其推理能力。我们在新加坡、菲律宾和美国三个地区开展了实验，取得了高达 6% 的性能改进。我们的研究为直接从非结构化数据中提取文化指令调优集开辟了新的途径，并为未来在该领域的创新设立了先例。

    May, 2024