Apr, 2024

IndoCulture: 探索涵盖印度尼西亚十一个省份的地理影响的文化常识推理

PDF
TL;DR本研究旨在了解地理因素对语言模型的推理能力的影响，以特别强调印尼十一个不同省份内的多元文化。评估 23 种语言模型表明：（1）即使是最优秀的开源模型，准确率也只有 53.2%；（2）模型在某些特定省份（如巴厘岛和西爪哇）的预测通常更准确；（3）地理背景的加入提升了性能，尤其是在像 GPT-4 这样的大型模型中，强调了地理背景在常识推理中的重要性。
commonsense reasoningcultural factorsgeographical factorslanguage modelsindonesian provinces
发现论文，激发创造
  • 拓宽视野：Geo-Diverse 视觉常识推理

    本文构建了 Geo-Diverse Visual Commonsense Reasoning（GD-VCR）数据集，以测试视觉 - 语言模型理解文化和地理位置特定常识的能力。通过研究两种最先进的视觉 - 语言模型，我们发现它们对于非西方地区的性能显着低于西方地区，并分析了性能差异背后的原因。

    Sep, 2021

  • COPAL-ID：印尼语本土文化与细微差别的推理

    COPAL-ID 是一个公开可用的印度尼西亚语常识推理数据集，它结合了印度尼西亚的当地文化细微差别，提供了更自然的印度尼西亚文化领域内的日常因果推理描绘。研究发现，目前最好的开源多语言模型在 COPAL-ID 上表现不佳，与文化无关的 XCOPA-ID 相比，准确率显著降低，这说明这些语言模型在理解印度尼西亚本土细微差别方面仍然落后于人类。

    Nov, 2023

  • 机器推理的文化常识图谱

    本文介绍了一种新的方法，通过在众包 commonsense 知识的基础上引入有文化或国家差异的知识，并将其应用于常见事件的 commonsense 推理中，从而区分不同国家 / 文化知识组的身份，有望提高人类化 NLP 任务性能。

    Sep, 2020

  • 地理信息辅助语种识别

    通过结合地理信息，本研究开发了一种语言识别方法，形成了 16 个区域模型，覆盖 916 种语言，模型性能得到改善。

    Mar, 2024

  • 泰国 Winograd Schema：泰语常识推理基准

    通过使用泰语 Winograd 模式集合，对流行的大型语言模型在泰语上的表现进行评估，揭示了它们的优势、局限性，并为当前技术发展提供了一些见解，结果表明尽管 GPT-4 和 Claude-3-Opus 等模型在英语上达到了高准确度，但它们在泰语上的性能显著下降，突出了对多语言常识推理的进一步改进的需求。

    May, 2024

  • 跨语言文化下的视觉推理

    通过引入印尼语、汉语、斯瓦希里语、泰米尔语和土耳其语等语言，构建了一个新的 ImageNet-style 分层协议，从本地化的角度推荐相关概念和图像，建立了一个用于多文化及多语言视觉和语言推理的数据集 MaRVL，并列举出一系列现代模型的基线，发现其跨语言性能显著滞后于英语的监督性能。

    Sep, 2021

  • SituatedGen: 融合地理和时间背景的生成常识推理

    研究了通识常识推理中的文本生成任务，提出了一种面向具体地理和时间背景下的对比句子生成的数据集及评价模型，并实验证明现有最先进的语言生成模型在推理的通识常识上仍然远远落后于人类表现。

    Jun, 2023

  • 辩证语言模型评估：对 LLMs 常识空间推理能力的初步评估

    通过对语言模型进行对话交互式评估，将其在常识推理中的功能边界在空间推理方面进行了定性研究，并提出了未来改进语言模型能力和系统化对话评估的建议。

    Apr, 2023

  • CRAFT: 从野外提取和调整文化指引

    本文介绍了一种从庞大的非结构化语料库中提取高质量文化相关调优数据集的新型流程。通过自我生成流程识别文化概念和触发指令，并与通用指令调优数据集相结合，我们的模型展示出了较强的识别和理解区域文化细微差别的能力，从而增强了其推理能力。我们在新加坡、菲律宾和美国三个地区开展了实验，取得了高达 6% 的性能改进。我们的研究为直接从非结构化数据中提取文化指令调优集开辟了新的途径，并为未来在该领域的创新设立了先例。

    May, 2024

  • 超越英语的常识：评估和改进多语言常识推理语言模型

    为了促进通识推理（CSR）的进一步发展，作者提出了用于评估和改进流行的多语言语言模型（ML-LMs）的方法，其中包括收集 Mickey 语料库、提出综合的评估方法和介绍多语言对比预训练（MCP）的有效性。作者还创建了两个新数据集，X-CSQA 和 X-CODAH，以评估流行的 ML-LMs 用于跨语言通识推理的能力。

    Jun, 2021