Jul, 2023

KoBBQ：韩国问答偏见基准

PDF
TL;DR通过利用英文 BBQ 数据集以适应文化方式构建非英文偏见基准数据集，本文提出了 KoBBQ 数据集用于评估韩语问答任务中的偏见，并通过将韩国文化相关性增强到韩国文化，补充了四个韩国文化特定偏见类别，并基于韩国文学创建了新样本。使用 KoBBQ 数据集，衡量了几种最先进的多语言语言模型的准确性和偏见评分，展示了韩语和英语中语言模型的偏见差异，进一步阐明了考虑文化差异需要手工制作的数据的必要性。
发现论文，激发创造
  • MBBQ: 一份为生成式语言模型的跨语言比较刻板印象而设的数据集

    研究表明，生成性大型语言模型存在有害的偏见和刻板印象。该论文通过研究不同语言的社会刻板印象，控制文化差异和任务准确性，证实了非英语语言存在更多的偏见，并且观察到跨语言的偏见行为存在显著差异。

    Jun, 2024

  • BBQ: 一个手工制作的问答偏见基准

    该研究旨在通过提出一种基准数据集 —— 即 Bias Benchmark for QA（BBQ）来测试 NLP 模型的社会偏见。研究发现当上下文信息不充分时，模型通常依赖于固有的刻板印象，导致输出结果中仍存在有害偏见。同时，即便给出充分信息，模型依然受固有偏见的影响，在正确答案与社会偏见相冲突时的准确率差异可高达 5 个百分点。

    Oct, 2021

  • CBBQ：一個由人工智能協作策劃的中文偏差測試數據集，供大型語言模型使用

    本文提供一个超过 10 万个问题的中文偏见基准数据集，包括与中国文化和价值观相关的 14 个社会维度中的刻板印象和社会偏见，通过广泛文献综述、生成环境、AI 辅助去歧义生成、手动审核和重组等步骤，展示了数据集的广泛覆盖和高多样性，实验表明所有 10 个公开可用的中文大型语言模型在某些类别中存在强烈的偏见。

    Jun, 2023

  • 日本大型语言模型中社会偏见分析

    通过构建基于英文偏见基准 BBQ 的日语偏见基准数据集 JBBQ，并分析日本 LLM 的社会偏见，本研究发现，虽然当前的日本 LLM 通过指导调整提高了在 JBBQ 上的准确性，但其偏见程度却增加了。此外，通过在提示中加入关于社会偏见的警告，可以减轻某些模型中的偏见影响。

    Jun, 2024

  • KoSBI：减少社会偏见风险的数据集，以更安全的大型语言模型应用为目标

    通过构建本土化社会偏见数据集，可以减少韩国大型语言模型的社会偏见，有效地保证其安全、可靠、有效地部署。

    May, 2023

  • KOBEST: 韩国重要任务平衡评估

    提出韩文平衡重要任务评估 (KoBEST) 作为一项新的基准数据，旨在为现代语言模型提供韩语下游任务，并且仅由专业的韩国语言学家设计和标注，为其他低资源语言构建基准数据提供新思路。

    Apr, 2022

  • 追踪偏差影响以减少问答模型的偏差

    提出了一种名为 BMBI 的方法，用于减轻多选问题回答模型中的偏见。通过观察一个查询实例对另一个实例的影响来度量查询实例的偏见水平，并将其作为优化目标，形成一个多任务学习设置。引入了一个新的偏见评估度量方法，以全面而敏感的方式量化偏见。实验证明，该方法可应用于多个偏见类别的多个问题回答公式，在不降低问题回答准确性的情况下显著降低了 BBQ 数据集中的 9 个偏见类别的偏见水平。

    Oct, 2023

  • 大规模语言模型中的偏见检测: Fine-tuned KcBERT

    该论文研究了大型语言模型对社会性偏见的影响，特别是在韩语环境中，通过平衡数据分布和应用去偏的正则化方法，减少种族、性别以及种族偏见。

    Mar, 2024

  • KoDialogBench：韩语对话基准测试用于评估语言模型的对话理解能力

    这项研究介绍了 KoDialogBench，一个用于评估语言模型在韩语会话中的能力的基准测试。实验结果表明，语言模型在会话技能方面仍有很大的改进空间，并且最近的训练技术在增强会话能力方面非常有效。

    Feb, 2024

  • MKQA：面向多语言开放域问题回答的语言多样性基准测试

    研究跨语言建模的进展取决于具有挑战性、真实性和多样性的评估集。本文提出了一种开放领域的问题回答评估集 “Multilingual Knowledge Questions and Answers”（MKQA），包括 10k 个问题 - 答案对，跨越 26 种语言（总计 260k 个问题 - 答案对）。结果表明，即使在英语中，这个数据集也具有挑战性，尤其是在低资源语言中。

    Jul, 2020