Mar, 2022

多语言语言模型是否捕捉到不同的道德规范？

PDF
TL;DR该论文旨在检测和量化高资源语言对低资源语言影响的问题，并寻求方法来提高跨语言模型转移的可靠性。作者使用跨语言模型 XLM-R 并发现，跨语言语言模型的确能够捕捉道德规范，但还不清楚这些规范在不同语言之间的差异程度。
massively multilingual sentence representationscultural valueszero-shot cross-lingual model transfermoral normsxlm-r
发现论文，激发创造
  • 多语言使用对语言模型的道德偏见产生影响

    本文探讨了预训练的多语言语言模型是否会从英语中捕捉道德规范，并将其强加在其他语言中，以及它们是否在某些语言中表现出随机且潜在有害的信念。研究还在多语言模型上应用了 MoralDirection 框架，分析了在过滤的平行字幕语料库上的模型行为，并将模型应用于道德基础调查问卷，比较不同国家的人类反应。实验表明，预训练的多语言语言模型确实会编码不同的道德偏见，但这些偏见不一定对应于人类观点的文化差异或共性。

    Nov, 2022

  • 大型语言模型对文化及道德规范的了解

    通过对 PEW 全球调查和世界价值观调查的分析，我们发现预训练的英文语言模型虽然可以捕捉到横跨 55 个国家和地区的细粒度（例如 “同性恋” 和 “离婚”）道德变异，但不能够显著地预测各个国家的道德规范，然而通过精调可以在牺牲准确度的情况下改善跨国推断。最后我们探讨了将文化知识纳入自动化道德规范推断的相关挑战与意义。

    Jun, 2023

  • 多语言语言模型的哲学思考

    通过对大规模跨文化研究的启发，我们对大型语言模型进行了道德困境的决策制定，发现其中在不同语言环境下，模型与人类偏好吻合程度存在差异，并对模型的道德选择进行了解释和发展水平的评估。

    Jul, 2024

  • 多语言语言模型并非跨文化：以情感为例的案例分析

    本研究调查了 2023 年广泛使用的跨语言大型语言模型是否反映了不同文化和语言情感表达方式的差异，结果显示模型具有英语中心主义倾向，未能成功学习文化上适宜的情感细微差别，研究提出了可能的研究方向。

    Jul, 2023

  • 语言模型对道德的理解？走向鲁棒的道德内容检测

    使用大规模语言模型和自然语言推理模型训练获得的抽象概念和常识知识，我们研发了多领域道德价值检测的多功能和强大方法，其中采用 GPT 3.5 模型作为基于零样本的无监督多标签道德价值分类器，消除了对标记数据的显式训练需求。与较小的基于自然语言推理的零样本模型相比，结果显示自然语言推理方法在性能上与 Davinci 模型不相上下。此外，我们对在不同领域训练监督模型以探索其在处理来自不同源的数据时的效果，并将其与无监督方法进行比较的性能进行了详细的调查分析。推广了一种无监督道德价值检测的最新零样本模型 Davinci，并与监督模型进行了比较评估，从而突破了道德价值检测的极限，无需显式训练标记数据，并揭示了各自的优势和劣势。

    Jun, 2024

  • 大型预训练语言模型包含人类的偏见：什么是对与错

    该研究指出近期基于 transformer 的大型语言模型（LMs）例如 BERT, GPT-2/3，虽然在许多 NLP 任务中表现出色，但是这些 LMs 训练于未过滤的语料库会出现偏差行为。同时，该研究证明这些 LMs 也包含类似于人类的伦理和道德规范，这种 “道德方向” 运用 PCA 等技术可以减弱甚至消除不当的行为，以排除生产有害的信息，该研究应用在 RealToxicityPrompts 测试中展示了这个道德方向可以引导模型产生符合伦理要求的文本。

    Mar, 2021

  • 道德模仿：大型语言模型生成符合政治身份的道德辩护

    利用 Moral Foundations 理论探究 GPT-3 在政治身份提示下是否会复制与特定政治群体相关联的道德偏见。结果表明大型语言模型确实会在提示政治身份后生成反映相应道德偏见的文本，这种道德模仿既可能有益社会，也可能破坏社会。

    Sep, 2022

  • 多语种预训练语言模型的事实一致性

    本文调查了多语言语言模型（如 mBERT 和 XLM-R）在一些语言下对事实知识预测的一致性，并发现尽管在英语下，这些模型的一致性与其单语言模型相似，但在其他 45 种语言下，这些模型的一致性程度却较低。

    Mar, 2022

  • 预训练的多语言模型在不同语言间的公平性是否相同？

    探讨预训练多语言语言模型的组公平性，通过创建一个新的平行洞察测试实例的多语言数据集（MozArt）及使用人口统计信息来评估三种多语言模型（mBERT，XLM-R 和 mT5），我们发现这三种模型在四种目标语言中表现出不同程度的组不公平性，例如在西班牙语中表现出接近相等的风险，但在德语中表现出高水平的不平等。

    Oct, 2022

  • 语言是否影响法学硕士生的道德判断和推理能力？— 基于多语言道德问题定义测试的研究

    本研究通过定义问题测试，探究了大型语言模型在不同语言中展示的道德判断和道德推理能力。我们扩展了之前仅限于英语的研究范围，针对中文、印地语、俄语、西班牙语和斯瓦希里语这五种新语言，对 ChatGPT、GPT-4 和 Llama2Chat-70B 这三种大型语言模型进行了研究，这些模型具有强大的多语言文本处理和生成能力。我们的研究结果表明，对于印地语和斯瓦希里语，这些模型在道德推理能力方面（以后常规分数为指标）明显不如西班牙语、俄语、中文和英语，而对于后四种语言的表现则没有明显的趋势。同时，通过语言的不同，道德判断也存在相当大的变化。

    Feb, 2024