多语言大型语言模型中孟加拉情感属性中性别刻板印象的实证研究
该研究探讨了大型语言模型中的性别偏见问题,特别关注GPT-2和GPT-3.5等多个语言模型之间的比较,通过对生成的文本进行全面的文献综述和定量分析,发现了性别化词汇关联、语言使用和偏见叙述的问题,并提出了减少性别偏见的算法和数据增强技术。该研究强调了学科间合作的重要性和社会学研究在减少AI模型性别偏见中的作用。
Jul, 2023
通过对四个最近发表的大型语言模型进行测试,我们发现大型语言模型在性别刻板印象、职业偏见和句子结构等方面表现出偏见,它们更倾向于选择与性别刻板印象相关的职业,并且在提供自己选择的解释时常常存在事实错误,对于这些模型的偏见行为,我们需要谨慎测试以确保它们对待边缘化个体和社区是公平的。
Aug, 2023
这篇论文通过对社交媒体讨论进行内容分析,调查了不同文化背景下训练的大型语言模型(LLM),如ChatGPT和Ernie,对性别偏见的公众看法。研究发现,ChatGPT在隐性性别偏见方面更常见,例如将男性和女性与不同的职业头衔联系在一起,而Ernie的回应中则存在明显的性别偏见,比如过分强调女性追求婚姻而非事业。根据研究结果,我们反思了文化对性别偏见的影响,并提出了规范LLM性别偏见的治理建议。
Sep, 2023
大型语言模型 (LLMs) 在性别方面反映了社会规范和偏见。本文填补情绪分析中对于社会偏见的研究空白,首次对五种最先进的开源和闭源 LLM 进行了性别化情绪归因的全面研究,发现这些模型始终存在受到性别刻板印象影响的性别化情绪。
Mar, 2024
研究通过建立一个新的框架UnStereoEval(USE),来调查非刻板化场景下的性别偏见。结果发现,28个测试模型中所有模型都存在较低的公平性,只有9%-41%的非刻板化句子表现出公正行为,这表明偏见不仅仅源自性别相关词的存在,这些结果对模型偏见的根源提出了重要问题,并强调需要更系统和综合的偏见评估。
May, 2024
社会偏见在大型语言模型中是由各种人口统计学特征的目标的社会感知的积累所塑造的。为了全面理解大型语言模型中的这种社会偏见,必须考虑到各种身份认同之间多元观点下的社会感知。本文旨在研究各种视角的社会感知如何影响大型语言模型中社会偏见的发展。为此,我们提出了一种直观量化这些社会感知的新策略,并提出了可以通过汇集多样化的社会感知评估大型语言模型中社会偏见的度量标准。实验结果通过检查社会感知定量地展示了大型语言模型中的社会态度。我们进行的分析表明,我们提出的度量标准捕捉到了社会偏见的多维方面,从而实现了对大型语言模型中偏见的细致全面的调查。
Jun, 2024
预训练语言模型存在各种社会偏见,本研究旨在对孟加拉语进行内在偏见测量,探讨现有偏见测量方法在孟加拉语中的必要改进,并研究上下文长度变化对偏见测量的影响,通过实验证明偏见度量指标对于上下文长度存在明显依赖性,在孟加拉语偏见分析中需要细致考虑。我们的工作为孟加拉语偏见测量提供了一个基础,我们公开提供所有资源以支持未来的研究。
Jun, 2024
我们研究了大型语言模型(LLMs)在孟加拉语中生成输出时存在的两种社会偏见,并提出了针对孟加拉语中偏见检测的两种探测技术,为偏见测量基准提供了一个策划数据集,这是我们所知道的首个涉及孟加拉语LLMs偏见评估的研究。
Jul, 2024
本研究解决了大型语言模型(LLMs)在情感表现中对文化规范和价值观的潜在偏见,尤其是针对混合情感情境的分析。通过应用Miyamoto等人的研究方法,发现LLMs对书面语言的反应更敏感,而东亚语言的回应与其文化的契合度较高。研究揭示了LLMs的表现与文献证据的关联性有限,强调了在多文化背景下使用LLMs时需谨慎。
Aug, 2024
本研究针对大型语言模型(LLMs)在自然语言生成中放大性别相关社会偏见的问题,提出了GenderCARE框架,以构建灵活而全面的评估标准、偏见评估、减少技术及评估指标。研究表明,该框架能显著减少性别偏见,且在保持模型性能的同时,实现过90%的偏差降低,为实现LLMs的公平性和公正性提供了新的解决方案。
Aug, 2024