Oct, 2023

OccuQuest: 减少专有职业偏见，让大型语言模型更具包容性

PDF
TL;DR存在职业偏见的现有指导调整数据集限制了指导调整型大语言模型在特定领域的从业者的职业问题中生成有用的回应，为了缓解这个问题并推动包含各种职业的大语言模型的发展，我们创建了一个名为 OccuQuest 的指导调整数据集，包括超过 1,000 个职业在内的 110,000 多个提示完成对以及 30,000 多个对话，通过与三个常用数据集 (Dolly、ShareGPT 和 WizardLM) 进行比较，我们观察到 OccuQuest 在职业分布方面更加平衡，此外，我们还组装了三个用于综合评估的测试集，一个覆盖 25 个职业类别的 occu-test 测试集，一个聚焦于房地产的 estate 测试集和一个包含来自 Quora 的实际问题的 occu-quora 测试集，然后我们在 OccuQuest 上对 LLaMA 进行微调，得到 OccuLLaMA，在 GPT-4 和人工评估中，OccuLLaMA 在专业问题上明显优于现有的 LLaMA 变体 (Vicuna、Tulu 和 WizardLM)，值得注意的是，在 occu-quora 测试集上，OccuLLaMA 对 WizardLM 的胜率高达 86.4%。
发现论文，激发创造
  • 雇佣我还是不雇佣？考察语言模型对职业属性的行为

    本论文研究了大型语言模型在职业决策过程中与性别刻板印象相关的行为，通过多轮问答的方式，探究和量化了性别刻板印象在语言模型行为中的存在，并测试了三种模型的偏好。发现所有模型都存在类似于人类偏见的性别刻板印象，但偏好不同，且 GPT-3.5-turbo 和 Llama2-70b-chat 的不同偏好可能意味着当前的对齐方法对消除偏见不足够，甚至可能引入与传统性别刻板印象相矛盾的新偏见。

    May, 2024

  • 大型语言模型中的受保护群体偏见与刻板印象

    在伦理和公平的领域中，现代大型语言模型 (Large Language Models，LLMs) 在破解很多最先进的基准测试中表现出色，该研究主要探讨 LLMs 在受保护群体偏见方面的行为，发现 LLMs 存在对性别、性取向和西方文化的偏见，并且模型不仅反映了社会偏见，而且似乎放大了这些偏见。尽管该模型对涉及受保护群体的问题过于谨慎，强调多样性和公平，但这种人工限制潜在有害输出的做法本身可能会造成伤害，应该谨慎和有控制地应用。

    Mar, 2024

  • 箱外偏见：流行生成语言模型中的交叉职业偏见的实证分析

    本文通过分析 HuggingFace 最流行的文本生成模型之一 GPT-2 在职业关联方面的偏见来检测大型语言模型的偏见，数据采集基于模板，同时探讨了性别、宗教、性取向、族裔、政治立场和大陆名字起源等因素的影响。

    Feb, 2021

  • 大型语言模型的机会不平等：透过职位推荐揭示人口偏见

    通过分析工作推荐，揭示大型语言模型中的人口统计偏见。研究发现 LLMs 存在与不同人口统计身份相关的偏见，如 Mexican workers 普遍倾向于低薪工作，女性倾向于秘书角色。这突出了在后续应用中量化 LLMs 偏见的重要性，以了解可能造成的伤害和不公平结果。

    Aug, 2023

  • LLM4Jobs: 无监督职业提取与标准化，基于大规模语言模型

    LLM4Jobs 是一种利用大型语言模型（LLMs）进行职位编码的新型无监督方法，通过在合成和实际数据集上进行严谨实验证明，LLM4Jobs 始终超过无监督最先进的基准，展示了其在不同数据集和细粒度上的多功能性。

    Sep, 2023

  • 在大型语言模型中定位和缓解性别偏见

    本研究提出了一种基于因果中介分析的方法来追踪大型语言模型中不同组件激活的因果效应，并在此基础上提出了最小二乘去偏（LSDM）方法，用于减少职业代词中的性别偏见，实验结果表明 LSDM 方法比其他基线方法更有效地减少模型中的性别偏见，同时在其他方面完全保留了模型的能力。

    Mar, 2024

  • 大型语言模型中的性别偏见和刻板印象

    通过对四个最近发表的大型语言模型进行测试，我们发现大型语言模型在性别刻板印象、职业偏见和句子结构等方面表现出偏见，它们更倾向于选择与性别刻板印象相关的职业，并且在提供自己选择的解释时常常存在事实错误，对于这些模型的偏见行为，我们需要谨慎测试以确保它们对待边缘化个体和社区是公平的。

    Aug, 2023

  • 中国劳动市场中的大型语言模型

    该研究探讨了大型语言模型（LLMs）对中国劳动力市场的潜在影响，通过人工专业知识和 LLM 分类的分析，我们研究了 LLM 能力对职业暴露的影响。结果显示职业暴露与工资水平 / 经验溢价呈正相关，暗示高薪和经验密集型工作可能面临更大的被 LLM 软件取代的风险。该研究在理解中国日益强大的 AI 系统对劳动力市场的影响方面提供了分析基础，创新之处在于职业层面的暴露分析、行业聚合方法以及纳入 AI 采用和劳动力市场效应的经济模型。该研究结果将为决策者和企业提供关于最大化 AI 效益和减轻负面影响风险的策略建议。

    Aug, 2023

  • 大型语言模型在语言学习中的口语智能

    评估大语言模型在教育中的功效，特别是在口语学习领域，引入新的多选题数据集评估模型在理解和应用口语知识方面的表现，研究不同提示技术对模型性能的影响，发现模型在音韵学、语音学和第二语言习得方面具有良好的概念理解，但在解决现实世界问题的推理方面存在限制，并初步探讨了对话交流的发现。

    Aug, 2023

  • 应对医疗语言模型中的认知偏差

    这项研究开发了 BiasMedQA 作为一种新的基准测试方法，评估大型语言模型在医学任务中受认知偏差影响的程度，并发现 GPT-4 对偏差具有较强的韧性，而 Llama 2 70B-chat 和 PMC Llama 13B 则受偏差影响较大，这凸显了在医学语言模型开发中需致力于偏差缓解，以实现在医疗保健领域更安全、可靠的应用。

    Feb, 2024