ChatGPT 的高维心理特征和文化偏见
本文通过分析 ChatGPT 对量化人类文化差异的问题的反应,研究了 ChatGPT 的文化背景,并表明当提示语是美国背景时,ChatGPT 的响应与美国文化强烈关联,但对于其他文化背景适应性降低;此外,使用不同提示来探测模型,显示英文提示会减少模型响应的差异,使文化差异变平,并偏向美国文化,该研究提供了有关 ChatGPT 文化影响的有价值见解,并强调了语言技术中更大的多样性和文化意识的必要性。
Mar, 2023
通过对捷克民众自我评估数据的分析,本研究探讨了一个通用聊天机器人 ChatGPT 在从短文本中有效推测个性特质方面的能力,结果显示其在人格特质推测方面与人类评估者具有竞争力,并揭示了 ChatGPT 在所有人格维度上存在的 ' 积极偏差 ',同时探讨了提示内容对其准确度的影响,从而对人格评估中人工智能的潜力和局限性进行了重要贡献。本研究强调了负责任的人工智能发展的重要性,并考虑了隐私、同意、自主权和人工智能应用中的偏见等伦理问题。
Dec, 2023
ChatGPT(GPT-3.5)是一个大型语言模型,该研究调查了 ChatGPT 中的国籍偏见,通过分析自动生成的论述,发现其生成的文本表现出真实世界中的国籍偏见,强调了对大型语言模型中潜在偏见的进一步审查的必要性。
May, 2024
本研究探讨了 ChatGPT 的文化认知特点,发现在认知过程测试中,ChatGPT 一直倾向于东方的整体性思维,但在价值判断方面,ChatGPT 并没有明显倾向于东方或西方,我们认为这一结果可能归因于 LLM 开发中的训练方法和训练数据,我们讨论了这一发现在人工智能研究中的潜在价值以及未来研究的方向。
Aug, 2023
研究探讨人类和 LLM 生成的对话之间的语言差异,并使用 ChatGPT-3.5 生成的 19.5K 对话作为 EmpathicDialogues 数据集的补充。研究使用了语言查询和词频统计(LIWC)分析,在 118 个语言类别上比较 ChatGPT 生成的对话和人类对话。结果显示人类对话在可变性和真实性方面更出色,但 ChatGPT 在社交过程、分析风格、认知、注意力焦点和积极情绪方面表现优异,加强了 LLM “更接近人类” 的最新发现。然而,在正面或负面情感方面,ChatGPT 和人类对话之间没有显著差异。对话嵌入的分类器分析表明,尽管对话中未明确提及情感,但存在着情感价值的隐式编码。该研究还提供了一个新颖的 ChatGPT 生成的对话数据集,其中包含两个独立的聊天机器人之间的对话,这些对话旨在复制一个开放可访问的人类对话语料库,广泛应用于语言建模的 AI 研究。我们的研究结果增加了对 ChatGPT 的语言能力的理解,并为区分人类和 LLM 生成的文本的持续努力提供了信息,这对于检测由 AI 生成的虚假信息、错误信息和误导信息至关重要。
Jan, 2024
对 ChatGPT 和其他生成人工智能模型(GAI)存在的潜在偏见在高等教育机构(HEIs)中的应用进行了伦理问题的讨论和相关研究的范围审查,结果表明,虽然存在对大型语言模型(LLMs)和 GAI 的潜在偏见的意识,但多数文章只在表面上接触到 “偏见” 问题,很少有人明确指出在什么情况下会发生何种偏见,并且也未对其对高等教育、教职员工或学生可能产生的影响进行讨论。因此,我们呼吁高等教育研究人员和人工智能专家在这个领域进行更多的研究。
Nov, 2023
通过 12 个预注册的实验,我们发现像 ChatGPT 这样的运用大型语言模型的聊天机器人能够在很大程度上模仿人类语言处理,但是他们在一些方面与人类处理方式存在差异,并且可能通过 Transformer 架构来解释这些差异。
Mar, 2023
基于 ChatGPT 模型的广泛研究评估了 GPT-4 和 GPT-3.5 在 13 个影响计算问题上的性能,发现它们在涉及情感、情绪和毒性等问题上表现出色,但在涉及隐性信号的问题上表现较差,如参与度测量和主观性检测。
Aug, 2023
本文提出一种 LL 全面评估人类人格的通用框架,使用 Myers Briggs 类型指标测试。采用无偏提示和替换问题语句的方法,使 ChatGPT 能更加灵活地评估不同类型的人格。通过实验,我们发现 ChatGPT 的评估结果更加一致和公正,尽管对提示偏差的鲁棒性略低于 InstructGPT。
Mar, 2023