ChatGPT 对大学专业推荐中的偏见剖析
本研究旨在识别和量化ChatGPT 和其他OpenAI 大型语言模型在候选人筛选中存在的社会偏差,以展示这些模型的使用可能会延续现有的偏见和不公平现象,从而提出应对方法
May, 2023
本研究旨在了解世界各地大学关于使用生成式人工智能工具(如ChatGPT)所制定的政策以及影响其决策的因素,发现大学之间在ChatGPT政策上存在明显差异;其中三分之一的大学实施了ChatGPT政策,而大部分禁止其在评估中使用的大学允许教师自行决定是否使用,同时发现大学的学术声誉、所处国家(以英语为母语)、公众对ChatGPT的态度等因素与大学是否制定ChatGPT政策密切相关,同时探讨了大学面临的挑战。
May, 2023
通过分析工作推荐, 揭示大型语言模型中的人口统计偏见。研究发现LLMs存在与不同人口统计身份相关的偏见,如Mexican workers普遍倾向于低薪工作,女性倾向于秘书角色。这突出了在后续应用中量化LLMs偏见的重要性,以了解可能造成的伤害和不公平结果。
Aug, 2023
ChatGPT在标准化考试准备中的问题解决能力及其潜在应用进行了探索,重点关注GRE数学考试。本研究调查了ChatGPT在GRE数量领域的不同问题类型上的表现,并研究了修改问题提示对其准确性的影响。研究结果表明,在对原始问题使用指令引导和上下文提示后,ChatGPT的准确性有了统计上的改进。与原始数据69%的准确率相比,修改后的提示下ChatGPT的准确率达到了84%。研究讨论了ChatGPT在某些问题上的困难之处以及提示修改对于GRE等标准化考试准备的帮助,并提供了未来的研究方向。
Sep, 2023
该研究分析了与ChatGPT在教育领域使用相关的247个Reddit热帖,利用描述性统计、情感分析和LDA主题建模等方法对用户感知进行分析,结果显示大部分用户持中立态度,然而对于ChatGPT在教育中的有用性,正面感知多于负面。
Sep, 2023
对ChatGPT和其他生成人工智能模型(GAI)存在的潜在偏见在高等教育机构(HEIs)中的应用进行了伦理问题的讨论和相关研究的范围审查,结果表明,虽然存在对大型语言模型(LLMs)和GAI的潜在偏见的意识,但多数文章只在表面上接触到“偏见”问题,很少有人明确指出在什么情况下会发生何种偏见,并且也未对其对高等教育、教职员工或学生可能产生的影响进行讨论。因此,我们呼吁高等教育研究人员和人工智能专家在这个领域进行更多的研究。
Nov, 2023
ChatGPT的研究探索大型语言模型在媒体偏见检测方面的效力,结果显示ChatGPT在检测仇恨言论和文本级别上的情境偏见方面与精细调校的模型表现相当,但在其他偏见检测方面(包括虚假新闻、种族、性别和认知偏见)遇到困难。
Mar, 2024
ChatGPT和传统学习资源的结合在计算机科学教育中非常有效,优秀的学生是最多使用ChatGPT的人。因此,在那些基础知识较差、提示技巧较差且无法充分利用ChatGPT的学生之间可能会出现新的数字差距。
May, 2024
本研究旨在评估 ChatGPT 是否能够与人类及机器评分的准确性相匹配,特别是在 ASAP 竞赛中的表现。研究发现,尽管 ChatGPT 的某些模型在特定数据集上的评分接近人类评分,但整体表现不稳定且往往低于人类评分,强调了需要改进的地方,尤其是在消除偏差和确保评分公平性方面。尽管如此,ChatGPT 在评分效率上展现了潜力,尤其是在特定领域的微调下。研究建议未来应提升模型精度,解决伦理问题,并探索结合 ChatGPT 与经验方法的混合模型。
Aug, 2024