Feb, 2024

通过学生在意大利的高中背景，用机器学习方法预测大学招生选择

PDF
TL;DR该研究探讨了意大利高中学生在数学和意大利语方面的能力对其大学入学选择的影响，特别关注科学、技术、工程和数学（STEM）课程。研究区分了高中科学和人文背景的学生，提供了对他们的入学偏好有价值的见解。此外，我们还调查了相似的以前教育选择和成就对不同性别学生的影响。研究采用梯度提升方法，该方法在预测性能和捕捉数据中的非线性关系方面表现出色，并且校正了与学生的社会人口特征和先前教育成就相关的变量。我们的分析揭示了根据高中以前的成就而存在的入学选择方面的显著差异。这些发现揭示了学术能力、性别和高中背景在塑造学生有关大学教育选择的复杂交互中的作用，对教育政策和未来研究有重要意义。
italian high school studentsmathematics proficiencyitalian language proficiencyuniversity enrolment choicesstem courses
发现论文，激发创造
  • 大型语言模型评估：STEM 教育与性别刻板印象

    通过开放式、用户真实案例实验设计和定量分析，本文调查了 LLMs 中的性别偏见与教育选择之间的关系，在四种不同的文化、语言和教育系统（英语 / 美国 / 英国，丹麦 / 丹麦，加泰罗尼亚 / 西班牙，印地语 / 印度）的背景下调查了性别偏见，研究发现在使用典型的男孩名字和女孩名字提示建议职业时，chatGPT 提供的建议教育路径中的 STEM 和非 STEM 的比例存在显著而大的差异，丹麦、西班牙和印度背景下的 STEM 建议较少，同时发现职业建议中的细微差异。

    Jun, 2024

  • 认知网络科学揭示 GPT-3，ChatGPT 和 GPT-4 存在偏见，反映出高中学生数学焦虑

    应用行为形态网络方法，研究了三个最新版本的大型语言模型 GPT-3、Chat-GPT 和 GPT-4 对数学和 STEM 领域的感知。结果表明，LLMs 对数学和 STEM 领域普遍持有负面看法，其中数学的看法尤为负面。最新版本的 LLMs 相对于旧版本和高中生感知更复杂、更少负面看法，这表明 LLMs 架构的进步有可能导致越来越不带偏见的模型，甚至有望消除有害刻板印象而不是延续它们。

    May, 2023

  • SciBench：评估大规模语言模型的大学科学问题解决能力

    最近大型语言模型 (LLM) 在许多数学基准上取得显著进展，但大多数基准只涉及初高中科目的问题和多项选择题，且仅限于有限范围的基本算术操作。为解决这些问题，本文引入了一个广泛的基准套件 SciBench，旨在系统地检验复杂科学问题解决所需的推理能力。SciBench 包含两个精心策划的数据集：一个开放集，包含从数学、化学和物理教科书中提取的多领域的大学级科学问题；一个封闭集，包含了计算机科学和数学本科考试中的问题。基于这两个数据集，我们对两个代表性 LLM 进行了深入的基准研究，采用多种提示策略。结果表明，当前 LLM 的表现不尽如人意，综合得分仅为 35.80%。此外，通过详细的用户研究，我们将 LLM 的错误归类为十种问题解决能力。我们的分析表明，没有一种单一的提示策略明显优于其他策略，而且一些策略在某些问题解决技能上的提高会导致其他技能下降。我们预计 SciBench 将催生 LLM 的推理能力进一步发展，从而最终促进科学研究和发现。

    Jul, 2023

  • 数据和机器学习算法中种族偏见对用户说服力和歧视性决策的因果影响：实证研究

    AI/NLP models trained on racially biased datasets demonstrate various types of bias, raising profound ethical implications regarding the impact of these models on user experience and decision-making due to the presence of racial bias features in datasets. The research implicates a negative influence on users' persuasiveness due to unexplainable discriminatory outcomes, calling for responsible AI frameworks within organizations.

    Jan, 2022

  • 辨别和检验成人数据集上的机器学习偏差

    通过集成学习减少机器学习模型的偏见，研究提供了包括性别属性偏见和工资预测差异在内的实证证据，并呼吁采用混合模型以实现公平和包容的数据驱动社会。

    Oct, 2023

  • 常见七 B 语言模型已经具备强大的数学能力

    LLaMA-2 7B 模型通过简单的方法扩展数据样本，证明了其出色的数学能力及可靠性，适用于 GSM8K 和 MATH 基准测试，并提供了关于不同推理复杂性和错误类型的扩展行为的见解。

    Mar, 2024

  • 语言模型是多语言的思维链推理器

    通过使用多种类型不同的语言，我们通过手动将 GSM8K 数据集中的 250 个小学数学问题翻译成十种不同的语言，评估了大型语言模型在多语种环境下的推理能力，并提出了 MGSM 基准。我们发现，随着模型规模的增加，使用思维链提示解决 MGSM 问题的能力越来越强，即使在孟加拉语和斯瓦希里语等少数语言中，这些模型也具有非常强的多语种推理能力。最后，我们展示了语言模型的多语种推理能力扩展到其他任务，例如常识推理和上下文语义判断。

    Oct, 2022

  • 使用语言模型解决定量推理问题

    Minerva 是一个预训练于自然语言数据并进一步训练于技术内容的大型语言模型，通过在技术基准测试中达到最先进的性能，帮助解决了需要量化推理的数学、科学和工程问题的任务，同时在 200 多个需要量化推理的本科水平的物理学、生物学、化学、经济学和其他科学问题上能够正确回答近三分之一的问题。

    Jun, 2022

  • 揭示机器偏见之源

    该研究使用结构经济模型分析了在线小额贷款平台上人类评估者的决策动力，并估算了模型参数。研究发现人类评估者的决策中存在基于偏好和信念两种类型的性别偏见，均偏向女性申请人。通过对事实模拟，研究量化了性别偏见对贷款授予结果和公司及借款人福利的影响。研究还发现，机器学习算法可以缓解偏好和信念两种性别偏见。

    Jan, 2022

  • 关于小学算术的大型语言模型性能的仔细检查

    大型语言模型在数学推理的许多基准测试上取得了令人瞩目的成功，但人们越来越担心其中的一部分性能实际上是由于数据集污染，而不是真正的推理能力。调查显示，许多模型可能已经部分记忆了基准测试的例子，导致在新的基准测试上准确度下降。

    May, 2024