Jul, 2023

考试者有话说：理解人工智能在语言测试中的影响

PDF
TL;DRAI 在语言测试中应用的潜在影响和测试人员的看法的第一次实证研究表明，AI 整合可能增强公平性、一致性和可用性感知，但可能引发对可靠性和互动性的不信任，从而影响测试人员的行为和福祉，为相关利益相关者提供更全面的社会影响的认识，并协助他们做出明智的 AI 应用决策。
language testsartificial intelligencenatural language processingtest-taker perceptionssocietal implications
发现论文，激发创造
  • 软件测试中的人工智能：影响、问题、挑战和前景

    本研究旨在探讨人工智能技术在软件测试活动和方面中的影响，以及 AI 在软件测试领域未来的一些关键贡献和应用面临的挑战。

    Jan, 2022

  • 不欺骗图灵测试：朝向人工智能的基于实证的语言学习

    研究自然语言理解在人工智能领域的挑战，结合认知科学、 心理学、思维哲学和认知语言学的见解，评估目前的方法和挑战。

    Jun, 2022

  • AI 系统中自然语言理解的评估框架的再思考：语言习得作为未来指标的核心

    人工智能领域，大型语言模型在自然语言处理方面的前所未有的进步为重新考虑传统的机器智能度量提供了机会。本文提出了从既定的图灵测试转向以语言习得为核心的全面框架，受到了大型语言模型最新进展的启发。

    Sep, 2023

  • 教育测量中人工智能的崛起：机遇与伦理挑战

    人工智能在教育测量中的整合革命了评估方法，通过机器学习和自然语言处理实现了自动化评分、快速内容分析和个性化反馈，为学生提供及时、一致的反馈和宝贵的学业表现洞察，从而增强了评估体验。然而，将人工智能应用于教育也带来了诸多伦理关切，涉及到有效性、可靠性、透明度、公平性和公正性等问题。算法偏倚和人工智能决策过程的不透明性等问题可能会将不平等问题持续下去并影响评估结果。为了应对这些关切，包括教育工作者、决策者和组织在内的各方利益相关者已制定了指南，以确保人工智能在教育中的道德使用。美国教育测量学会（NCME）的 AI 与教育测量特别兴趣小组（AIME）也致力于确立道德标准并推动该领域的研究。本文中，来自 AIME 成员的多样化团队审视了人工智能驱动教育测量工具的伦理影响，探讨了自动化偏倚和环境影响等重大挑战，并提出了解决方案，以确保人工智能在教育中的负责任和有效使用。

    Jun, 2024

  • 人类还是机器？视觉和语言的图灵测试

    通过图灵测试进行了人工智能算法和人类的对比实验，实验结果表明在视觉和语言挑战方面，当前的人工智能算法已能够成功模仿人类的判断。同时，该论文提出了一个评价人类模仿能力的方法，通过该方法可以进行新的理论探究与研究成果的展示。

    Nov, 2022

  • 采用自然语言处理方法进行教育反馈分析的趋势和挑战综述

    本文概述了人工智能在教育领域的应用，针对学生反馈数据，提出了利用自然语言处理技术来识别教育基础设施、学习管理系统、教学实践和学习环境的改进方向，并重点介绍了情感标注、实体注释、文本摘要和主题建模等文本分析技术在教育领域的应用及其存在的挑战。

    Jan, 2023

  • 软件工程教育中的 AI 辅导

    利用 GPT-3.5-Turbo 模型作为 AI 导师的自动化编程评估系统中，利用经验数据和探索性调查发现了不同用户类型以及与 AI 导师的交互模式，总结了实时反馈和可扩展性等优势，但也指出了一些挑战，例如通用回答和学生对使用 AI 导师时学习进展受限的担忧。这项研究为教育中人工智能的作用增加了有益的话题。

    Apr, 2024

  • 在测试语言不常见方面的人工智能性能时，暴露对底层意义的不敏感性

    本研究探讨基于计算方法和大数据的人工智能应用中所使用的大型语言模型的语言表现，着重考察语言表现是否由语言知识所导引。结果发现即便是常规语法结构之外的、不太常见的语言结构也可能导致大型语言模型表现出不足的语言能力，暗示这种类型的语言模型实际上并不像人类一样具有对语言的深入理解。

    Feb, 2023

  • 拆解学生书面评估中与人工智能的关键交互

    人工智能（AI）已经成为社会不可或缺的一部分，但确保人类具备必要的批判性思维和 AI 素养技能以有效地与机器交互，并理解其能力和局限性，面临着一个关键挑战。本文通过使用理论模型和实证数据，提出了批判性学生与 AI 进行互动的概念化的第一步。我们的初步发现表明，在写作过程中人与 AI 之间存在缺乏深度互动的情况。我们认为这些结果可以为未来的学习者在与 AI 交互时培养深入的批判性思维提供更好的任务和工具设计方案。

    Apr, 2024

  • 量化人工智能对科学研究的益处

    通过对 8700 万篇论文和 710 万项专利采用自然语言处理技术，研究发现 AI 在科研中的使用范围广泛，特别是自 2015 年以来增长迅速，使用 AI 的论文影响因子更高，同时也存在 AI 人才供需不平衡和种族、性别等方面的不公平问题。

    Apr, 2023