Sep, 2024

AutoIRT：利用自动化机器学习校准项目反应理论模型

HTML
PDF
TL;DR本研究解决了传统项目反应理论（IRT）模型在计算机自适应测试（CAT）中校准效率低的问题。提出了一种多阶段拟合程序，利用自动化机器学习工具加速建模过程，显著提高了模型的校准性和预测性能。研究结果表明，该方法在Duolingo英语测试中相比现有方法表现出更高的准确度和更好的分数预测。
发现论文，激发创造
  • 回归基础：贝叶斯IRT扩展在熟练度估计上的表现优于神经网络

    本文研究比较了基于IRT的多个熟练度估计方法和基于RNN的Deep Knowledge Tracing在学生行为预测方面的表现，在多个数据集中发现IRT性能优于DKT，并通过贝叶斯概率模型的应用提供更好的可解释性和保证性。

    Apr, 2016

  • 利用项目反应理论构建评估量表

    本文提出一种基于心理度量学中的项目反应理论（IRT）的替代手段，用于生成金标准测试集和NLP系统的评估，通过实验证明IRT方法能提供更为全面的系统性能评估，并能更好地说明系统性能。

    May, 2016

  • 无需人类响应模式的学习潜在参数：人工群体的项目反应理论

    本文提出了在深度神经网络产生的人工群众中使用生成的反应模式(RP)来学习IRT模型，并证明了这种方法在两个NLP任务中通过定量和定性分析学习IRT模型的有效性。通过训练集过滤中使用隐含的难度项参数的用例，以及人类预期和机器RP所估计难度不匹配的情况。

    Aug, 2019

  • 基于项目反应理论的算法综合评估

    在本文中，我们提出了一个基于修改过的IRT模型的框架，用于评估算法组合在数据集存储库中的性能，同时揭示算法性能的重要方面，例如一致性和异常性。我们测试了这个框架在广泛应用的算法组合上，展示了这种方法作为一种具有洞察力的算法评估工具的广泛适用性，并且IRT参数的可解释性提供了对算法组合的更深入理解。

    Jul, 2023

  • 变分时序IRT：快速、准确且可解释的动态学习者能力推断

    提出了Variational Temporal IRT (VTIRT)算法，用于快速准确地推断学习者能力的动态变化，相较于其他学习者能力模型，在预测未来的学习者表现方面持续取得改进。

    Nov, 2023

  • 可扩展的项目反应理论模型学习

    Item Response Theory (IRT) models leverage coresets for scalable learning of latent abilities and difficulty characteristics in the context of large-scale assessments and data analysis problems.

    Mar, 2024

  • 基于PLM的替代模型在IRT评估中控制填空测试题目的难度

    我们提出了一个使用预训练语言模型作为代理模型进行项目反应理论评估的框架，通过使用排名规则控制缺失项和干扰项的难度水平，有效地控制和评估多选填空测试的难度水平。

    Mar, 2024

  • 大型语言模型自动生成与评估阅读理解测试题

    使用大型语言模型生成和评估阅读理解测试题目是一个有前途的方法，特别适用于没有足够可用数据的语言。

    Apr, 2024

  • 练习期间隐性语言学习评估与显性测试同样精准

    本研究解决了在智能辅导系统中，如何有效评估语言学习者能力的问题。我们提出了一种新颖的方法，通过将练习中的学习者数据转化为可用于项目反应理论（IRT）建模的形式，从而实现对学习者能力的准确评估。结果表明，基于练习的能力估计和传统测试的结果同样准确，具有重要的应用潜力。

    Sep, 2024

  • 引入灵活单调多项选择项目反应理论模型与比特尺度

    该研究解决了现有多项选择项目反应理论（IRT）模型在数据拟合上的不足，提出了单调多项选择（MMC）模型并结合自编码器进行拟合。研究结果表明，MMC模型在拟合优度上优于传统的名义反应IRT模型，并展示了如何将任一拟合IRT模型的潜在特质尺度转化为比率尺度，以便于分数解读和不同IRT模型的比较。

    Oct, 2024