EMNLPAug, 2019

无需人类响应模式的学习潜在参数：人工群体的项目反应理论

PDF
TL;DR本文提出了在深度神经网络产生的人工群众中使用生成的反应模式 (RP) 来学习 IRT 模型，并证明了这种方法在两个 NLP 任务中通过定量和定性分析学习 IRT 模型的有效性。通过训练集过滤中使用隐含的难度项参数的用例，以及人类预期和机器 RP 所估计难度不匹配的情况。
item response theorynlpdnn-generated datalatent difficulty item parametersmodel performance
发现论文，激发创造
  • 利用项目反应理论构建评估量表

    本文提出一种基于心理度量学中的项目反应理论（IRT）的替代手段，用于生成金标准测试集和 NLP 系统的评估，通过实验证明 IRT 方法能提供更为全面的系统性能评估，并能更好地说明系统性能。

    May, 2016

  • Deep-IRT：利用项目反应理论使基于深度学习的知识追踪解释性更强

    本论文提出了 Deep-IRT，它是一种基于深度神经网络框架的动态键值记忆网络 (DKVMN) 和项目反应理论 (IRT) 模型的综合，可用于使基于深度学习的知识追踪能够得到解释性。实验证明，Deep-IRT 模型保留了 DKVMN 模型的性能，同时提供了学生和项目的直接心理学解释。

    Apr, 2019

  • 可扩展的项目反应理论模型学习

    Item Response Theory (IRT) models leverage coresets for scalable learning of latent abilities and difficulty characteristics in the context of large-scale assessments and data analysis problems.

    Mar, 2024

  • 回归基础：贝叶斯 IRT 扩展在熟练度估计上的表现优于神经网络

    本文研究比较了基于 IRT 的多个熟练度估计方法和基于 RNN 的 Deep Knowledge Tracing 在学生行为预测方面的表现，在多个数据集中发现 IRT 性能优于 DKT，并通过贝叶斯概率模型的应用提供更好的可解释性和保证性。

    Apr, 2016

  • 基于项目反应理论的算法综合评估

    在本文中，我们提出了一个基于修改过的 IRT 模型的框架，用于评估算法组合在数据集存储库中的性能，同时揭示算法性能的重要方面，例如一致性和异常性。我们测试了这个框架在广泛应用的算法组合上，展示了这种方法作为一种具有洞察力的算法评估工具的广泛适用性，并且 IRT 参数的可解释性提供了对算法组合的更深入理解。

    Jul, 2023

  • 变分时序 IRT：快速、准确且可解释的动态学习者能力推断

    提出了 Variational Temporal IRT (VTIRT) 算法，用于快速准确地推断学习者能力的动态变化，相较于其他学习者能力模型，在预测未来的学习者表现方面持续取得改进。

    Nov, 2023

  • 编程作业中隐含的学生知识表征的解释

    利用生成式大型语言模型的最新进展，我们通过引入 InfoOIRT 模型（一种信息正则化的开放性项目反应理论模型）对潜在的学生知识表示进行解释，以生成学生编写的开放性编程问题代码。通过在实际编程教育数据集上的实验，我们展示了 InfoOIRT 既能准确生成学生代码，又能产生可解释的学生知识表示。

    May, 2024

  • 项目反应理论的摊还设计优化

    通过在 Item Response Theory 中引入 amortised experimental design 和 Deep Reinforcement Learning 方法，能够高效地提取学生能力和测试题目特征，以及在实时中考虑实验历史和结果的情况下为学生推荐下一个测试题目。

    Jul, 2023

  • 基于自监督对比 BERT 微调的融合式评论商品检索

    通过对神经检索方法进行对比学习，使用 Late Fusion 方法对 Neural Reviewed-Item Retrieval 进行了改进，以获得更好的性能。

    Aug, 2023

  • 捕获人类对人工智能的心理模型：一种项目反应理论方法

    本研究提出了一种基于项目反应理论的框架来模拟人们对人工智能队友的感知，并使用实验数据测试研究问题，结果表明人们对人工智能代理的性能期望显著高于其他人，并具有更小的问题类型差异。

    May, 2023