Item Response Theory (IRT) models leverage coresets for scalable learning of latent abilities and difficulty characteristics in the context of large-scale assessments and data analysis problems.

Mar, 2024

本文提出一种基于心理度量学中的项目反应理论（IRT）的替代手段，用于生成金标准测试集和 NLP 系统的评估，通过实验证明 IRT 方法能提供更为全面的系统性能评估，并能更好地说明系统性能。

May, 2016

在本文中，我们提出了一个基于修改过的 IRT 模型的框架，用于评估算法组合在数据集存储库中的性能，同时揭示算法性能的重要方面，例如一致性和异常性。我们测试了这个框架在广泛应用的算法组合上，展示了这种方法作为一种具有洞察力的算法评估工具的广泛适用性，并且 IRT 参数的可解释性提供了对算法组合的更深入理解。

Jul, 2023

本文研究了计算机自适应测试中的序贯设计问题和物品反应理论模型中最大信息法对能力估计值的影响，提出了针对二维和三维模型的改进措施，并且通过例子证明了未经修改的最大似然估计可能不一致。

Jun, 2009

我们利用大型语言模型将非结构化的心理访谈转化为涵盖各种精神疾病和人格领域的结构化问卷，通过模拟被访者的方式让语言模型回答这些问卷。得到的答案被编码为特征，并使用随机森林回归器预测抑郁症（PHQ-8）和创伤后应激障碍（PCL-C）的标准化精神健康测量值，比多个基准模型表现出更高的诊断准确性。因此，我们的研究提出了一种新的框架来解释非结构化的心理访谈，缩小叙事驱动和数据驱动方法在心理健康评估中的差距。

Jun, 2024

提出了一种采用自适应测试框架评估大型语言模型的方法，该方法可以根据模型的表现动态调整测试问题的难度，从而更准确地估计模型的能力，使得大型语言模型可以与人类进行比较，同时该方法可以使用更少的问题，从而更加高效。对 ChatGPT 等 6 种模型进行了细粒度诊断，并通过不同测试发现 GPT4 模型在主题知识、数理推理和编程方面表现优异，可以达到中等水平学生的认知能力水平。

Jun, 2023

大规模语言模型的人格测量结果依赖于自我评估测试的选择，而人类使用的测试无法准确衡量 LLM 的人格特点。

Sep, 2023

利用大型语言模型（LLMs）生成多样的问卷版本，保持良好的心理测量学特性，以解决长期或前后研究中回应者疲劳的问题，从而提高问卷的参与度和信效度。

Nov, 2023

通过对大语料库（Med-PaLM 2）中明确训练的大型语言模型（LLMs）的能力进行研究，本文证明了这些模型能够在没有经过训练的情况下从病人采访和临床描述中预测精神功能。结果表明，Med-PaLM 2 能够评估多种精神疾病的精神功能，其中以基于标准评估的抑郁症评分的预测性能最强（准确率范围 = 0.80-0.84），与人类临床评定人员无显著差异（t (1,144)=1.20；p=0.23）。结果显示了通用的临床语言模型在根据患者和临床医生的自由描述预测精神风险方面的潜力。

Aug, 2023

通过在 Item Response Theory 中引入 amortised experimental design 和 Deep Reinforcement Learning 方法，能够高效地提取学生能力和测试题目特征，以及在实时中考虑实验历史和结果的情况下为学生推荐下一个测试题目。

Jul, 2023