Mar, 2024

您的模型未能很好地预测抑郁症的原因:PRIMATE 数据集的案例研究

TL;DR本研究关注于精神健康数据集中的注释质量,特别是使用社交媒体文本进行基于自然语言处理的抑郁水平估计。通过重新注释和引入更精细的标签和文本范围,我们发现针对 PRIMATE 数据集的注释有效性存在关注点,特别是缺乏兴趣或愉悦症状,并识别出了相当数量的假阳性。我们通过发布经过精细标注的数据集,在应用数据使用协议的前提下,为无情感体验检测提供了更高质量的测试集。本研究强调了在精神健康数据集中解决注释质量问题的必要性,并倡导改进方法论以提高自然语言处理模型在精神健康评估中的可靠性。