评估大型语言模型对隐晦与讽刺的理解能力:使用阿斯伯格综合症筛查测试
通过机器学习的分数预测,本文调查了奇怪言辞子量表与总量表和社会响应性量表之间的关联;找出了调取奇怪言辞子量表症状的最适合任务;发现消极记忆中较长的言辞会引发更多的奇怪言辞症状;证实了功能词和抽象及时间特征对奇怪言辞估计的重要性,并发现了SPD样症状与ASD样症状之间的差异。
Oct, 2023
我们通过分析从心理学家与典型发育或患有自闭症谱系障碍(ASD)的儿童之间的诊断对话中提取的声学/韵律和语言特征,提出了一种ASD诊断的建模方法。我们比较不同特征在一系列对话任务中的贡献,并着重寻找表征患有ASD的儿童对话行为的最小参数集。除了分析儿童的行为外,我们还研究心理学家的对话行为是否在不同的诊断群体之间有所变化。我们的结果有助于对ASD儿童的对话数据进行细粒度分析,以支持诊断和干预。
Jan, 2024
通过分析来自生物医学、心理学和自然语言处理领域的研究,我们寻找能够指示自闭症的语言、韵律和声学线索。此调查涵盖了自闭症的定义、可能影响正确诊断的共病疾病,以及诸如语言流畅性、韵律特征、不流畅性和说话速度等观察结果。我们还介绍了基于词汇的方法,并描述了对音频数据和文本的机器学习和基于转换器的方法。最后,我们得出结论,目前已有大量研究,但女性患者的研究仍然非常有限,而且大多数自然语言处理研究侧重于传统的机器学习方法,而非在这一领域有潜力的转换器。另外,我们未能找到将音频和文本特征结合起来的研究。
Feb, 2024
本研究探讨了ChatGPT作为一种先进的自然语言处理模型在诊断自闭症相关语言障碍方面的应用,通过提高诊断准确性和描述自闭症的特定语言特征,从而优化诊断流程,并与传统的监督学习模型进行了对比,结果显示ChatGPT在零样本学习配置下的准确性和F1分数均比其他模型提高13%以上,展现了其在神经学诊断中的潜力。同时,研究还找到了与自闭症相关的十个不同实验场景下显著变化的语言特征,例如回声言语、代词转位和非典型语言使用等,这些特征对于准确诊断自闭症和定制治疗方案具有重要意义。因此,该研究呼吁在临床实践中采用像ChatGPT这样的先进人工智能工具来评估和诊断发育性障碍,为自闭症和类似神经疾病的评估提供更高准确性,并与个体化医疗的目标相一致,从而可以潜在地改变诊断的格局。
May, 2024
通过引入SarcasmCue的新提示框架,本研究通过综合实证比较四个基准数据集,展示了提出的四种提示方法在探测人类讽刺方面的优越性,非顺序提示通常优于顺序提示。
Jul, 2024
本研究关注大型语言模型(LLMs)在讽刺理解方面的不足,指出现有模型在这一领域的表现远低于最新的预训练语言模型(PLMs)。研究发现,尽管GPT-4在多种提示方法中表现优异,整体上仍需对LLMs进行显著改进,以增强其对人类讽刺的理解能力。
Aug, 2024
本研究聚焦于大型语言模型(LLMs)在讽刺理解方面的不足,制定了针对讽刺检测的基准评估。通过对当前顶尖的LLMs和预训练语言模型的比较,发现现有LLMs在讽刺检测上的表现低于监督学习的基准,尤其是在少量样本提示下,其表现优于其他方法,指出了提升LLMs理解人类讽刺能力的必要性。
Aug, 2024
本研究探讨了讽刺的声学特征,分析讽刺用语使用的倾向与信号讽刺的韵律线索之间的相互作用。研究发现,当讽刺意义在语义上明显时,韵律线索的相关性较低,表明在短语层面上,韵律与语义线索之间存在一种权衡。这一发现揭示了语义丰富的讽刺表达对韵律调制的依赖程度降低,进一步阐明了表达讽刺意图的复杂互动。
Aug, 2024
本研究针对现有多模态隐喻和讽刺理解任务中数据集缺乏的问题,提出了NYK-MS基准,包含1583个隐喻样本和1578个讽刺样本,并进行了多轮高质量标注。研究发现,尽管大型语言模型在分类任务中表现不佳,但随着模型规模的增加,其在理解隐喻和讽刺的其他任务中的表现有所提升,验证了基准与现有数据集的一致性。
Sep, 2024
本研究解决了交流障碍诊断和治疗中对不同条件、实际缺陷及有限数据的考量不足的问题。采用感知的隐含相似性模型,探讨其在临床和客户应用中的潜力,研究表明该模型能够有效捕捉与自闭症和特定语言障碍相关的发声特征。
Sep, 2024