Apr, 2024

评价患者评论的人工和基于语言模型的情感标注的中立性的困难性

PDF
TL;DR情感分析是为了提供定向改进医疗服务而聚合患者声音的重要工具。这篇文章记录了一项工作，旨在为挪威公共卫生研究所（NIPH）收集的患者调查自由文本评论添加情感标注，并评估了使用大型语言模型作为标注工具的可行替代方案。
发现论文，激发创造
  • LLMs 加速医疗信息提取的注释

    使用大型语言模型（LLMs）结合人类专家的方法，快速生成医疗文本注释的地面真实标签，从而减少人工注释负担并保持高准确性，为医疗健康领域的定制自然语言处理（NLP）解决方案提供了潜力。

    Dec, 2023

  • 区分临床情绪：精神科患者健康记录中领域适应的重要性

    本研究首次将情感分析引入精神科领域，通过定义心理临床情感、标注和评估多个机器学习模型，得出结论：现有的情感分析工具不能准确识别临床正面或负面极性，而我们提供的临床情感定义可以用相对较少的训练数据进行学习。该项目是进一步改进临床使用情感分析方法的初步步骤，最终目标是将结果纳入机器学习模型以预测住院患者的再次入院风险。我们希望这项工作会引发有关情感分析领域适应临床应用的讨论。

    Apr, 2019

  • 多语言推特情感分类：人类标注员的角色

    该研究分析使用不同语言的大量手动标记的推文作为训练数据构建自动分类模型时，训练数据的质量和数量对于分类模型的质量比所使用的模型类型更为重要，并且当训练集的大小足够大时，模型的性能接近于标注者一致性，但定期监视标注者的一致性是非常重要的，从而改善训练数据集和模型性能，最后我们还表明，有强有力的证据表明，人们认为情感类别（消极的，中性的和积极的）是有序的。

    Feb, 2016

  • 推进社交媒体帖子立场注释：对大型语言模型和众包的比较分析

    分析了使用大型语言模型在社交媒体中自动进行文本标注的效果和准确性，并探讨了人工标注者与模型的判断差异，发现模型通常在人工标注者很难达成一致意见的情况下表现不佳，对于进一步提高自动立场检测的准确性和全面性，建议综合运用人工专业知识和模型预测的方法。

    Jun, 2024

  • 大语言模型时代的情感分析：现实检验

    本文讨论了大型语言模型在情感分析任务中的有效性，对 13 项不同的任务进行了评估，在简单任务中表现良好，但在涉及更深层次理解和结构化情感信息方面仍有待提高；然而，在资源有限的情况下，大型语言模型表现出色，提供了潜在可能性。该研究提出了一个新的基准评估框架 SentiEval。

    May, 2023

  • 通过 LLM 驱动的主动学习和人工标注来增强文本分类

    该研究引入了一种新的方法，将人工标注和大语言模型（LLMs）与主动学习框架结合，以在数据标注的成本效益和分类性能之间取得最佳平衡。实证结果表明，在降低数据标注成本的同时，模型准确性得到了保持或提高。

    Jun, 2024

  • LLMs 作为标注者的有效性：直接表征的比较概述和实证分析

    通过比较概述了 12 个研究探索了大型语言模型在数据标注方面的潜力，同时揭示了存在的限制，如表征性、偏见、对提示变化的敏感性和对英语的偏好。利用这些研究的见解，我们的实证分析在四个主观数据集上进一步检查了人类和生成的 GPT 意见分布之间的一致性，从而支持了少数研究在评估数据标注任务时考虑多元化观点的方法，并强调了在这个方向上进一步研究的必要性。

    May, 2024

  • 使用公共社交媒体数据评估大型语言模型在健康相关文本分类任务中的性能

    我们评估了多种模型，包括传统机器学习模型、预训练语言模型和大型语言模型，比较它们在社交媒体健康相关自然语言处理任务中的性能。实验结果表明，使用大型语言模型进行数据增强可以获得比仅使用人工标注数据训练的模型更好的结果，并且传统的有监督学习模型在零样本设置中也表现出优于大型语言模型的性能。

    Mar, 2024

  • 大型语言模型中利用标签变异进行零样本文本分类

    使用 5 种最先进的大型语言模型（LLMs）作为 “标注者” 在多个任务上进行评估，并比较其与人类标注的优缺点。总体而言，尽管 LLMs 在某些任务上表现出色，但它们无法替代人类标注的需求。

    Jul, 2023

  • 一种观点的角度：朝向精神病学笔记中临床医生偏见的检测

    精神病学中，消极的病人描述和带有污名化的语言对医疗不公平产生了负面影响，该研究利用大规模语言模型来识别基于读者视角的精神病临床记录中的情感表达。结果显示，GPT-3.5 对提供者视角最为契合，而 Mistral 对非提供者视角最为契合。

    May, 2024