May, 2023

基于变压器模型的社交媒体压力和抑郁识别校准

PDF
TL;DR使用 BERT 和 MentalBERT 模型，将额外的语言信息注入到社交媒体上进行的压力和抑郁症检测中，通过 Multimodal Adaptation Gate 此方法在三个公开数据集上的表现有所提高。标签平滑化可以提高模型性能和调整模型。在压力和抑郁症文章中观察到了语言差异。
social mediamental healthmachine learningbertmodel calibration
发现论文，激发创造
  • 时间丰富的多模态转换器检测抑郁症

    本文提出了一种基于预训练模型，使用图像和文本嵌入的弹性时间丰富多模态变压器模型，用于从社交媒体消息中检测抑郁症，结果表明该方法超越了其他方法，达到了 0.931 F1 值，是目前最先进的方法。

    Jan, 2023

  • 使用 Transformers 和集成方法在社交网络上检测抑郁症

    研究表明，利用预训练语言模型和 Transformer 组合可以有效自动处理社交媒体上表达情感的文章，实现抑郁症自动诊断，并能有效地提高分类器的性能。

    May, 2023

  • 社交媒体中识别压力和抑郁的多任务学习

    该研究使用两个数据集，提出了两个多任务学习框架，使用抑郁症和压力作为主要和辅助任务，旨在利用社交媒体挖掘抑郁和压力信息，实现其早期识别。实验显示，该方法相比于传统单任务学习和迁移学习有多重优势。

    May, 2023

  • 利用 Hugging Face 转换器预测社交网络中的心理健康障碍

    使用社交媒体和预训练语言模型，探索如何利用用户生成的数据来预测心理障碍症状，并发现社交媒体数据是精神健康筛查的良好来源，预训练模型可以有效地自动化这一重要任务。

    Jun, 2023

  • 社交媒体上识别抑郁的框架： MentalRiskES@IberLEF 2023

    本文介绍了我们参加 IberLEF 2023 中的 MentalRiskES 任务，使用传统机器学习和深度学习技术预测了个体社交媒体活动导致抑郁的可能性，其中使用 BRET-based 模型微调和使用线性回归器作为输入的句子嵌入的两种建模方法，结果表明后者获得了更好的结果。

    Jun, 2023

  • 探索基于混合和集成模型的社交媒体多分类精神健康状态预测

    本文探索使用社交媒体数据预测多种心理健康状况的自动化检测方法，根据诸如句法复杂性、词汇复杂性和多样性、情感等语言特征，基于混合和集成模型的比较后发现多分类模型在自动化心理健康检测研究中更加准确有效。

    Dec, 2022

  • 利用大型语言模型对变压器模型进行优化以检测孟加拉抑郁社交媒体文本：一项综合研究

    我们的研究关注心理健康和社交媒体之间的重要联系，特别是在外向的社交媒体用户中早期检测到抑郁症。通过使用 GPT 3.5、GPT 4 和我们提出的 GPT 3.5 微调模型 DepGPT，以及先进的深度学习模型（LSTM、Bi-LSTM、GRU、BiGRU）和 Transformer 模型（BERT、BanglaBERT、SahajBERT、BanglaBERT-Base），我们对 Reddit 和 X 数据集进行分类，并由精通心理健康的母语使用者将其翻译成孟加拉文，从而创建了孟加拉社交媒体抑郁数据集（BSMDD）。我们的工作提供了每个模型的完整架构细节，并提供了一种系统评估其在孟加拉抑郁文本分类中的性能的方法，使用零样本学习和少样本学习技术。我们的工作证明了 SahajBERT 和具有 FastText 嵌入的 Bi-LSTM 在各自领域的优越性，并解决了 Transformer 模型的可解释性问题，强调了 LLM 的有效性，特别是 DepGPT，在各种学习环境中的灵活性和能力。根据实验结果，所提出的 DepGPT 模型不仅在零样本学习和少样本学习场景中胜过了 Alpaca Lora 7B，而且在准确度和 F1 分数方面也优于其他模型，达到了近乎完美的准确度为 0.9796 和 F1 分数为 0.9804，拥有高召回率和卓越精确度。尽管竞争激烈，GPT-3.5 Turbo 和 Alpaca Lora 7B 在零样本学习和少样本学习情况下相对效果较差。这项工作强调了 LLM 在各种语言环境中的有效性和灵活性，为抑郁症检测模型的复杂领域提供了深入的信息。

    Jan, 2024

  • 可解释性与可解释性在社交媒体抑郁检测中的应用

    使用基于 Transformer 的架构来检测和解释用户写作中抑郁症状标记的出现，并生成可解释的基于症状的解释。

    Oct, 2023

  • 利用话题和情感背景化对社交媒体中的抑郁症言论进行成本感知研究

    利用机器学习和自然语言处理方法，在社交媒体上提出了一种自动检测抑郁症的方法。该方法采用文本表示的多种类型来检测抑郁症，并通过情感信息进行上下文化描述。该研究分析了分类模型的能量消耗，并建立了分类精度和计算成本之间的权衡。实验表明，提出的上下文化策略可以提高分类精度，并且使用 Transformers 的方法可以将总体 F 分数提高 2％，但能源成本增加一百倍。最后，该工作为未来的节能系统铺平了道路，同时考虑了性能和能源消耗。

    Jun, 2023

  • 利用心理语言学特征和 Transformer 提升基于文本的情感检测的泛化能力

    本文采用基于转换器模型和双向 LSTM 网络的方法，结合心理语言学特征进行基于文本的情感检测，在两个基准数据集中表现出可比性，在六个统一情感数据集的迁移学习实验中表现出强大的跨领域泛化功能。

    Dec, 2022