Apr, 2024

通过元训练和大型语言模型的上下文学习，为跨语言学习调整心理健康预测任务

PDF
TL;DR该研究介绍了两种不同的方法，使用模型无关的元学习和利用大型语言模型（LLMs）来预测低资源非洲语言（如斯瓦希里语）中心理健康状况。通过应用于压力、抑郁、抑郁症严重程度和自杀倾向等四个心理健康任务的三个翻译为低资源语言的数据集进行实验，结果显示我们的元学习模型在宏观 F1 得分上相较于 XLM-R 和 mBERT 的基准微调方法有 18％和 0.8％的显著提高，同时，研究还通过分析不同的跨语言提示方法，利用 LLMs 的上下文学习能力评估了它们在斯瓦希里心理健康预测任务中的准确性，并发现斯瓦希里提示优于跨语言提示但不及英语提示。研究结果表明通过精心设计的提示模板、示例和说明可以通过跨语言迁移实现上下文学习。
mental healthpredictionafrican languagesswahilicross-lingual transfer
发现论文，激发创造
  • 利用社交媒体文本进行心理健康的多任务学习

    通过深度学习多任务学习框架对多种病情进行建模，包括性别预测作为附加任务，实现对自杀风险和心理健康状况的低误诊率预测，且该多任务学习模型在狭窄训练数据的心理健康任务上也获得了显著的提升。

    Dec, 2017

  • 通过在线文本数据利用大型语言模型预测心理健康

    我们在这项工作中，首次对多种大语言模型（LLMs）进行了全面评估，包括 Alpaca、Alpaca-LoRA 和 GPT-3.5，针对在线文本数据中的各种心理健康预测任务。我们进行了广泛的实验，涵盖了零样本提示、少样本提示和指令微调。研究结果表明，对于心理健康任务，LLMs 在零样本和少样本提示设计上具有有限但有希望的性能。更重要的是，我们的实验表明，指令微调可以显著提升 LLMs 在所有任务上的表现。我们最佳微调模型 Mental-Alpaca 在平衡精度上比 GPT-3.5（规模大 25 倍）高出 16.7％，并与最先进的任务特定模型相媲美。我们总结了一系列行动指南，供未来的研究人员、工程师和实践者参考，介绍如何赋予 LLMs 更好的心理健康领域知识，并成为心理健康预测任务的专家。

    Jul, 2023

  • MentalLLaMA: 基于大型语言模型的社交媒体可解释性心理健康分析

    开发了第一个用于社交媒体上的可解释性心理健康分析的开源语言模型系列 MentalLLaMA，并通过 IMHI 数据集在正确性和解释质量方面接近最先进的判别方法。

    Sep, 2023

  • 多语言原型模型在自然语言理解任务中的跨语言可迁移性研究

    本文提出一种方案，使用几个样本训练的神经网络和多语言 Transformer 基础模型之间协同作用的跨语言转移，以改进跨语言学习的性能，实验结果表明，我们的方法能够显著提高跨低资源语言与高资源语言之间的转移学习性能，进一步的结果证明了 meta-learning 的能力。

    Jul, 2022

  • 通过大型语言模型理解心理健康的评估

    评估大型语言模型在理解人类心理健康状况表达方面的潜力，结果显示，基于 Transformer 的模型（如 BERT 和 XLNet）在 DAIC-WOZ 数据集上表现优于大型语言模型。

    Jan, 2024

  • 元学习实现零样本跨语言迁移

    研究多语言应用中，如何应用元学习来提高模型性能，通过实验表明在标准的监督学习、零样本学习和少样本学习的跨语言自然语言理解任务中，元学习对于 15 种语言始终有效。

    Mar, 2020

  • 跨语言检索增强上下文学习：孟加拉语

    通过跨语言检索增强的方法，我们的研究论文提出了一种创新的方法，利用高资源语言中语义相似的提示来提高多语言预训练语言模型在孟加拉语任务上的性能。详细评估表明，跨语言检索增强的提示对于多语言预训练语言模型的性能有稳定的提升作用。

    Nov, 2023

  • 使用大语言模型引导多语言语义分析器

    使用大型语言模型通过少量提示将英文数据集转化为多种语言，以实现多语言语义解析，并在两个公共数据集上与传统的翻译 - 训练方法进行比较，表明使用 LLM 更有效。

    Oct, 2022

  • 跨语言迁移学习用于多语言任务导向的对话

    本文讨论了在任务导向的对话系统中如何识别用户意图和相应的插槽，并通过多种跨语言转移方法进行数据集训练比较

    Oct, 2018

  • 从分类到临床洞见：用大型语言模型分析和推理移动和行为健康数据

    使用大型语言模型（LLMs）综合多传感器数据生成临床有用的洞察力，首次展示使用 LLMs 进行二元抑郁症分类的准确性超过了现有技术，而且还强调了人工智能与医生领域专业知识和患者背景相结合的人工智能协同方法在临床决策支持方面的价值。

    Nov, 2023