评估医疗领域中多样化的大型语言模型在七个任务和十三个数据集上的综合性能

Apr, 2024

本研究探讨了专有和本地大型语言模型在基于标记的临床实体识别中的有效性，挖掘了这些模型在零样本提示、少样本提示、检索增强生成以及指令微调等实验中面临的困难，并提出了在医疗保健领域中应用大型语言模型的可能改进方法。

Jun, 2024

本文介绍了利用大型语言模型（LLM）进行人类移动性预测的潜力。通过引入 LLM-Mob 方法，该研究提出了历史停留和上下文停留的概念，以捕捉人类移动性中的长期和短期依赖，并通过使用预测目标的时间信息实现时间感知预测。全面的评估结果表明，LLM-Mob 在提供准确可解释预测方面表现出色，突显了 LLM 在推进人类移动性预测技术上的未开发潜力。

Aug, 2023

评估四个最先进的面向指令的大型语言模型（ChatGPT、Flan-T5 UL2、Tk-Instruct 和 Alpaca）在 13 项真实世界的临床和生物医学自然语言处理（NLP）任务，如命名实体识别（NER）、问答（QA）、关系抽取（RE）等方面的表现。总体结果表明，评估的语言模型在大多数任务的零样本和少样本场景中已经接近最先进模型的性能，尤其在 QA 任务中表现出色，即使它们之前从未见过这些任务的示例。然而，我们观察到分类和 RE 任务的性能低于专门训练用于医学领域的模型（如 PubMedBERT）所能达到的水平。最后，我们注意到没有一个语言模型在所有研究任务中都胜过其他模型，某些模型在特定任务中更适合。

Jul, 2023

通过对领先的大语言模型如 GPT-4 和 Claude-2 在检测移动数据中的异常行为的能力进行实证研究，我们的研究发现大语言模型可以在没有特定线索的情况下达到合理的异常检测性能，并且在提供上下文线索的情况下可以进一步提高预测效果，同时能够提供合理的判断解释，从而增加透明度，为人类空间轨迹分析的研究提供了洞察。

Oct, 2023

标准的 NLP 全数据分类器需要成千上万个标记示例，在数据有限的领域中是不切实际的。少样本学习方法提供了一种替代方案，利用对比学习技术，在每个类别只需 20 个示例即可发挥有效作用。类似地，像 GPT-4 这样的大型语言模型也可在每个类别只有 1-5 个示例的情况下有效运行。然而，这些方法的性能与成本之间的权衡仍然未被充分研究，这对于预算有限的组织来说是一个关键问题。我们的工作通过在 Banking77 金融意图检测数据集上研究上述方法来填补这一空白，包括评估 OpenAI、Cohere 和 Anthropic 的最新大型语言模型在全面的少样本场景中的表现。我们通过两种额外的方法来完善整个研究：一是基于检索增强生成（RAG）的成本效益查询方法，与经典的少样本方法相比，能够多次降低运营成本；二是使用 GPT-4 的数据增强方法，能够改善数据有限情况下的性能。最后，为了激发未来的研究，我们提供了一个人工专家策划的 Banking77 子集，以及广泛的错误分析。

Nov, 2023

该研究探讨了大规模语言模型在多模态健康预测中的应用，通过上下文信息和生理数据进行综合评估，并展示了 fine-tuned 模型在健康预测任务中的表现和对上下文增强策略的有效性。

Jan, 2024

该研究展示大型语言模型能够通过只有少量的微调，在医疗和健康领域中处理不易表达为文本的各种生理和行为时间序列数据，并对心脏信号分析、身体活动识别、代谢计算和压力报告估计等健康任务进行有意义的推理。

May, 2023

使用轻量级蒙特卡洛语言模型，自动生成医疗信息，以及进行临床文件，低资源环境下的可解释性研究。

Mar, 2024

提出了一种方法，使大型语言模型在 0-shot 文本分类任务中成为高效的文本分类器，并在低资源环境下获得了竞争性结果。

Apr, 2024