MediaGPT:一个针对中国媒体的大型语言模型
近年来,对优质医疗服务的需求日益增长,凸显了医疗基础设施中的差异。随着大数据,特别是文本,成为医疗服务的基石,迫切需要专为医疗领域量身定制的有效自然语言处理(NLP)解决方案。我们提出了 ChiMed-GPT,这是一个专为中国医疗领域设计的新型基准大语言模型,其上下文长度扩展为 4,096 个标记,并经历了全面的预训练、有监督微调和强化学习高强度训练过程。在信息提取、问题回答和对话生成等真实世界任务中的评估结果表明,ChiMed-GPT 在医疗领域的性能优于一般领域的大语言模型。此外,通过要求 ChiMed-GPT 执行涉及对患者歧视的态度评定,我们分析了可能存在的偏见,以促进医疗领域大语言模型的负责任开发。代码和模型已经在此 URL 发布。
Nov, 2023
这项开创性的研究探讨了大型语言模型(LLMs)如生成式预训练变换器(GPT)和双向编码器表示来自变换器(BERT)在技术、金融、医疗保健、教育等各个领域的广泛应用。尽管它们在自然语言处理(NLP)方面已经展现出卓越的能力,但这些 LLMs 在健身、整体福祉、城市规划、气候建模以及灾害管理等领域尚未得到系统性的研究,本综述除了提供对 LLMs 在不同领域的广泛应用进行全面分析外,还揭示了 LLMs 潜力尚未被利用的研究空白和领域。这项研究发现了 LLMs 在健身福祉、城市规划、气候建模和灾害响应等领域留下印记的创新方式,可以激发未来在这些领域的研究和应用。
Feb, 2024
AcademicGPT 是一个专为学术研究而设计的模型,通过从学术论文、论文、某些学术领域内容、高质量的中文数据等中进行持续训练,展示了其从广泛知识能力、中文能力到学术能力的各项实用能力和多个领域特定的应用。
Nov, 2023
LawGPT 是第一个专门为中国法律应用设计的开源模型,通过在大规模中国法律文件上进行法律导向的预训练和法律指导下的精细调优,LawGPT 在下游法律任务的表现优于开源模型 LLaMA 7B。
Jun, 2024
通过基于生成型大型语言模型(LLM)的通用文本到文本学习架构和提示调优,解决主要的临床自然语言处理(NLP)任务,并提供了最新的性能。
Dec, 2023
我们提出了一种新颖的领域特定的中医数据自适应方法,通过使用领域特定语料库对模型进行高效预训练和微调,实现与中医相关任务的高效对齐。我们在两个中医任务上进行了广泛的实验,TCM-GPT-7B 在准确性方面表现最好,分别在准确性上相对增加了 17% 和 12%,在 TCM 领域中验证了拥有 70 亿参数的大型语言模型的领域自适应效果。
Nov, 2023
通过对 GPT-4 在规划子领域中的表现进行全面检查,我们鉴定了大型语言模型在解决规划问题方面的优势和限制,并提出了改进领域特定大型语言模型的思维链能力的方法。这些结果为大语言模型在规划领域的潜在应用提供了宝贵的见解,并为未来的研究克服其限制和拓展其能力铺平了道路。
Sep, 2023
通过使用 Large Language Models (LLMs),我们提出了 ModelGPT 框架,以满足用户的特定需求,并以更快的速度生成定制化的 AI 模型,以实现更加便利和用户友好的人工智能模型。
Feb, 2024
本文提出了一种基于大规模生物医学文献预训练的领域特定生成 Transfomer 语言模型 ——BioGPT,用于生物医学领域的自然语言处理任务,结果表明 BioGPT-Large 在 PubMedQA 任务上取得了 81.0% 的准确率,并提高了 BC5CDR、KD-DTI 和 DDI 关系提取任务的 F1 得分。
Oct, 2022