Aug, 2024

利用大型语言模型进行传统中医学对抗COVID-19文献中的命名实体识别：比较研究

HTML
PDF
TL;DR本研究解决了大型语言模型（LLMs）在传统中医学对COVID-19文献中进行命名实体识别（NER）的有效性问题。通过建立一个包含389篇文章的数据集，并手动注释48篇文章，研究比较了ChatGPT及其他先进模型在不同实体类型和领域中的表现。结果表明，尽管在模糊匹配中ChatGPT在多数任务上超过了基于BERT的模型，但在精确匹配中却表现不佳，提示LLMs在不同应用场景中的表现差异显著。
发现论文，激发创造
  • 低语言模型(Synthetic Data Generation of LLMs)是否有助于临床文本挖掘?

    本研究旨在探究将ChatGPT应用于临床文本挖掘中，针对生物命名实体识别和关系抽取，我们提出了一种基于生成大量合成数据进行本地模型微调的训练范式。结果表明，这种方法显著提高了下游任务的性能，同时缓解了数据隐私问题。

    Mar, 2023

  • 使用ChatGPT进行零样本临床实体识别

    本研究旨在探究以零注释方式进行临床命名实体识别任务中，OpenAI开发的大型语言模型 ChatGPT 以两种不同提示策略的潜力。我们将其与 GPT-3 在类似的零注释情况下进行比较，以及使用来自 MTSamples 的一组合成临床笔记的精调 BioClinicalBERT 模型。研究发现，与 GPT-3 相比，ChatGPT在零注释情况下表现优异，并且使用不同的提示策略可以过提高其性能。虽然 ChatGPT 的表现仍低于 BioClinicalBERT 模型，但本研究证明了 ChatGPT 在不需要注释的情况下进行临床 NER 任务的巨大潜力。

    Mar, 2023

  • 评估ChatGPT家族模型在生物医学推理和分类中的表现

    研究了大型语言模型在生物医学任务中的性能，并与更简单的模型进行了比较，特别地，探讨了分类和因果关系检测任务。发现精细调整后的模型依然是最佳策略，而简单的词袋模型的表现与最复杂的大型语言模型的表现相当。

    Apr, 2023

  • TCM-GPT：中医领域自适应大型语言模型的高效预训练

    我们提出了一种新颖的领域特定的中医数据自适应方法，通过使用领域特定语料库对模型进行高效预训练和微调，实现与中医相关任务的高效对齐。我们在两个中医任务上进行了广泛的实验，TCM-GPT-7B在准确性方面表现最好，分别在准确性上相对增加了17%和12%，在TCM领域中验证了拥有70亿参数的大型语言模型的领域自适应效果。

    Nov, 2023

  • HuatuoGPT-II, 一阶段训练于医学领域的语言模型适应

    通过将异构数据转化为统一的简单输入输出对格式，我们提出了一种简化学习协议的方法，用于解决领域适应中的挑战，并验证了这种方法在中医领域的性能优越性，开发的HuatuoGPT-II模型在中医领域的表现最优，不仅显示出了其有效性，还展示了其泛化能力。

    Nov, 2023

  • 探索ChatGPT对中医知识的理解

    使用大型语言模型研究中医药学领域的知识召回和综合推理能力，通过TCM-QA数据集评估LLM在零样本和少样本设置下的表现，讨论中英提示的差异，结果显示ChatGPT在判断题中取得最高精度0.688，多选题中最低精度为0.241，中文提示在评估中表现更好，同时评估ChatGPT生成的解释质量及其对中医药学知识理解的潜在贡献，为LLM在专业领域的适用性提供了有价值的见解，并促进了未来基于这些强大模型推进中医药学研究的方向。

    Mar, 2024

  • TCMBench：中医药领域大型语言模型综合评估基准

    介绍了TCM-Bench综合评估TCM中大型语言模型性能的基准，提出了TCMScore作为评估TCM问题回答质量的指标，并从不同角度进行了综合实验分析，突出了大型语言模型在TCM领域的能力和局限性。

    Jun, 2024

  • TCMD：一个用于评估大型语言模型的中医问答数据集

    通过引入新的医学问答数据集TCMD，本文评估了不同领域通用语言模型和医学领域特定语言模型在中医领域的能力，并分析了它们在中医问答任务中的鲁棒性及其存在的不足。希望该数据集进一步促进中医领域通用语言模型的发展。

    Jun, 2024

  • 通过深度学习和精调的大型语言模型构建集成模型以提升实体识别性能：多源不良事件抽取案例研究

    本篇研究旨在评估LLMs和传统深度学习模型在提取AE信息方面的有效性，并评估这些模型集成对性能的影响。研究发现，利用优化后的传统深度学习模型和LLMs进行集成，能够在提取疫苗、注射和不良事件方面实现最高性能，同时对整体性能的评估也得到了显著提高。这项研究对生物医学自然语言处理的发展做出了贡献，并为从文本数据中提取AE相关信息的药物监测和公共卫生监测提供了宝贵的见解。

    Jun, 2024

  • 大模型总是更好吗？评估和提示大型语言模型在非生成性医学任务中的表现

    本研究解决了大型语言模型（LLMs）在处理结构化电子健康记录和非结构化临床笔记时的有效性问题。通过基准测试不同模型，发现LLMs在结构化数据上的零-shot预测能力较强，但在非结构化文本任务中，微调的BERT模型表现更优。这一发现强调了根据任务要求和数据特征选择合适模型的重要性，以优化NLP技术在医疗领域的应用。

    Jul, 2024