Sep, 2023

临床文本去重实践：高效预训练与改进临床任务

PDF
TL;DR通过利用大规模的真实临床数据集，本研究首先对常见写作习惯和临床相关性导致的冗余文本进行了细粒度的描述，接着证明了去重临床文本可以帮助临床语言模型以更高效的方式编码更少的冗余信息，并且通过基于提示的学习不会对分类任务造成伤害。
发现论文，激发创造
  • 数据去重对语言模型的训练有益

    研究发现现有的语言模型数据集包含大量近似重复的示例和长的重复子串。因此，在这些数据集上训练的语言模型的超过 1％的非提示输出是直接从训练数据复制的。我们开发了两个工具，使我们能够定位训练数据集中的冗余数据，以便通过去重来训练模型，减少内存化文本的发生。这也减少了训练和测试重叠，从而提高了模型的准确性。我们在指定的 https 网址上发布我们的工作和代码。

    Jul, 2021

  • 从大规模临床记录中开发出通用的临床语言推断模型

    本文通过使用领域专有词汇和大规模临床训练语料库，使用双向编码器解码器（BERT）模型对医疗语言推理任务进行分析和评估，与公共基准任务上同等规模的公开可用的最佳生物医学语言模型相比，我们的模型表现相同，并且在使用 UCSF 数据的两个任务的系统内评估中优于这些模型，但需要进一步的研究来提高缩写、数字、时间和隐含因果推理的准确性。

    Oct, 2022

  • 利用语言模型预训练改进临床病历的层级病人分类

    提出了一种预先训练的层级循环神经网络模型，通过解析最小处理的临床记录，比传统方法更好地处理了医疗信息技术中的出院诊断分类任务，并应用归因技术来确定模型用于进行预测的单词以及其重要性。

    Sep, 2019

  • 文档级编码的临床概念提取

    通过将抽取的概念作为特征或标签，加以利用或学习，以期提高文档级别的临床编码任务的性能，但结果未取得较大的性能提升，探讨可能的原因和未来的研究方向。

    Jun, 2019

  • D4: 通过文档去重和多样化提升 LLM 预训练

    通过预先训练模型的嵌入，精心选择数据可加速训练并提高自然语言处理任务的下游准确性，进而对语言模型的预训练方法和性能产生质疑，并展示了在超大规模模型上持续改进模型的可能路径。

    Aug, 2023

  • 我们是否还需要临床语言模型？

    通过实验研究表明相对较小的专业临床文本语言模型可在解析和理解电子健康记录方面显著优于大规模的综合性语言模型并且通过进行临床标记的预训练还可以实现更小、 更高效的专业化临床模型。

    Feb, 2023

  • 利用聚合的大型语言模型集合保留长期临床文本的知识

    利用聚合集成的大型语言模型的新方法，能够保留长篇临床文本的知识，改善大型语言模型在处理长篇输入和多样化数据集时的性能，并在预测临床结果方面取得了比基线、集成和聚合方法更好的结果。

    Nov, 2023

  • 去重训练数据减缓语言模型的隐私风险

    该研究显示，大型语言模型在面对隐私攻击时，其攻击的成功与常用网络爬取的训练集中的重复数据有很大关系，而消除重复数据的方法可以显著提高语言模型的隐私安全性。

    Feb, 2022

  • 临床文本摘要：大型语言模型的应用能超越人类专家

    在本研究中，我们采用八个大型语言模型，在六个数据集和四个不同的摘要任务（放射学报告、患者问题、进展记录和医生 - 患者对话）上应用领域适应方法，系统评估了它们的效果，而且展示出最佳适应的大型语言模型的摘要相较于人工摘要在完整性和正确性方面更可取。此外，我们还将传统的自然语言处理指标与医生评分进行了相关性分析，以提高对这些指标与医生喜好的理解。最终，我们的研究证明了大型语言模型在多个临床文本摘要任务中超越人工专家，这意味着将大型语言模型整合到临床工作流程中可以减轻文档负担，使临床医生能够更多关注个性化患者护理和其他医学中不可替代的人工环节。

    Sep, 2023

  • 通过遗忘来实现泛化 —— 以临床记录为例的症状事件提取领域泛化

    通过使用预训练和微调数据，我们提出了一种对症状进行领域泛化的信息提取方法，使用基于 Transformer 的联合实体和关系提取模型提取症状事件，通过动态屏蔽源域中频繁症状单词的方法来减少对领域特定特征的依赖，实现了症状在机构和特殊性领域上的抽取。同时，我们使用预训练语言模型的方法改善了算法性能。

    Sep, 2022