Jun, 2023

大语言模型结构化数据提取可解释的医疗诊断

PDF
TL;DR本研究提出了一种从文本医学报告中提取结构化表格数据的新方法 TEMED-LLM，结合具有解释性的机器学习模型，以在医学诊断中实现端到端可解释性的预测， 较传统的文本分类模型在医学诊断方面具有更好的性能表现。
tabular datamachine learningtextual medical reportstemed-llminterpretable predictions
发现论文，激发创造
  • 用大型语言模型重新思考表格数据理解

    通过对大型语言模型的研究，揭示了它们在解释和推理表格数据方面的能力，发现表格结构变化对模型性能的影响，提出了表格结构归一化的方法，并且比较了文本推理和符号推理，同时通过多个推理路径的聚合，取得了在 WIKITABLEQUESTIONS 任务上的最新成果。

    Dec, 2023

  • TableLLM：在真实办公场景中让 LLMs 能够操作表格数据

    TableLLM 是一个具有 130 亿参数的强大的大型语言模型，专门用于高效处理嵌入在文件或电子表格中的表格数据操作任务，适用于实际的办公场景。我们提出了一种远程监督方法用于训练，包括推理过程扩展策略，有效帮助训练语言模型理解推理模式，以及交叉验证策略，确保自动生成的数据的质量。通过自行构建的评估管道和基准测试来评估 TableLLM 的性能，可以处理文件和电子表格格式，并突出显示了 TableLLM 与各种现有的通用型和面向表格数据的语言模型相比的优势。我们已公开发布了模型检查点、源代码、基准测试和用于用户交互的网络应用程序。

    Mar, 2024

  • 释放大型语言模型在数据科学中预测表格任务的潜力

    利用大型语言模型（LLMs）解决数据科学中与表格数据相关的预测任务的研究，通过创建一个包含注解指令的综合数据集来对 LLM 进行大规模训练，研究应用训练好的模型在零样本预测、少样本预测和上下文学习场景中的实际应用，并通过实验证明该方法在表格智能方面相较于现有基准有显著改进。

    Mar, 2024

  • 异构表的基于 Schema 的信息提取

    本论文探讨了语言模型是否能够支持从复杂表格中进行成本有效的信息提取，并引入了基于架构驱动信息提取的新任务，使用 LLMs 将表格数据转换成遵循人类撰写的架构的结构化记录，并发展了一种 InstrucTE 方法来实现表格抽取，该方法仅需要人工构建的抽取架构，并具备错误恢复策略及高性能，证实了使用更紧凑的抽取模型进行抽取的可行性。

    May, 2023

  • DictLLM: 利用大型语言模型增强医学诊断中的键值数据结构

    DictLLM 是一个创新的框架，用于改进键值结构化数据的建模，如医学实验室报告，以生成医学诊断。通过实验验证，DictLLM 在自动诊断生成方面显著优于基准方法和少样本 GPT-4 实现，同时在 Rouge-L 和知识 F1 得分方面表现出色，从而准确地对医学词典数据的复杂键值数据结构进行建模。

    Feb, 2024

  • 利用 LLMs 从电子病历中检索证据：可能性与挑战

    使用大型语言模型（Flan-T5 XXL）从非结构化电子健康记录（EHR）数据中检索和总结与特定查询相关的论据，较传统信息检索方法更受放射科医生欢迎，但面临 LLMs 产生虚构证据的挑战。然而，模型的信心可能指示 LLMs 是否存在虚构，为解决此问题提供了潜在方法。

    Sep, 2023

  • 大型语言模型可自动为少样本表格学习生成特征

    提出了一种新颖的上下文学习框架 FealtLLM，利用大型语言模型作为特征工程师，生成适合表格预测的优化输入数据集，在推断阶段使用生成的特征和简单的下游机器学习模型 (如线性回归) 来推断分类的可能性，从而实现高性能的小样本学习。FeatLLM 框架只使用简单的预测模型和推断时发现的特征，相较于现有的基于大型语言模型的方法，FeatLLM 可以消除每个样本都需要查询大型语言模型的需求和克服提示大小的限制，并且仅需要对大型语言模型的 API 进行访问。在多个来自不同领域的表格数据集上的实验证明，FeatLLM 生成高质量的规则，明显 (平均达到 10%) 优于 TabLLM 和 STUNT 等替代方法。

    Apr, 2024

  • 用于复杂结构化医疗任务的本地大型语言模型

    本论文介绍了一种将大型语言模型（LLMs）的语言推理能力与本地训练的优势相结合的方法，以解决复杂的领域特定任务。通过从病理报告中提取结构化病情编码，作者演示了他们的方法。研究结果表明，基于 LLaMA 的模型在所有评估指标上明显优于 BERT 型模型，尤其在大型数据集上表现出色，为处理复杂的多标签任务提供了可能性。这项工作提出了一种有效的方法，利用 LLMs 在易于获得的硬件上执行领域特定任务，在需要复杂数据提取和分类的医学领域具有潜在应用。

    Aug, 2023

  • LLM2Loss: 利用语言模型进行可解释性模型诊断

    利用大型语言模型，结合跨模态基础模型 CLIP，提取视觉输入的语义有意义的表示，并利用轻量诊断模型，对模型失败与偏差进行分析，从而了解黑盒模型的性能

    May, 2023

  • 评估基于 LLM 生成的医学图像和症状分析的多模态诊断

    该研究提出了一种包括多步骤评估法的大型语言模型（LLM）评估范例，通过结构化的交互方式进行多模态 LLM 评估，并通过获取交互数据进行后续领域特定的分析，以提高其准确性和实用性。研究以 GPT-4-Vision-Preview 为 LLM，使用多模态多项选择题评估其在病理学领域的医学诊断准确性，结果表明其约有 84% 的正确诊断，同时通过进一步的分析揭示了其在特定领域的不足之处。该方法和结果不仅适用于 GPT-4-Vision-Preview，还可应用于评估其他 LLMs 的准确性和实用性，以进一步优化其应用。

    Jan, 2024