MMMay, 2024

利用大型语言模型生成合成数据以提高基于 BERT 的神经网络的性能

PDF
TL;DR利用大型语言模型（LLMs）生成的合成观察数据，用于改善机器学习模型对于自闭症谱系障碍（ASD）诊断的准确性。通过评估 ChatGPT 和 GPT-Premium 生成的 4,200 个合成观察数据，并使用预训练于生物医学文献的 BERT 分类器比较模型之间的性能差异，发现数据增加了召回率 13%，但降低了精确度 16%。未来的研究将分析不同合成数据特征对机器学习结果的影响。
healthcaremachine learningautism spectrum disordersdata creationsynthetic training data
发现论文，激发创造
  • 低语言模型 (Synthetic Data Generation of LLMs) 是否有助于临床文本挖掘？

    本研究旨在探究将 ChatGPT 应用于临床文本挖掘中，针对生物命名实体识别和关系抽取，我们提出了一种基于生成大量合成数据进行本地模型微调的训练范式。结果表明，这种方法显著提高了下游任务的性能，同时缓解了数据隐私问题。

    Mar, 2023

  • 使用公共社交媒体数据评估大型语言模型在健康相关文本分类任务中的性能

    我们评估了多种模型，包括传统机器学习模型、预训练语言模型和大型语言模型，比较它们在社交媒体健康相关自然语言处理任务中的性能。实验结果表明，使用大型语言模型进行数据增强可以获得比仅使用人工标注数据训练的模型更好的结果，并且传统的有监督学习模型在零样本设置中也表现出优于大型语言模型的性能。

    Mar, 2024

  • 大型语言模型与专家相当：识别青少年在线论坛中的心理健康因素

    儿童和青少年的心理健康在过去几年中不断恶化。大型语言模型（LLMs）的出现为监测和干预的成本和时间效率提供了很大希望。我们创建了一个 Reddit 帖子的新数据集，经过专家精神科医生的标注，用于以下类别：创伤，不稳定性，病情，症状，自杀倾向和治疗，并将专家标签与两个表现最佳的 LLMs（GPT3.5 和 GPT4）的注释进行比较。我们发现 GPT4 与人际标注者一致性的表现相当，并且合成数据的性能要高得多，但我们发现模型有时仍会在否定和事实性问题上犯错误，合成数据的更高性能是由于真实数据的复杂性而不是固有优势。

    Apr, 2024

  • 基于 LLM 的数据增强方法提升跨语言表现

    本研究探讨了利用大型语言模型进行数据增强在跨语言常识推理数据集中的潜力，通过使用包括 Dolly-v2、StableVicuna、ChatGPT 和 GPT-4 在内的大型语言模型来扩充三个数据集，确定了该方法的有效性，并比较了使用英语生成数据和将英语生成的数据翻译成目标语言。实验结果表明，使用 GPT-4 生成的合成数据进行训练的性能比其他模型优秀，ChatGPT 和 GPT-4 在大多数语言中生成的自然文本效果非常好，但在某些情况下，它们的效益会下降。

    May, 2023

  • 生成型大型语言模型是循证医学的自主实践者

    通过使用人工智能的生成式大型语言模型，可以使其作为自主的循证医学的从业者，通过工具的使用与真实世界的医疗系统进行交互，并以符合指南的方式执行患者管理任务，这有可能通过进一步的改进来推动医疗的转型。

    Jan, 2024

  • 增强数据质量保证的众包方法：缓解医疗领域大型语言模型训练中资源稀缺挑战的有效途径

    本研究提出了一种在低资源领域（如医疗保健）采用预处理、实时控制和数据收集后的质量控制措施来改善数据质量的众包框架，通过评估 Bio-BERT 对预测自闭症相关症状的影响，结果显示实时质量控制相较于预处理可提高数据质量 19％，尽管在精度方面有所降低，但使用众包数据进行 Bio-BERT 的微调通常会提高召回率。本研究揭示了众包和质量控制在资源有限环境中优化医疗保健大型语言模型以进行明智决策和改善患者护理的潜力。

    May, 2024

  • 利用大型语言模型进行文本分类的合成数据生成：潜力与局限性

    通过研究 LLM 生成的合成数据的表现与分类的主观性之间的关系，我们发现主观性对于模型训练的合成数据的性能具有负面影响，从而限制了利用 LLM 进行合成数据生成的潜力和局限性。

    Oct, 2023

  • 基础大型语言模型能辅助进行制药生产调查吗？

    利用历史记录，将大型语言模型（LLM）应用于制药生产调查，提取特定信息并进行语义搜索。

    Apr, 2024

  • 探索 LLMs 作为有针对性的合成文本数据源，以最小化高置信度的错误分类

    使用大型语言模型进行数据增强，减少高置信度错误分类，并与人类数据进行比较，以降低成本并保持同样的准确性。

    Mar, 2024

  • 从分类到临床洞见：用大型语言模型分析和推理移动和行为健康数据

    使用大型语言模型（LLMs）综合多传感器数据生成临床有用的洞察力，首次展示使用 LLMs 进行二元抑郁症分类的准确性超过了现有技术，而且还强调了人工智能与医生领域专业知识和患者背景相结合的人工智能协同方法在临床决策支持方面的价值。

    Nov, 2023