大型语言模型用于故障模式分类：一项调查

Sep, 2023

大型语言模型用于故障模式分类：一项调查

Large Language Models for Failure Mode Classification: An Investigation

Michael Stewart, Melinda Hodkiewicz, Sirui Li

TL;DR本研究首次探讨大型语言模型（LLMs）在故障模式分类（FMC）中的有效性，并通过使用限制代码表的方式详细介绍了促使 LLM 预测给定观察结果的故障模式的方法。我们展示了在注释数据上进行微调的 GPT-3.5 模型（F1=0.80）在性能上明显优于在相同注释数据集上训练的当前可用文本分类模型（F1=0.60）。该微调模型也优于开箱即用的 GPT-3.5 模型（F1=0.46）。这项研究强调了使用 LLMs 进行特定领域任务时的高质量微调数据集的必要性。

Abstract

In this paper we present the first investigation into the effectiveness of large language models (LLMs) for failure mode classification (FMC). FMC, the task of automatically labelling an observation with a corres

large language models failure mode classification maintenance domain prompt engineering fine-tuning data sets

发现论文，激发创造

大型语言模型作为金融数据注释工具的效果与效率研究

研究通过比较三种大型语言模型与专家标注者和众包工人标注的金融文档，发现大型语言模型可作为提取金融文档中关系的高效数据标注工具，并引入了一个可靠性指标用于识别需要专家关注的输出，提供了在特定领域设置中自动化注释的收集和使用的建议。

Mar, 2024

医学术语分类中的大型语言模型及响应与推理的意外不一致

本研究评估了 GPT-3.5、GPT-4、Falcon 和 LLaMA 2 等最先进的大型语言模型在从出院摘要中识别患有轻度认知障碍（MCI）的患者的能力，并检查模型响应与其推理不一致的情况。研究结果强调了提示工程的重要性和对 GPT-4 中观察到的意外推理 - 响应不一致性进一步探索的需求，突显了将大型语言模型应用于医疗诊断的潜力，前提是在方法论上取得进步以确保人工智能生成的输出准确性和临床连贯性，从而提高大型语言模型在医疗决策中的可信度。

Dec, 2023

使用公共社交媒体数据评估大型语言模型在健康相关文本分类任务中的性能

我们评估了多种模型，包括传统机器学习模型、预训练语言模型和大型语言模型，比较它们在社交媒体健康相关自然语言处理任务中的性能。实验结果表明，使用大型语言模型进行数据增强可以获得比仅使用人工标注数据训练的模型更好的结果，并且传统的有监督学习模型在零样本设置中也表现出优于大型语言模型的性能。

Mar, 2024

基础大型语言模型能辅助进行制药生产调查吗？

利用历史记录，将大型语言模型（LLM）应用于制药生产调查，提取特定信息并进行语义搜索。

Apr, 2024

大型语言模型：一份调查报告

对大型语言模型（LLMs）进行了综述，包括三个流行的 LLM 系列（GPT，LLaMA，PaLM）的特点、贡献和局限性，同时讨论了构建和增强 LLMs 的技术、为 LLM 训练、微调和评估准备的常用数据集以及常用的 LLM 评估指标，最后讨论了未来的挑战和研究方向。

Feb, 2024

大型语言模型作为数据预处理器

此研究拓展了大型语言模型（LLMs）的应用，探索了它们在数据预处理中的潜力，包括错误检测、数据插补、模式匹配和实体匹配任务。我们提出了一个基于 LLMs 的框架，用于改进模型的性能和效率。实验结果表明 LLMs 在数据预处理中具有巨大潜力。

Aug, 2023

基于大型语言模型的教育调查反馈分析

本研究评估了大型语言模型（LLMs）GPT-4 和 GPT-3.5 在教育反馈调查中提供洞察力的潜力，并应用自然语言处理的方法，通过多标签分类、提取、主题分析和情感分析等任务来实现教育中常见的目标，从而展示了 LLMs 在洞察力提取方面的巨大潜力。

Sep, 2023

大型语言模型是否遵循概念注释指南？科学和金融领域案例研究

大语言模型通过指导文本对句子进行标记涉及了利用上下文示例的广泛语言模型，根据我们的简单评估方法，我们发现开源语言模型与领先的专有 API 之间在概念理解方面存在显著差距。

Nov, 2023

利用大型语言模型高效分类编程课程中学生求助请求

通过研究，我们发现 GPT-3.5 和 GPT-4 模型可以准确分类学生的求助请求，并提高教育系统的自动化分类能力。

Oct, 2023

无线应用设计中的大型语言模型：具上下文学习增强的自动网络入侵检测

使用预训练 LLM 强化框架进行完全自动化网络入侵检测，通过在真实网络入侵检测数据集上进行实验，证明了在上下文学习方面的优势，可以在无需进一步训练或微调 LLMs 的情况下改善任务处理性能，GPT-4 的测试准确性和 F1 分数可以提高约 90%。此外，预训练 LLMs 在执行无线通信相关任务方面表现出巨大潜力，通过仅使用 10 个上下文学习示例，提出的框架可以在不同类型攻击中达到超过 95% 的准确性和 F1 分数。

May, 2024