Jan, 2024

使用上下文学习和 GPT-4 自动识别云服务故障根本原因

PDF
TL;DR提出了一种基于上下文学习的自动根因分析方法，通过对比多个大型语言模型，证明其在服务故障诊断中的优越性，实现了与 GPT-3 相比平均提升 24.8% 且在正确性和可读性上分别提升了 43.5% 和 8.7%，从而减少了使用经过微调的模型所需的高计算与维护成本。
root cause analysisincident diagnosiscloud servicesartificial intelligencein-context learning
发现论文，激发创造
  • 无线应用设计中的大型语言模型：具上下文学习增强的自动网络入侵检测

    使用预训练 LLM 强化框架进行完全自动化网络入侵检测，通过在真实网络入侵检测数据集上进行实验，证明了在上下文学习方面的优势，可以在无需进一步训练或微调 LLMs 的情况下改善任务处理性能，GPT-4 的测试准确性和 F1 分数可以提高约 90%。此外，预训练 LLMs 在执行无线通信相关任务方面表现出巨大潜力，通过仅使用 10 个上下文学习示例，提出的框架可以在不同类型攻击中达到超过 95% 的准确性和 F1 分数。

    May, 2024

  • 背景问题：为科学应用数据高效扩充的大型语言模型

    本文研究了大型语言模型（如 GPT-4）存在的挑战，特别是在回答复杂问题时容易出现错觉、逻辑错误和错误结论的问题。语言模型能以一种连贯且语义严谨的方式呈现错误答案的能力进一步增加了发现事实不准确性的困难。这个问题在需要专业知识的领域尤为明显。我们的工作深入探讨了这些挑战，旨在增强对此类错误的理解和缓解，从而提高科学和其他专业领域中 LLMs 的准确性和可靠性。我们的研究结果揭示了上下文相关性与答案质量之间的非线性关系。此外，我们证明了在正确校准的情况下，可能实现自动评分 —— 这一发现表明，至少在某种程度上，LLMs 可以用于自我检验其性能质量。最后，我们描述了一个实验平台，可以被视为对本文描述的技术的概念验证。

    Dec, 2023

  • 解决抽象推理语料库（ARC）挑战的方法

    使用大型语言模型（LLMs），尤其是 GPT4，通过文本赋予模型一些人类先验知识，并使用一些常见过程对 ARC 任务进行求解，结果表明当利用视觉问答工具作为图像解释工具，并具有过去记忆的多智能体系统进行扩展后，我们可以解决大多数的 ARC 挑战问题。

    Jun, 2023

  • 上下文学习使得多模态大型语言模型能够对癌症病理图像进行分类

    本研究评估了具有上下文学习能力的模型 Generative Pretrained Transformer 4 with Vision (GPT-4V) 在癌症图像处理中的应用，结果显示在组织亚型分类、结肠息肉亚型分类和淋巴结切片中的乳腺肿瘤检测等三项癌症组织病理学任务中，使用上下文学习可以达到或超过针对特定任务训练的神经网络的性能，且只需使用较少的样本。总结起来，本研究表明，在病理学中，基于非领域特定数据训练的大型视觉语言模型可以直接应用于解决医学图像处理任务，这使得非技术背景的医学专家在样本稀缺的领域中能够使用通用的人工智能模型。

    Mar, 2024

  • 快速采用，隐含风险：大型语言模型定制的双重影响

    我们的研究论文首次提出了针对与不受信任的定制大型语言模型（例如 GPTs）集成的应用程序的指令后门攻击，这些攻击通过设计带有后门指令的提示将后门嵌入到定制的语言模型中，并在输入包含预定义触发器时输出攻击者所需的结果。我们的研究结果强调了定制化语言模型（如 GPTs）的脆弱性和潜在风险。

    Feb, 2024

  • 基于大型语言模型的文本分类

    本文介绍了使用基于进步式推理策略的 CARP （Clue And Reasoning Prompting）方法来解决大规模语言模型在文本分类方面推理能力不足及上下文学习数据量不足的问题，实现了在 4 个基准测试数据集中的 SOTA 表现，对于低资源和领域自适应设置也有不错的表现。

    May, 2023

  • 论文标题：上下文学习和微调 GPT 用于论证挖掘

    大型语言模型 (LLMs) 在自然语言处理和深度学习领域已变得无处不在。我们介绍了一种基于 In-Context Learning (ICL) 的策略，结合 kNN-based examples selection 和 majority vote ensembling 来解决 Argument Type Classification (ATC) 的任务。在无需训练的 ICL 设置中，GPT-4 可以仅从少量示例中获取相关信息，并在 ATC 上达到很高的分类准确率。在引入文本形式的良构结构特征的 fine-tuning 策略中，GPT-3.5 在 ATC 上达到了最新的性能水平。总体而言，这些结果强调了 LLMs 在原始文本的离线和微调设置中理解全局论证流程的新能力。

    Jun, 2024

  • 大型语言模型的上下文注入攻击

    通过在聊天系统中引入虚构的上下文，利用大型语言模型中的错误分类和上下文混淆的问题，可以进行上下文注入攻击，破坏实时交互的大型语言模型的安全性。研究发现了进行上下文注入攻击的策略并验证了其高成功率，同时提出了攻击检测和开发更安全模型的可能对策。

    May, 2024

  • 基于生成强化的变压器的指令上下文增强方法

    利用人类反馈的强化学习从 PPO 出发，ICE-GRT 在特定领域任务中展示了出色的能力，同时保持了通用任务性能，在小型模型中表现了分析能力的下降。

    Jan, 2024

  • 大型语言模型与监督建模在乳腺癌病理分类中零样本推理的比较研究

    通过对 769 份乳腺癌病理报告进行人工标注的数据集的研究，我们比较了 GPT-4 模型和 GPT-3.5 模型的零样本分类能力与三种模型架构的监督分类性能，发现 GPT-4 模型在所有 13 个任务中要么显著优于要么与最佳监督模型的 LSTM-Att 模型相当（平均宏 F1 得分为 0.83 vs. 0.75）。研究还表明，如果难以使用大规模标注数据集，LLMs 可以减轻数据标注的负担，但使用带有大规模标注数据集的简单监督模型也可以提供可比较的结果，LLMs 可以加快临床自然语言处理研究的执行速度，提高 NLP 变量和结果在临床观察研究中的利用率。

    Jan, 2024