通过对 24 名职业软件工程师使用 ChatGPT 一周期间的对话和整体体验进行定性分析，发现他们更多地使用 ChatGPT 获取解决任务的指导或对抽象主题的学习，并提出了一个理论框架，指导今后关于职业软件工程师使用 LLM 的学术讨论和设计未来经验性研究。

Apr, 2024

探索性研究应用代码生成和解释器，将概念模型以文本形式生成并使用最新的大型语言模型（如 Llama~2 和 ChatGPT 4）进行自动渲染，在对话界面中支持模型的迭代建模。

Nov, 2023

使用大型语言模型（LLMs）如 GPT-4 和 CodeLlama 来加快软件开发生命周期，通过比较人工标准，评估其在生成软件需求规范（SRS）文档方面的性能；结果表明，LLMs 的输出质量可以与初级软件工程师相媲美，生成完整一致的 SRS 文档，并且还能识别和纠正问题，从而节省开发时间。

Apr, 2024

研究论文从自然语言生成任务的角度全面评估了 ChatGPT、ChatGLM、基于 T5 的模型、基于 LLaMA 的模型和基于 Pythia 的模型等众所周知且表现良好的大型语言模型的性能，并提出了一种常见的评估设置，其中包括输入模板和后处理策略，通过与详细分析相结合的自动结果来报告研究结果。

May, 2024

本文分析了当前基础 LLM (ChatGPT) 与专门的预训练模型 (REBEL) 的联合实体和关系提取应用，以可持续发展文本为案例进行了多个实验，结果表明，使用先进的 LLM 模型可以提高从非结构化文本创建知识图谱的过程的准确性，并探索了使用基础 LLM 模型自动创建本体论的潜力，取得更相关和准确的知识图谱。

May, 2023

本研究旨在探索大型语言模型在图形绘制算法中的应用，并通过 ChatGPT 进行实验，以提升图像可读性和使数据可视化更加易用。通过自然语言进行指定规范，对更广泛的用户提供更加可访问和友好的操作。同时，也更好地了解了如何为 LLMs 制定复杂算法的能力，并提供了平衡的评估机会和挑战。

Mar, 2023

通过在大型语言模型中引入详细的约束条件，本研究调查了约束文本生成的问题，并对多个语言模型进行了分类和评估，旨在为未来的约束文本生成提供启示。

Oct, 2023

通过 Graphologue，我们发现利用图形化图表展示 LLMs 的信息能方便人们的信息处理与提问，构建了一种基于 LLMs 的交互式系统，使得信息的探索，组织和理解更加方便。

May, 2023

本文探讨了生成模型在零样本情况下从图数据生成描述性文本的能力，并与微调后的语言模型进行了比较，在两个图到文本数据集上评估了 GPT-3 和 ChatGPT 的性能。结果表明生成模型能够生成流畅和连贯的文本，AGENDA 和 WebNLG 数据集的 BLEU 分别达到 10.57 和 11.08。然而，我们的错误分析发现生成模型仍然难以理解实体之间的语义关系，并且倾向于生成存在幻觉或无关信息的文本。作为错误分析的一部分，我们使用 BERT 检测机器生成的文本，并实现了较高的宏 F1 得分。我们已公开提供生成模型生成的文本。

Jul, 2023

本文比较了 ChatGPT 在自然语言处理领域中，在机器翻译、文本摘要、问答和语言生成等方面的表现，并使用自由质量（SQ）分数与每个类别中的主要算法进行了比较。通过有效的验证策略，安全性和可大规模采用 LLM 的示例总结了该论文的观点和结果。

Mar, 2023