提出 LLM4PLC 的用户引导迭代流程，通过用户反馈和外部验证工具来改善大型语言模型（LLM）生成的代码的可验证性，提高成功生成的比例并提高代码质量。

Jan, 2024

我们通过实证分析了 ChatGPT 在无人辅助编程助手方面的潜力，并强调了其相对程序生成、程序修复、代码摘要方面的表现，并对其在常见编程问题上的表现进行了评估，这证明 ChatGPT 有效地处理典型的编程挑战，但我们也发现，综合的描述可能会限制 ChatGPT 的关注点并阻碍其利用其广泛的知识进行问题解决。

Apr, 2023

本文介绍了如何利用大型语言模型 (LLMs) 和尤其是 ChatGPT 进行编程、源代码分析和代码生成，研究了 LLMs 和 ChatGPT 在代码创建、代码文档化、漏洞检测、重构等多个领域中的应用，并指出它们在编程社区中的使用有望得到进一步推广。

Jun, 2023

本文旨在演示通过大型语言模型与自然语言交互实现高效逻辑设计的自动化设计环境，其中展示了一个基于大型语言模型的四阶段零代码逻辑设计框架，并证明相较于现有工作及单一大型语言模型，ChipGPT 提高了可编程性、可控性和设计优化空间。

May, 2023

通过对 24 名职业软件工程师使用 ChatGPT 一周期间的对话和整体体验进行定性分析，发现他们更多地使用 ChatGPT 获取解决任务的指导或对抽象主题的学习，并提出了一个理论框架，指导今后关于职业软件工程师使用 LLM 的学术讨论和设计未来经验性研究。

Apr, 2024

研究 ChatGPT 3.5 模型在编写代码方面的能力，评估其在 10 种编程语言和 4 个软件领域中生成代码片段的熟练程度，并发现了模型的主要意外行为和限制，旨在寻找发展的潜在领域，并检查自动生成代码对编程语言和技术行业发展的影响。

Aug, 2023

探索大型语言模型在计算机教育和学习中的潜力，通过分析其对带有程序代码的输入生成的反馈进行研究，以此为目标来帮助学生解决编程任务并识别不同类型的反馈。结果表明，大型语言模型在一些入门编程任务和学生错误方面表现出了合理的性能，但教育者应提供指导，因为其提供的反馈可能对初学者包含误导性信息。

Aug, 2023

通过引入适应性框架 Ctrl-G，该研究提出了一种可实现对大型语言模型的可控生成的方法，并将其应用于交互文本编辑和有限状态自动机表示的逻辑约束，结果显示 Ctrl-G 在人类评估中相比于 GPT4 以及 GPT3.5 取得了 30% 以上的满意率提升，并在标准基准测试中超越了中型语言模型。此外，该研究还进行了 Grade School Math 基准测试作为概念验证，展示了 Ctrl-G 在辅助大型语言模型推理方面的潜力。

Jun, 2024

通过使用最新的大语言模型如 GPT-4、Claude 3 Opus 和 Gemini 1.0 Ultra，我们探索了解决本科级控制问题的能力。我们引入了一个名为 ControlBench 的基准数据集，以反映传统控制设计的广度、深度和复杂性，并研究了这些大型语言模型在控制工程环境下的问题解决能力。通过人类专家小组的评估，我们揭示了这些大型语言模型在控制工程中的准确性、推理能力和解释能力，分析了每个大型语言模型在传统控制领域的优势和局限性，结果表明 Claude 3 Opus 已成为解决本科控制问题的最先进的大型语言模型。我们的研究是将人工通用智能应用于控制工程更广泛目标的初步尝试。

Apr, 2024

通过历史数据集训练的 CHATATC 大型语言模型在非安全关键的交通流量管理环境中进行了研究，测试了其查询和回应能力，并详细介绍了用于与 CHATATC 对话代理进行交互和协作的图形用户界面的设计。

Feb, 2024