聊天 GPT 日志解析的评估
通过 ChatGPT 的语言解释能力,本研究提出了基于 ChatGPT 的 LogGPT 框架,旨在探索将大规模语料库的知识转移应用于基于日志的异常检测。在 BGL 和 Spirit 数据集上,通过与三种基于深度学习的方法进行比较,实验评估了 LogGPT 的性能,显示出良好的可解释性和有希望的结果。该研究初步揭示了 ChatGPT 等基于提示的模型在基于日志的异常检测任务中的潜力。
Sep, 2023
通过分析大型语言模型(LLMs)与入门级编程学生的交互,我们了解到了学生们与 ChatGPT-3.5 等相关工具的互动情况,这将对未来的高等教育入门级编程课程的教学实践和指导产生积极影响。
May, 2024
对 ChatGPT 在软件工程中的应用进行了研究,发现 ChatGPT 在代码的语法理解方面具有较高的能力,但在代码的语义理解方面,特别是动态语义方面存在困难,容易产生虚假输出。这表明在软件工程中使用 ChatGPT 时需要进一步探索验证其输出正确性的方法,以确保其可靠性。
May, 2023
本文介绍了如何利用大型语言模型 (LLMs) 和尤其是 ChatGPT 进行编程、源代码分析和代码生成,研究了 LLMs 和 ChatGPT 在代码创建、代码文档化、漏洞检测、重构等多个领域中的应用,并指出它们在编程社区中的使用有望得到进一步推广。
Jun, 2023
本文研究了用 ChatGPT 进行事件抽取的可行性并探究了遇到的挑战,结果表明 ChatGPT 在长尾和复杂情况下只有任务特定模型 EEQA 的 51.04%的性能,ChatGPT 不够稳定,继续改进提示不会导致稳定的性能提高,而且 ChatGPT 对不同的提示风格非常敏感。
Mar, 2023
本研究探讨了 ChatGPT 在解决编程问题方面的有效性,考察了其解决问题的正确性和时间、内存复杂度等效率,研究结果表明 ChatGPT 在结构化问题方面表现出较好的成功率,但其调试任务表现不佳,为 ChatGPT 的能力和改进提供了精辟的了解。
Jul, 2023
ChatGPT 对安全导向的程序分析的能力进行了研究,从攻击者和安全分析师的角度出发,通过引入挑战性任务评估 ChatGPT 的回答质量,以更清楚地了解其在安全导向的程序分析领域的优势和限制。
Jul, 2023
我们调查了 ChatGPT 的可靠性和逻辑一致性。发现虽然 ChatGPT 在语言理解能力方面有所提高,但它仍经常无法生成逻辑上正确的预测;因此,我们得出结论:在没有充分人工检查的情况下,在真实世界的风险敏感领域中使用 ChatGPT 需要进一步考虑。
Mar, 2023
本文通过评估 ChatGPT 在各种自然语言处理任务中的表现,旨在验证其优缺点,并为未来的 LLM 研究提供思路。作者发现 ChatGPT 能够完成多种任务,取得很好的表现,但仍有许多难题需要解决。
May, 2023