本文探讨了聊天机器人从 ELIZA 到 GPT-4 的发展历程及其工作机制，分析了聊天机器人所面临的网络安全威胁和漏洞，阐述了聊天机器人对诸如恶意代码、网络钓鱼邮件、零日攻击和宏和 LOLBIN 的生成等网络安全问题所带来的风险和漏洞，进而探讨了应对这些威胁和漏洞的具体策略和措施。

May, 2023

本研究探讨了聊天机器人（如 ChatGPT、GPT4all、Dolly、Stanford Alpaca、Alpaca-LoRA 和 Falcon）在开源情报中识别与网络安全相关文本的能力，并评估了现有聊天机器人模型在自然语言处理任务中的能力，包括二元分类和命名实体识别。结果表明，聊天机器人在网络安全二元分类任务中表现良好，但在命名实体识别任务方面仍存在限制和不足。因此，明确了这些聊天机器人只在特定任务（如网络安全二元分类）中具有能力的同时，也强调了其他任务（如命名实体识别）需要进一步改进。

Jan, 2024

在本文中，我们通过提交 60 个提问并基于三项机器翻译评分标准（BLEU，METEOR 和 ROUGE）对 ChatGPT 的回答进行了分析，结果显示出与人类典型反应相比，ChatGPT 在回复和翻译方面的能力虽然显著，但仍有所欠缺。

Feb, 2023

本研究探讨了 ChatGPT 在解决编程问题方面的有效性，考察了其解决问题的正确性和时间、内存复杂度等效率，研究结果表明 ChatGPT 在结构化问题方面表现出较好的成功率，但其调试任务表现不佳，为 ChatGPT 的能力和改进提供了精辟的了解。

Jul, 2023

ChatGPT 是公正的搜索引擎，但在文本生成和代码生成方面存在偏见；小的改变可能导致不同水平的公正性，需要立即实施 “修正” 或缓解策略以提高公平性。

Jun, 2023

本研究使用 ChatGPT 这一语言模型探讨了如何利用其在软件工程中辅助完成常见任务，研究结果显示 ChatGPT 对许多任务均有不错的表现，但仍存在一些任务不适用。

May, 2023

本文研究了 ChatGPT 在 25 个多样化的自然语言处理任务（如情感分析、情感识别、态度检测、自然语言推断、词义消歧、语言可接受性和问答）中的表现及其个性化响应能力，并与现有的国际先进水平（SOTA）解决方案进行了比较。结果表明，任务难度越高（低 SOTA 表现），ChatGPT 的损失越大。同时也揭示了 ChatGPT 偏见，在一定程度上限制了 ChatGPT 的有效性。

Feb, 2023

研究论文对大型语言模型（LLMs）在系统安全领域中的影响和局限性进行了探讨，发现 ChatGPT 不仅在生成代码方面有出色的能力，还在理解用户提供的自然语言指令、推理程序的控制和数据流、生成复杂数据结构以及反汇编汇编代码等方面展示了强大的能力。研究表明，GPT-4 在大多数安全任务中相较于 GPT-3.5 有显著改进，同时也确定了 ChatGPT 在安全相关任务中的某些限制，例如处理长代码上下文的能力受限。

Dec, 2023

在这项研究中，我们探讨了 ChatGPT 在学术背景下的伦理影响、其局限性和特定用户群体可能的滥用情况，并提出了旨在防止不当使用和促进负责任的 AI 交互的架构解决方案。

Oct, 2023

本文采用定量方法，展示 ChatGPT 在回答涉及本科计算机科学课程相关主题的不同类型的问题时高度不可靠，揭示学生盲目依赖 ChatGPT 完成作业和考试可能面临自我破坏。同时提出对学生和教师的建设性建议。

Apr, 2023