Feb, 2023
关于 ChatGPT 模型的鲁棒性:从对抗和越界角度的研究
On the Robustness of ChatGPT: An Adversarial and Out-of-distribution Perspective
Jindong Wang, Xixu Hu, Wenxin Hou, Hao Chen, Runkai Zheng...
TL;DR本文通过对 ChatGPT 的对抗性和分布外鲁棒性测试,发现 ChatGPT 在大多数分类和翻译任务中有着较好的表现。但是相对地,绝对表现仍然有很大的改进空间,表明对抗性和分布外鲁棒性仍然是模型面临的一项重大挑战。此外,ChatGPT 在理解与对话相关的文本方面表现出色。最后,我们提出了可能的研究方向。