本文对 ChatGPT 的因果推理能力进行了全面评估。实验结果表明，ChatGPT 在因果推理方面存在严重的幻觉，主要由于自然语言中因果关系和非因果关系之间的汇报偏差以及 ChatGPT 的升级过程。此外，在提示中使用的表达因果概念的单词对 ChatGPT 的因果推理能力产生重要影响，针对性较强的提示表现更好。ChatGPT 主要擅长捕捉显式的因果关系，对隐式的因果关系处理能力相对较差，对句子中事件密度较低和事件之间词汇距离较小的情况处理效果较好。

May, 2023

探究 ChatGPT 对因果发现问题的回答能力，使用医学基准（Tu et al. 2019）进行测试，并发现其在自然语言交互方面的卓越能力。

Jan, 2023

本研究的主要目的是提供 ChatGPT 检测的最新技术的全面评估，同时我们评估了其他 AI 生成的文本检测工具，以检测 ChatGPT 生成的内容。此外，我们还创建了一个基准数据集用于评估各种技术在检测 ChatGPT 生成内容方面的性能。研究结果表明，现有方法都不能有效地检测 ChatGPT 生成的内容。

Apr, 2023

研究通过在三个常用的 NLG 元评估数据集上实验，评估 ChatGPT 作为 NLG 指标的可靠性，结果表明其与黄金人类判断的相关性达到了同类指标的最高水平或具有竞争性。

Mar, 2023

本文通过评估 ChatGPT 在各种自然语言处理任务中的表现，旨在验证其优缺点，并为未来的 LLM 研究提供思路。作者发现 ChatGPT 能够完成多种任务，取得很好的表现，但仍有许多难题需要解决。

May, 2023

该研究针对 ChatGPT 大型语言模型，通过对 13 个数据集的测试集进行综合评估，采用了三种任务定制型 prompt 模板，发现 ChatGPT 对于识别因果关系具有较强的能力，但在识别事件之间的时间顺序方面表现较差，并在需要结构性理解对话的对话语篇分析任务中表现不佳。

Apr, 2023

本文评估了 ChatGPT 模型在性能、评估标准、稳健性和错误类型四个方面的能力，并提出了一种用于更准确反映 ChatGPT 性能的软匹配策略，同时发现了 ChatGPT 的最主要的错误类型是 “未注释的跨度”，从而引发了对标注数据质量的关注，并提示可以使用 ChatGPT 进行数据标注。

May, 2023

本文介绍了关于文本摘要的各种方法，包括提取式和抽象式，并探讨了大型语言模型在此方面的应用潜力。作者以四个数据集为例，展示了 ChatGPT 生成的摘要与人类参考的差异，并发现 ChatGPT 在摘要性能上可以与传统的微调方法媲美。该研究为各种文本摘要任务开辟了新方向，提供了有价值的见解。

Feb, 2023

探索大型语言模型 (LLMs) 在医学应用方面的潜力，特别是在药物监测事件提取方面的 ChatGPT 的能力。我们进行了广泛的实验，评估了 ChatGPT 在药物监测事件提取任务中的性能，并采用了各种提示和演示选择策略。研究结果表明，虽然 ChatGPT 在适当的演示选择策略下表现出了合理的性能，但与完全微调的小型模型相比仍然有所不足。此外，我们探索了利用 ChatGPT 进行数据增强的潜力。然而，我们的研究发现将合成数据引入微调可能会导致性能下降，可能是由于 ChatGPT 生成的标签中存在噪声。为了减轻这个问题，我们探索了不同的过滤策略，并发现在适当的方法下可以实现更稳定的性能，尽管不断改进仍然具有挑战性。

Feb, 2024

本文研究了用 ChatGPT 进行事件抽取的可行性并探究了遇到的挑战，结果表明 ChatGPT 在长尾和复杂情况下只有任务特定模型 EEQA 的 51.04％的性能，ChatGPT 不够稳定，继续改进提示不会导致稳定的性能提高，而且 ChatGPT 对不同的提示风格非常敏感。

Mar, 2023