May, 2023

ChatGPT在基准数据集上的系统研究和综合评估

HTML
PDF
TL;DR本文通过评估ChatGPT在各种自然语言处理任务中的表现，旨在验证其优缺点，并为未来的LLM研究提供思路。作者发现ChatGPT能够完成多种任务，取得很好的表现，但仍有许多难题需要解决。
发现论文，激发创造
  • 一个多任务、多语言、多模态的 ChatGPT 推理、幻觉和交互评估

    本文提出了一个评估ChatGPT等交互式LLM的框架，使用公开数据集进行多任务、多语言和多模态方面的评估，发现ChatGPT能够生成多模态内容，但是其推理能力较差，存在幻觉问题，但通过“提示工程”可以与人类协作，提高性能。

    Feb, 2023

  • ChatGPT是一种好的NLG评估器吗？初步研究

    研究通过在三个常用的 NLG 元评估数据集上实验，评估 ChatGPT 作为 NLG 指标的可靠性，结果表明其与黄金人类判断的相关性达到了同类指标的最高水平或具有竞争性。

    Mar, 2023

  • 探索使用大型语言模型进行基于参考文本无关的文本质量评估：初步实证研究

    通过比较三种基于ChatGPT或类似大型语言模型的无参考评估方法，实验证明ChatGPT能够有效地从不同角度评估文本质量，尤其是利用ChatGPT生成数字评分的Explicit Score方法最有效可靠。但是，直接使用ChatGPT比较两个文本的质量可能导致次优结果。

    Apr, 2023

  • CHATGPT与语言模型的比较分析

    本文比较了ChatGPT在自然语言处理领域中，在机器翻译、文本摘要、问答和语言生成等方面的表现，并使用自由质量（SQ）分数与每个类别中的主要算法进行了比较。通过有效的验证策略，安全性和可大规模采用LLM的示例总结了该论文的观点和结果。

    Mar, 2023

  • ChatGPT在超越英语方面的综合评估：多语言学习中的大型语言模型

    本研究评估了多语言文本处理技术的热门系统ChatGPT在37种不同的语言中进行的7项不同任务的表现，揭示了其在不同NLP任务和语言方面的表现与其他模型相比较差，需要进一步的研究来发展更好的模型和了解多语言学习。

    Apr, 2023

  • 评估ChatGPT的信息提取能力：性能、可解释性、校准度和忠实度评估

    本研究使用7个信息提取任务评估了ChatGPT在理解用户意图和提供合理回答方面的总体能力，发现其在标准信息提取设置中的表现差，但在OpenIE设置中表现出色，并提供高质量和可信任的解释，但存在预测自信度过高导致校准性低的问题。

    Apr, 2023

  • ChatGPT是否解决了信息提取？绩效、评估标准、鲁棒性和错误分析

    本文评估了ChatGPT模型在性能、评估标准、稳健性和错误类型四个方面的能力，并提出了一种用于更准确反映ChatGPT性能的软匹配策略，同时发现了ChatGPT的最主要的错误类型是“未注释的跨度”，从而引发了对标注数据质量的关注，并提示可以使用ChatGPT进行数据标注。

    May, 2023

  • ChatGPT 在自然语言处理任务中的极限挑战

    通过添加模块的方式提高 ChatGPT 在各种自然语言处理任务中的表现，解决了token，生成能力以及LLMs模型特有问题等方面的挑战并在21个数据集的10个代表性任务中获得了与监督学习基线相当甚至更好的表现.

    Jun, 2023

  • 扩展ChatGPT的前沿：代码生成和调试

    本研究探讨了ChatGPT在解决编程问题方面的有效性，考察了其解决问题的正确性和时间、内存复杂度等效率，研究结果表明ChatGPT在结构化问题方面表现出较好的成功率，但其调试任务表现不佳，为ChatGPT的能力和改进提供了精辟的了解。

    Jul, 2023

  • ChatGPT真实能力调查

    我们在这篇论文中调查了ChatGPT在七个自然语言处理任务领域的真实性能水平，回顾了ChatGPT的社会影响和安全问题，并强调了其评估中的关键挑战和机遇。我们希望我们的调查能够揭示ChatGPT的黑盒特性，以免研究人员被其表面生成所误导。

    Apr, 2024