Apr, 2023

ChatGPT 在需求信息检索中的初步评估

PDF
TL;DR本文通过对 ChatGPT 在需求分析任务上的表现进行实证评估，探讨生成式大语言模型在自然语言处理领域对需求工程的影响，结果显示 ChatGPT 在多语言多类型需求文档检索上表现出令人惊叹的能力。
chatgptrequirements analysisnatural language processinglarge language modelinformation retrieval
发现论文，激发创造
  • 评估 ChatGPT 作为一个问答系统：全面分析与现有模型的比较

    ChatGPT 作为一个问答系统，通过对其在提供的段落中提取回答的能力进行评估，发现它在生成模型方面表现出了实力，但在问题回答方面相对于特定任务模型表现较差，而提供上下文可以提高其性能，提问方式对其准确性有所影响，并且在提供的上下文中提供了无法从中获取答案的问题的回答，还存在答案幻觉的现象。

    Dec, 2023

  • ChatGPT 在基准数据集上的系统研究和综合评估

    本文通过评估 ChatGPT 在各种自然语言处理任务中的表现，旨在验证其优缺点，并为未来的 LLM 研究提供思路。作者发现 ChatGPT 能够完成多种任务，取得很好的表现，但仍有许多难题需要解决。

    May, 2023

  • ChatGPT 是否是通用自然语言处理任务解决方案？

    本文通过对 20 个流行的任务数据集进行评估，就 ChatGPT 的零 - shot 学习能力进行了实证分析，并发现它在推理能力较强的任务上表现良好，如算术推理，但在特定任务（如序列标记）的解决方面仍面临挑战。

    Feb, 2023

  • 评估 ChatGPT 作为推荐系统的方法论

    本研究旨在填补大型语言模型在推荐场景中的潜力研究空白，并通过实验评估 ChatGPT 在零样本推荐系统中的能力及其与标准推荐算法以及其他大型语言模型的对比表现。

    Sep, 2023

  • ChatGPT 是一种好的 NLG 评估器吗？初步研究

    研究通过在三个常用的 NLG 元评估数据集上实验，评估 ChatGPT 作为 NLG 指标的可靠性，结果表明其与黄金人类判断的相关性达到了同类指标的最高水平或具有竞争性。

    Mar, 2023

  • ChatGPT 是否解决了信息提取？绩效、评估标准、鲁棒性和错误分析

    本文评估了 ChatGPT 模型在性能、评估标准、稳健性和错误类型四个方面的能力，并提出了一种用于更准确反映 ChatGPT 性能的软匹配策略，同时发现了 ChatGPT 的最主要的错误类型是 “未注释的跨度”，从而引发了对标注数据质量的关注，并提示可以使用 ChatGPT 进行数据标注。

    May, 2023

  • GPTEval: ChatGPT 和 GPT-4 评估调查

    对 ChatGPT 和 GPT-4 的语言能力、科学知识和伦理考虑进行全面评估的研究，包括现有评估方法的探讨和未来研究中对大型语言模型的评估建议。

    Aug, 2023

  • ChatGPT 在软件工程领域的适用范围：一次彻底调查

    对 ChatGPT 在软件工程中的应用进行了研究，发现 ChatGPT 在代码的语法理解方面具有较高的能力，但在代码的语义理解方面，特别是动态语义方面存在困难，容易产生虚假输出。这表明在软件工程中使用 ChatGPT 时需要进一步探索验证其输出正确性的方法，以确保其可靠性。

    May, 2023

  • 一个多任务、多语言、多模态的 ChatGPT 推理、幻觉和交互评估

    本文提出了一个评估 ChatGPT 等交互式 LLM 的框架，使用公开数据集进行多任务、多语言和多模态方面的评估，发现 ChatGPT 能够生成多模态内容，但是其推理能力较差，存在幻觉问题，但通过 “提示工程” 可以与人类协作，提高性能。

    Feb, 2023

  • 评估 ChatGPT 在回答复杂问题时作为问答系统的有效性

    评估使用自身知识作为问答系统的 ChatGPT 在回答复杂问题方面的能力，我们提出了一个框架来评估其功能和可靠性，并使用 CheckList 和 8 个现实世界的基于 KB 的问答数据集进行了测试。 我们发现 LLM 模型的一些常见问题。

    Mar, 2023