EMNLPNov, 2023

ChatGPT 对马来西亚英语的理解能力：命名实体识别和关系抽取的评估

PDF
TL;DR本研究通过在马来西亚英语新闻（MEN）数据集上评估 ChatGPT 的能力，提出了一种名为 “教育 - 预测 - 评估” 的三步方法，并发现 ChatGPT 在从马来西亚英语新闻文章中提取实体方面表现不佳，但在关系抽取方面的表现却不受形态句法适应的影响。
发现论文，激发创造
  • ChatGPT 是否解决了信息提取？绩效、评估标准、鲁棒性和错误分析

    本文评估了 ChatGPT 模型在性能、评估标准、稳健性和错误类型四个方面的能力，并提出了一种用于更准确反映 ChatGPT 性能的软匹配策略，同时发现了 ChatGPT 的最主要的错误类型是 “未注释的跨度”，从而引发了对标注数据质量的关注，并提示可以使用 ChatGPT 进行数据标注。

    May, 2023

  • 使用 ChatGPT 进行零样本临床实体识别

    本研究旨在探究以零注释方式进行临床命名实体识别任务中，OpenAI 开发的大型语言模型 ChatGPT 以两种不同提示策略的潜力。我们将其与 GPT-3 在类似的零注释情况下进行比较，以及使用来自 MTSamples 的一组合成临床笔记的精调 BioClinicalBERT 模型。研究发现，与 GPT-3 相比，ChatGPT 在零注释情况下表现优异，并且使用不同的提示策略可以过提高其性能。虽然 ChatGPT 的表现仍低于 BioClinicalBERT 模型，但本研究证明了 ChatGPT 在不需要注释的情况下进行临床 NER 任务的巨大潜力。

    Mar, 2023

  • ChatGPT 是一种好的 NLG 评估器吗？初步研究

    研究通过在三个常用的 NLG 元评估数据集上实验，评估 ChatGPT 作为 NLG 指标的可靠性，结果表明其与黄金人类判断的相关性达到了同类指标的最高水平或具有竞争性。

    Mar, 2023

  • GPTAraEval：基于阿拉伯语 NLP 的 ChatGPT 全面评估

    本文介绍了一项大规模的 ChatGPT 在阿拉伯语自然语言处理方面的评估，结果显示，尽管该模型在英语基准测试上表现出色，但其在阿拉伯语数据集上的性能表现不如针对阿拉伯语进行优化的专用模型。

    May, 2023

  • ChatGPT 在需求信息检索中的初步评估

    本文通过对 ChatGPT 在需求分析任务上的表现进行实证评估，探讨生成式大语言模型在自然语言处理领域对需求工程的影响，结果显示 ChatGPT 在多语言多类型需求文档检索上表现出令人惊叹的能力。

    Apr, 2023

  • 探索 ChatGPT 在事件提取中的可行性

    本文研究了用 ChatGPT 进行事件抽取的可行性并探究了遇到的挑战，结果表明 ChatGPT 在长尾和复杂情况下只有任务特定模型 EEQA 的 51.04％的性能，ChatGPT 不够稳定，继续改进提示不会导致稳定的性能提高，而且 ChatGPT 对不同的提示风格非常敏感。

    Mar, 2023

  • GPTEval: ChatGPT 和 GPT-4 评估调查

    对 ChatGPT 和 GPT-4 的语言能力、科学知识和伦理考虑进行全面评估的研究，包括现有评估方法的探讨和未来研究中对大型语言模型的评估建议。

    Aug, 2023

  • 评估 ChatGPT 的信息提取能力：性能、可解释性、校准度和忠实度评估

    本研究使用 7 个信息提取任务评估了 ChatGPT 在理解用户意图和提供合理回答方面的总体能力，发现其在标准信息提取设置中的表现差，但在 OpenIE 设置中表现出色，并提供高质量和可信任的解释，但存在预测自信度过高导致校准性低的问题。

    Apr, 2023

  • 使用知识增强的生成预训练模型通过中国医学执照考试

    本文提出一种嵌入医疗领域知识和启用 Few-shot Learning 的方法，以迎合需要广泛的领域专业知识和语义知识（如医疗保健）的领域的需求。利用一种简单但有效的检索方法，本文高效提取医学背景知识以引导 ChatGPT 的推理和寻答的逻辑。我们的知识增强模型在 CNMLE-2022 上取得了高分 70，且不仅能够通过 CNMLE 考试但是还超越了人类的平均分数（61），这证明了知识增强 ChatGPT 作为多功能医疗助手的潜力，能够以更易于使用和适应的方式分析现实世界的医学问题。

    May, 2023

  • 来自英语叙事写作的证据显示，中级英语学习者在深度连贯方面胜过 ChatGPT

    本研究通过 Coh-Metrix 比较了 ChatGPT 和 CIE 学生在叙事主题上的写作表现，结果表明，在初始版本中，ChatGPT 在叙述性、词汇具体性和指代连贯性方面优于人类作家，但在句法简单性和深度连贯性方面劣于人类作家。经过多次修订后，ChatGPT 在句法简单性方面得到了改善，但在深度连贯性方面仍远不如 CIE 学生的写作。另外，讨论组成分的相关性分析表明，ChatGPT 和人类作家的叙事性与指代连贯性呈正相关，但各组内的相关性不同。

    Mar, 2023