Feb, 2023

ChatGPT 和 Fine-tuned BERT 的比较研究

PDF
TL;DR本研究评估了 ChatGPT 对最流行的 GLUE 基准的理解能力，并与 4 个代表性的 fine-tuned 的 BERT 模型进行比较。我们发现，ChatGPT 在处理释义和相似性任务方面存在不足，但在推理任务方面优于所有 BERT 模型，并在情感分析和问答任务上表现与 BERT 相当。此外，通过组合一些高级提示策略，我们展示了 ChatGPT 的理解能力可以进一步提高。
chatgptunderstanding abilityglue benchmarkbert-style modelsadvanced prompting strategies
发现论文，激发创造
  • 评估 ChatGPT 作为一个问答系统：全面分析与现有模型的比较

    ChatGPT 作为一个问答系统，通过对其在提供的段落中提取回答的能力进行评估，发现它在生成模型方面表现出了实力，但在问题回答方面相对于特定任务模型表现较差，而提供上下文可以提高其性能，提问方式对其准确性有所影响，并且在提供的上下文中提供了无法从中获取答案的问题的回答，还存在答案幻觉的现象。

    Dec, 2023

  • ChatGPT-Crawler: 查看 ChatGPT 的言论是否可靠

    本研究分析了 ChatGPT 在不同对话问答语料库中生成的回答，并使用 BERT 相似度得分进行比较，以获取自然语言推理（NLI）标签。该研究还确定了 ChatGPT 提供错误答案的情况，提供了有关该模型可能存在错误的领域的见解。通过评估分数，比较 GPT-3 和 GPT-4 的整体性能。

    Apr, 2023

  • 聊天 GPT 在对话中的话语分析潜力：实证研究

    本研究探讨了 ChatGPT 在话语语篇分析中的能力，特别是话题分割、话语关系识别和话语分析三个任务的能力。结合创新的思维链（COT）方法，发现 ChatGPT 对于话题分割有较好的表现，但在话语关系识别和话语分析等较难的任务中有待提高。

    May, 2023

  • ChatGPT 与媒体偏见的比较研究：GPT-3.5 和微调语言模型

    ChatGPT 的研究探索大型语言模型在媒体偏见检测方面的效力，结果显示 ChatGPT 在检测仇恨言论和文本级别上的情境偏见方面与精细调校的模型表现相当，但在其他偏见检测方面（包括虚假新闻、种族、性别和认知偏见）遇到困难。

    Mar, 2024

  • ChatGPT 的回复能提升传统自然语言处理吗？

    在本文中，研究人员探索了 ChatGPT 的新颖知识，在融合现有的自然语言处理技术时，如早期或晚期融合，增强了情感计算、自杀倾向检测和大五人格评估等问题的现有技术的能力。

    Jul, 2023

  • ChatGPT 与人类专家的接近程度有多高？对比语料库、评估和检测

    本文通过收集并比对来自不同领域的问题，得出了 Human ChatGPT Comparison Corpus (HC3) 数据集，并评估了与人类专家相比 ChatGPT 的回答特点和差异，还提出了未来 LLMs 的研究方向，最终建立了三个不同的检测系统以检测 ChatGPT 的生成文本。

    Jan, 2023

  • ChatGPT 在情感分析中的表现如何？初步研究

    本文通过标准测试、极性转移测试、开放域测试和情感推理测试等方法，对 ChatGPT 在理解文本中的意见、情感和情绪方面进行了初步评估，并与 Fine-tuned BERT 和现有的端到端情感分析模型进行了比较，并进行了人工评估和定性分析。

    Apr, 2023

  • CHATGPT 与语言模型的比较分析

    本文比较了 ChatGPT 在自然语言处理领域中，在机器翻译、文本摘要、问答和语言生成等方面的表现，并使用自由质量（SQ）分数与每个类别中的主要算法进行了比较。通过有效的验证策略，安全性和可大规模采用 LLM 的示例总结了该论文的观点和结果。

    Mar, 2023

  • ChatGPT 在语言使用上是否与人类相似？

    通过 12 个预注册的实验，我们发现像 ChatGPT 这样的运用大型语言模型的聊天机器人能够在很大程度上模仿人类语言处理，但是他们在一些方面与人类处理方式存在差异，并且可能通过 Transformer 架构来解释这些差异。

    Mar, 2023

  • ChatGPT 是否是通用自然语言处理任务解决方案？

    本文通过对 20 个流行的任务数据集进行评估，就 ChatGPT 的零 - shot 学习能力进行了实证分析，并发现它在推理能力较强的任务上表现良好，如算术推理，但在特定任务（如序列标记）的解决方面仍面临挑战。

    Feb, 2023