EMNLPOct, 2023

一个对于大型语言模型形态学能力的多语言调查：计算 ChatGPT 中 Wugs 的错误

PDF
TL;DR大型语言模型 (LLMs) 的语言能力令人印象深刻，但在对其能力进行系统研究方面尚有较少的探讨。本研究通过对四种不同类型的语言 (英语、德语、泰米尔语和土耳其语) 进行首次严格分析 ChatGPT 的形态能力，发现 ChatGPT 在各语言中的性能远低于专门构建的系统，尤其在英语中表现不佳。总的来说，基于形态学的研究结果对 ChatGPT 的语言能力提出了新的看法，并暗示自称具有类人语言技能的说法为时尚早和误导性。
large language modelslinguistic capabilitiesmorphological capabilitieschatgpthuman language skills
发现论文，激发创造
  • ChatGPT 在语言使用上是否与人类相似？

    通过 12 个预注册的实验，我们发现像 ChatGPT 这样的运用大型语言模型的聊天机器人能够在很大程度上模仿人类语言处理，但是他们在一些方面与人类处理方式存在差异，并且可能通过 Transformer 架构来解释这些差异。

    Mar, 2023

  • ChatGPT 在超越英语方面的综合评估：多语言学习中的大型语言模型

    本研究评估了多语言文本处理技术的热门系统 ChatGPT 在 37 种不同的语言中进行的 7 项不同任务的表现，揭示了其在不同 NLP 任务和语言方面的表现与其他模型相比较差，需要进一步的研究来发展更好的模型和了解多语言学习。

    Apr, 2023

  • 语言笔者大：LLMs、ChatGPT、接地、意义与理解

    ChatGPT 是如何运作并具备超过预期能力的？本文通过与 ChatGPT-4 对话的方式，对 ChatGPT 作出解释，包括与语言自身相关的良性偏见、语言的间接语义基础以及神经网络中的类别学习等。

    Feb, 2024

  • ChatGPT 中表达的语法准确性与语言学家和普通人的比较

    通过实验和比较 ChatGPT 与普通人和语言学家在语言构造的判断上的一致性，在判断任务和语言处理方式上的差异性分析，我们的研究结果显示 ChatGPT 是人工智能模型中与语法直觉最接近的模型之一。

    Jun, 2024

  • 机器心理学：大型语言模型预测人类记忆

    通过测试 ChatGPT 在语言记忆任务中对人类表现的预测能力，研究发现 ChatGPT 和人类的表现有惊人的一致性，尽管它们的内部机制可能存在显著差异，这一发现强调了生成型人工智能模型在准确预测人类表现方面的潜力。

    Mar, 2024

  • CHATGPT 与语言模型的比较分析

    本文比较了 ChatGPT 在自然语言处理领域中，在机器翻译、文本摘要、问答和语言生成等方面的表现，并使用自由质量（SQ）分数与每个类别中的主要算法进行了比较。通过有效的验证策略，安全性和可大规模采用 LLM 的示例总结了该论文的观点和结果。

    Mar, 2023

  • 通过大型语言模型解决崩溃错误：实证研究

    ChatGPT 的能力在解决现实世界的崩溃错误方面得到了首次调查，重点关注其在定位和修复与代码相关和环境相关的崩溃错误方面的效果。ChatGPT 在解决代码相关崩溃错误方面表现更好，其主要挑战在于不准确的定位。此外，我们还探索了 ChatGPT 在使用各种高级提示时的潜力。通过刺激 ChatGPT 的自我计划，它通过主动询问方法系统地研究了每个潜在的导致崩溃的环境因素，最终确定了崩溃的根本原因。根据我们的研究结果，我们提出了一种交互方法，名为 IntDiagSolver，旨在通过与 LLMs 的持续互动促进精确的崩溃错误解决。在多个 LLMs 上评估 IntDiagSolver 结果显示在崩溃错误解决的准确性方面持续提升，包括 ChatGPT、Claude 和 CodeLlama。

    Dec, 2023

  • 大型语言模型对泰卢固语熟练度的评估：ChatGPT 与 Gemini 的比较分析

    通过比较大型语言模型在特鲁古语中的能力，研究旨在找出能够更深入理解特鲁古语法结构、具备更广泛词汇量、在写作和推理等任务中表现出色的语言模型，以及其适用于真实语言交互的能力，并评估其适应性和推理能力，为多语言 AI 能力的讨论提供见解，为开发能够无缝融入特鲁古语社区的大型语言模型铺平道路。

    Apr, 2024

  • ChatGPT MT：高资源语言竞争力强（但对于低资源语言则不强）

    使用 FLORES-200 基准测试，我们提供了首个针对 204 种语言的实验证据和机器翻译成本分析，发现 GPT 模型在某些高资源语言上接近或超过传统机器翻译模型的性能，但在低资源语言上表现一直落后于传统机器翻译，对于我们覆盖的语言中的 84.1％，ChatGPT 的翻译能力低于传统机器翻译模型水平。我们的分析表明，语言的资源水平是决定 ChatGPT 相对翻译能力的最重要特征，并且暗示 ChatGPT 在低资源语言和非洲语言上处于劣势。

    Sep, 2023

  • 大型语言模型：分析 LLMs 的理论语言能力

    该研究探讨了大型语言模型的元语言能力，通过针对几种语言学分支的实验以及命令设计，分析了 GPT-4 生成元语言分析的能力及其局限性，并提供了未来的研究方向。

    May, 2023