Apr, 2024

大型语言模型对泰卢固语熟练度的评估：ChatGPT 与 Gemini 的比较分析

PDF
TL;DR通过比较大型语言模型在特鲁古语中的能力，研究旨在找出能够更深入理解特鲁古语法结构、具备更广泛词汇量、在写作和推理等任务中表现出色的语言模型，以及其适用于真实语言交互的能力，并评估其适应性和推理能力，为多语言 AI 能力的讨论提供见解，为开发能够无缝融入特鲁古语社区的大型语言模型铺平道路。
large language modelstelugu language proficiencystrengths and weaknessesperformance in taskssuitability for real-world language interaction
发现论文，激发创造
  • ChatGPT 在超越英语方面的综合评估：多语言学习中的大型语言模型

    本研究评估了多语言文本处理技术的热门系统 ChatGPT 在 37 种不同的语言中进行的 7 项不同任务的表现，揭示了其在不同 NLP 任务和语言方面的表现与其他模型相比较差，需要进一步的研究来发展更好的模型和了解多语言学习。

    Apr, 2023

  • 大型语言模型的编程技能评估

    通过比较 OpenAI 的 ChatGPT 和 Google 的 Gemini AI 在其免费版本中生成的编程代码的质量，以一个真实世界的例子和系统的数据集为支撑，本研究批判性地检验了这两种领先的大型语言模型的输出质量。鉴于它们在生成代码方面的显著能力，这方面的聊天机器人能力成为一项特别引人注目的分析领域。此外，编程代码的复杂性常常升级到需要验证的难度，强调了我们研究的重要性。本研究旨在揭示大型语言模型在生成高质量编程代码方面的功效和可靠性，这对软件开发领域和其他领域具有重要意义。

    May, 2024

  • ChatGPT 与 Gemini 与 LLaMA 在多语言情感分析中的比较

    使用大型语言模型（LLM）的自动情感分析在学术研究和工业应用中越来越普遍，但在处理模糊或讽刺文本的性能评估和验证方面仍不够完善。本研究构建了细致和模糊的场景，将其翻译成 10 种语言，并使用流行的 LLM 预测其关联的情感。结果经过后续人为响应的验证。ChatGPT 和 Gemini 通常能够很好地处理模糊场景，但我们也发现了在不同模型和评估的人类语言之间存在显著偏见和不一致的性能。本研究提供了自动情感分析评估的标准化方法，并呼吁进一步改进算法和其基础数据，以提高其性能、可解释性和适用性。

    Jan, 2024

  • LLM 之战：对话型 QA 任务的比较研究

    通过对 ChatGPT、GPT-4、Gemini、Mixtral 和 Claude 在不同的会话问答语料库中生成的回答进行评估，本研究得出了这些最先进的语言模型的综合比较和评估结果，揭示了它们的能力，并突出了改进的潜在领域。

    May, 2024

  • CHATGPT 与语言模型的比较分析

    本文比较了 ChatGPT 在自然语言处理领域中，在机器翻译、文本摘要、问答和语言生成等方面的表现，并使用自由质量（SQ）分数与每个类别中的主要算法进行了比较。通过有效的验证策略，安全性和可大规模采用 LLM 的示例总结了该论文的观点和结果。

    Mar, 2023

  • 大型语言模型在初级编程教育中的应用：ChatGPT 的性能和对评估的影响

    该论文研究了大型语言模型（LLMs）ChatGPT-3.5 和 GPT-4 在解决入门级编程任务中的表现，并根据表现得出了利用 LLMs 进行教学场景和评估格式的暗示。研究选取了来自免费网站 CodingBat 的 72 个针对初学者的 Python 任务，使用完整任务描述作为 LLMs 的输入，通过 CodingBat 的单元测试评估生成的回复。此外，还分析了文本解释和程序代码的普遍可用性。结果显示得分高，正确响应率为 94.4％至 95.8％，同时文本解释和程序代码的可用性可靠，从而为将 LLMs 纳入编程教育和评估中打开了新的途径。

    Aug, 2023

  • 使用 ChatGPT 3.5 进行代码生成的十种编程语言的比较研究

    研究 ChatGPT 3.5 模型在编写代码方面的能力，评估其在 10 种编程语言和 4 个软件领域中生成代码片段的熟练程度，并发现了模型的主要意外行为和限制，旨在寻找发展的潜在领域，并检查自动生成代码对编程语言和技术行业发展的影响。

    Aug, 2023

  • 使用 ChatGPT 的多语言旅游协助：比较印地语、泰卢固语和卡纳达语的能力

    该研究调查了 OpenAI 的 AI 语言模型 ChatGPT 在将英语翻译成印地语、泰卢固语和卡纳达语方面的效果，旨在帮助在印度多元文化环境下的游客。研究中使用了一个包含 50 个问题的测试集，涵盖了常识、食物和旅行等不同领域，这些问题由五名志愿者进行准确性和流畅性评估，并将得分换算成 BLEU 分数。BLEU 分数评估机器生成的翻译结果与人工翻译的接近程度，得分越高表示翻译质量越好。研究结果显示，印地语的翻译表现最佳，准确性和流畅性都优于其他语言，而泰卢固语的翻译则稍逊一筹。人工评估者对翻译结果的准确性和流畅性进行了评价，为语言模型的表现提供了全面的观点。

    Jul, 2023

  • ChatGPT 在基准数据集上的系统研究和综合评估

    本文通过评估 ChatGPT 在各种自然语言处理任务中的表现，旨在验证其优缺点，并为未来的 LLM 研究提供思路。作者发现 ChatGPT 能够完成多种任务，取得很好的表现，但仍有许多难题需要解决。

    May, 2023

  • 波斯语大型语言模型基准测试：关注 ChatGPT 的初步研究

    本文探讨了大型语言模型（LLMs）在波斯语中的有效性。研究发现，虽然 ChatGPT 和其他 LLMs 在英语中表现出色，但它们在资源稀缺的语言上的效率仍然是一个悬而未决的问题。研究通过对各种波斯语任务进行全面的基准测试研究，重点评估了 GPT-3.5-turbo，同时还包括 GPT-4 和 OpenChat-3.5，以提供更全面的评估。研究结果显示，虽然 LLMs，特别是 GPT-4，在需要推理能力和对一般知识的广泛理解的任务中表现出色，但它们通常落后于针对特定任务进行细化调整的较小的预训练模型。此外，研究还观察到将测试集翻译成英语后输入 GPT-3.5 会改善其性能。这些结果突显了提升波斯语中 LLM 性能的重要潜力，这尤其值得注意，因为波斯语具有独特的字母和写作风格。

    Apr, 2024