Jul, 2023

开源大型语言模型在文本注释任务中胜过众包工作者并接近ChatGPT

HTML
PDF
TL;DR研究比较了开源的大型语言模型（LLMs），ChatGPT和人工服务（如MTurk）在文本标注任务中的表现。 发现开源LLMs在高效性，透明性，可再现性和数据保护方面具有竞争力，虽然ChatGPT在大多数任务中表现最好，但开源LLMs在特定任务中也有较高的竞争潜力。
发现论文，激发创造
  • ChatGPT 优于人工工人在文本注释任务中的表现

    本研究使用2382个推文的样本表明，ChatGPT在多个数据标注任务方面表现优于众包工人，特别是零-shot准确率，且其内部编码者间一致性超过了众包工人和训练有素的注释员，而其标注成本比MTurk便宜二十倍左右，这些结果表明大型语言模型在文本分类方面大大提高了效率。

    Mar, 2023

  • 探索使用大型语言模型进行基于参考文本无关的文本质量评估：初步实证研究

    通过比较三种基于ChatGPT或类似大型语言模型的无参考评估方法，实验证明ChatGPT能够有效地从不同角度评估文本质量，尤其是利用ChatGPT生成数字评分的Explicit Score方法最有效可靠。但是，直接使用ChatGPT比较两个文本的质量可能导致次优结果。

    Apr, 2023

  • ChatGPT在超越英语方面的综合评估：多语言学习中的大型语言模型

    本研究评估了多语言文本处理技术的热门系统ChatGPT在37种不同的语言中进行的7项不同任务的表现，揭示了其在不同NLP任务和语言方面的表现与其他模型相比较差，需要进一步的研究来发展更好的模型和了解多语言学习。

    Apr, 2023

  • ChatGPT在基准数据集上的系统研究和综合评估

    本文通过评估ChatGPT在各种自然语言处理任务中的表现，旨在验证其优缺点，并为未来的LLM研究提供思路。作者发现ChatGPT能够完成多种任务，取得很好的表现，但仍有许多难题需要解决。

    May, 2023

  • 大型语言模型之战: Dolly对LLaMA对Vicuna对Guanaco对Bard对ChatGPT -- 文本到SQL解析比较

    通过系统评估六种主流大型语言模型在九个基准数据集上的文本到SQL解析能力，发现这些开源模型在性能上明显不及GPT-3.5等闭源模型，强调了填补这些模型之间性能差距的进一步工作的需求。

    Oct, 2023

  • 聊天机器人不可靠的文本标注工具

    对比研究发现，ChatGPT和开源语言模型在标注社会科学研究中的文本任务中表现存在显著差异，而监督分类模型一贯表现更优，因此不建议在社会科学研究中使用ChatGPT进行实质性的文本标注任务。

    Nov, 2023

  • 当心言辞：评估会话式大型语言模型的词汇丰富性

    评估使用语言模型生成的文本的词汇丰富性及其与模型参数的相关性。

    Feb, 2024

  • ChatGPT备选方案：大型语言模型调查

    通过对多个LLM模型的研究，本文不仅提供了全面的概述，还明确了现有挑战，并指出了未来的研究方向。该综述提供了关于生成型人工智能的当前状态的全面观点，为进一步的探索、增强和创新提供了启示。

    Mar, 2024

  • 开源能超越ChatGPT吗？——文本到代码生成的大型语言模型比较研究

    本研究探讨了大型语言模型在文本到代码生成中的表现，特别是对比了Bard、BingChat、ChatGPT、Llama2和Code Llama等五种先进模型的能力。研究发现，ChatGPT在处理编程挑战方面远胜于其他模型，包括专门针对代码生成的Code Llama，展现出明显的性能优势。

    Sep, 2024

  • 部署开源大型语言模型：性能分析

    本研究解决了在部署开源大型语言模型（LLMs）时对性能评估缺乏明确标准的问题。通过在波尔多大学的Inria中心进行多项测试，本文比较了不同尺寸模型（主要是Mistral和LLaMa）的性能，并利用vLLM库优化推理。研究结果为希望部署LLMs的公共和私人团体提供了重要信息，促进了这类模型在各应用领域的采用和使用。

    Sep, 2024