May, 2023

中大型语言模型零样本闭卷生成问答的评估

PDF
TL;DR本文研究中等规模的语言模型在零 - shot 生成问答方面的性能，评估结果表明最佳模型的回答率可达 46.4％，使用适当的训练数据进行微调比仅仅依靠参数数量更为重要。
medium-sized language modelszero-shot generative question answeringtest datasethuman evaluationfine-tuning
发现论文，激发创造
  • 大型语言模型在语言学习中的口语智能

    评估大语言模型在教育中的功效，特别是在口语学习领域，引入新的多选题数据集评估模型在理解和应用口语知识方面的表现，研究不同提示技术对模型性能的影响，发现模型在音韵学、语音学和第二语言习得方面具有良好的概念理解，但在解决现实世界问题的推理方面存在限制，并初步探讨了对话交流的发现。

    Aug, 2023

  • 大型语言模型的零样本假设提出者

    大型语言模型 (LLMs) 可以作为催化剂引发新的科学发现，并指导进一步的探索。

    Nov, 2023

  • 大型语言模型：一份调查报告

    对大型语言模型（LLMs）进行了综述，包括三个流行的 LLM 系列（GPT，LLaMA，PaLM）的特点、贡献和局限性，同时讨论了构建和增强 LLMs 的技术、为 LLM 训练、微调和评估准备的常用数据集以及常用的 LLM 评估指标，最后讨论了未来的挑战和研究方向。

    Feb, 2024

  • 基于维基百科风格的调查问卷生成的大型语言模型：在 NLP 概念上的评估

    通过对计算机科学 - NLP 领域的 20 个选定主题进行研究和评估，本文证明了 GPT-4 相对于 GPT-3.5 在产生简明调查文章方面的成功，并揭示了 LLM 在特定领域应用中存在的问题和短板。

    Aug, 2023

  • 提升大型语言模型性能以更准确地回答问题和提取信息

    通过精调模型和对称相似度、LLM 评估和 Rouge-L 分数等指标的连续反馈循环来提高人工智能模型，利用金融数据集和检索增强生成技术 (RAG)，证明精调模型在问题回答能力方面能够超越零 - shot LLMs 的准确性。

    Jan, 2024

  • 多项选择问题回答中大型语言模型的局限性研究

    通过分析 26 个小型开源模型，发现 65% 的模型不能理解任务，只有 4 个模型能正确选择答案，其中只有 5 个模型对选项顺序无关，这些结果对于广泛使用 MCQ 测试的模型来说相当令人担忧。建议在任何情况下使用 MCQ 评估 LLMs 之前要小心谨慎地测试任务理解能力。

    Jan, 2024

  • 基于大型语言模型的金融文件零样本问答

    我们引入了一种基于大型语言模型的方法来回答需要多跳数字推理的复杂问题。我们的方法使用新颖的零样本提示，将所需的推理编码到 Python 程序或领域特定语言中，并通过程序解释器执行生成的程序，从而减轻了大型语言模型在执行准确的算术计算时的局限性。我们在三个财务数据集上评估了所提出的方法，使用一些最近开发的生成式预训练变压器模型，并与各种零样本基准进行比较。实验结果表明，我们的方法显著提高了大型语言模型在所有基线上的准确性。我们对结果进行了详细分析，生成支持我们发现的洞察。我们的方法的成功证明，通过设计有效利用嵌入在大型语言模型中的知识的零样本提示，可以提取复杂的领域特定数值推理的巨大潜力。

    Nov, 2023

  • 大语言模型的多语言机器翻译：实证结果和分析

    本文系统地研究了大型语言模型在多语言机器翻译中的优势和挑战，并在 102 种语言上评估了 XGLM、OPT、BLOOMZ 和 ChatGPT 四种常见模型的性能。在进一步分析中，本文发现大型语言模型在多语言机器翻译中具有一些新的工作方式。

    Apr, 2023

  • 零样本分类中的提示复杂度导航：计算社会科学中大型语言模型的研究

    在计算社会科学分类任务中，评估了 ChatGPT 和 OpenAssistant 两种公共可访问的 LLM 的零次效果，并研究了各种提示策略的影响。发现在零次设置下，当前 LLMs 无法与较小的经过微调的基线变压器模型（如 BERT）的性能匹配。此外，发现不同的提示策略可以显着影响分类准确性，准确性和 F1 分数的差异超过 10％。

    May, 2023

  • 大型语言模型是零样本推理器

    该研究发现预训练的大型语言模型可以成为良好的零样本推理器，提出了一种零样本的 CoT 方法，将其用于多种复杂的推理任务并取得了显著的性能提升。

    May, 2022