Jun, 2023

Orca：从 GPT-4 复杂解释跟踪中渐进式学习

PDF
TL;DROrca 是一个学习仿真大型模型（LFMs）的推理过程的 130 亿参数模型，通过从 GPT-4 和 ChatGPT 的帮助中获取详细的信号来学习。Orca 在复杂的零 - shot 推理基准测试中的表现超过了 Vicuna-13B 等学习指令调整模型，与 ChatGPT 在 BBH 基准测试中达成并行，并在职业和学术考试中展现出竞争力。
imitation learninglarge foundation modelsorcareasoning processstep-by-step explanations
发现论文，激发创造
  • Orca 2: 教授小型语言模型进行推理

    Orca 2 通过学习丰富的信号，诸如解释追踪等，使其在 BigBench Hard 和 AGIEval 等基准测试中优于传统的经过指导调整的模型。

    Nov, 2023

  • 鲸鱼数学：释放初高中数学中 SML 的潜力

    Orca-Math 是一个基于 Mistral-7B 的 70 亿参数 SLM，它能够在 GSM8k 上达到 86.81% 的准确率，无需多次调用模型或使用验证器、代码执行或其他外部工具。

    Feb, 2024

  • 大型语言模型作为用户模拟器

    通过从真实人机对话中提取的人类问题作为学习目标，我们训练出了用户模拟器 UserGPT，产生了高质量的以人为中心的合成对话数据集 RealChat。实验结果表明，我们的模型在 Vicuna-Bench 和 MT-Bench 中优于基线模型，手动评估也表明我们的模型具有极高的竞争力。通过与最新 LLaMA 2 模型进行微调，ReaLM 在 MT-Bench 中获得了 6.33 的领先分数，超过了其他同等规模的模型，包括 LLaMA-2-7B-chat 模型。我们的方法还展示了可扩展性和可迁移性，并对训练集数据质量与模型性能之间的相互作用进行了初步探索，为未来的研究奠定了坚实的基础。

    Aug, 2023

  • ORCA：通过定位预训练数据海洋中的支持数据证据解释提示型语言模型

    本文旨在探究预训练模型在零样本情况下的特定任务认知。通过对支持数据证据进行迭代使用，可以发现 BERT 在情感分析和文本蕴含任务中对 BookCorpus 预训练数据的大量依赖，以及对掩盖任务动词词汇同义词的预训练示例的依赖。

    May, 2022

  • LogiCoT：使用 GPT-4 进行逻辑思维指令调整数据收集

    本研究提出了 LogiCoT，它是一种新的指令调整数据集，旨在通过 Logical Chain-of-Thought 推理，帮助 GPT-4 处理复杂的推理任务，并引出了通用的推理技能。

    May, 2023

  • 代理指导大型语言模型成为普适零样学习推理器

    改善大型语言模型在通用语言理解任务上的零样本推理能力的方法，通过建立一个自动代理来指导大型语言模型的推理过程，将零样本推理能力进一步发挥到更多任务中，取得了在众多数据集上的最先进的零样本性能。

    Oct, 2023

  • Orca: 中文对话式机器阅读理解的小样本评测

    本篇论文提出了第一个中文对话阅读理解基准 Orca，并提供了零样本 / 少样本设置来评估模型的领域通用能力，包含社交媒体平台上 33 个领域的 831 个热门话题驱动的对话，并实现了三个强基线模型来解决 Orca 中的挑战。

    Feb, 2023

  • OceanGPT：用于海洋科学任务的大型语言模型

    OceanGPT 是第一个专注于海洋领域的大型语言模型，通过 DoInstruct 框架和 OceanBench 评测系统，在海洋科学任务上展示了更高水平的知识专业性，并在海洋技术中具备初步的具身智能能力。

    Oct, 2023

  • GPT-3.5 与 GPT-4：在零样本学习中评估 ChatGPT 的推理性能

    本文对 GPT-3.5 和 GPT-4 进行全面技术评估，发现 GPT-4 在几乎所有测试任务中优于 GPT-3.5，并提出一组改良数据来提高两种模型的零样本学习能力。

    May, 2023

  • Parrot: 通过学习提问增强多轮聊天模型

    通过引入 Parrot，一种具有高可扩展性的解决方案，我们在多轮对话中自动生成高质量的指导语料，并利用这些语料来提高聊天模型在多轮对话中的效果。

    Oct, 2023