Aug, 2023

MLLM-DataEngine: 一个用于 MLLM 的迭代优化方法

PDF
TL;DR通过 MLLM-DataEngine 系统，该研究使用多模态的大型语言模型（MLLMs）进行数据生成、模型训练和评估，通过分析评估结果并生成适当的增量数据集和改进模型能力的迭代过程，以自动并有针对性地提升 MLLMs 的性能。
multimodal large language modelsmllm-dataenginedata generationmodel trainingevaluation
发现论文，激发创造
  • LLM2LLM：利用新的迭代数据增强提升 LLM 模型

    使用以预训练大型语言模型（LLM）为基础的 LLM2LLM 方法，通过数据增强和迭代，显著提高 LLM 在低数据情况下的性能，优于传统的微调和其他数据增强方法，减少了对数据策划的依赖，为更可扩展和高性能的 LLM 解决方案铺平了道路。

    Mar, 2024

  • 提升大型语言模型的数据生成能力

    本文提出了一种统一的数据创建流程，只需一个格式示例，适用于包括传统上问题较多的任务在内的广泛范围，通过实验证明使用指令跟随型大型语言模型创建的数据比使用人工标注的数据在分布外评估上表现更好（高达 17.5%），同时在分布内任务上保持可比较的性能，这些结果对于在现实世界中部署的自然语言处理系统的稳健性具有重要意义。

    Oct, 2023

  • 大型语言模型作为数据预处理器

    此研究拓展了大型语言模型（LLMs）的应用，探索了它们在数据预处理中的潜力，包括错误检测、数据插补、模式匹配和实体匹配任务。我们提出了一个基于 LLMs 的框架，用于改进模型的性能和效率。实验结果表明 LLMs 在数据预处理中具有巨大潜力。

    Aug, 2023

  • 自动化数据集更新以实现可靠和及时评估

    通过自动化数据集更新以可靠且及时进行评估，来解决大型语言模型面临的评估挑战及数据泄漏问题。

    Feb, 2024

  • 通过声明式众包重新审视提示工程

    大型语言模型（LLM）在理解和生成文本数据方面非常强大，但容易出错。本文提出了一种声明性提示工程方法，将 LLM 视为众包工作者，并借鉴了声明性众包文献的思想，包括多种提示策略、确保内部一致性和探索混合 LLM - 非 LLM 方法，使提示工程过程更加有原则。在排序、实体解析和插补方面的初步案例研究展示了我们方法的优势。

    Aug, 2023

  • 基于 LLM 的数据增强方法提升跨语言表现

    本研究探讨了利用大型语言模型进行数据增强在跨语言常识推理数据集中的潜力，通过使用包括 Dolly-v2、StableVicuna、ChatGPT 和 GPT-4 在内的大型语言模型来扩充三个数据集，确定了该方法的有效性，并比较了使用英语生成数据和将英语生成的数据翻译成目标语言。实验结果表明，使用 GPT-4 生成的合成数据进行训练的性能比其他模型优秀，ChatGPT 和 GPT-4 在大多数语言中生成的自然文本效果非常好，但在某些情况下，它们的效益会下降。

    May, 2023

  • 基于大型语言模型的文本转 SQL：基准评估

    本文对大型语言模型（LLMs）在 Text-to-SQL 任务中的应用进行了研究，提出了一种新的集成解决方案 DAIL-SQL，并通过实验证明了其在 Spider 排行榜上取得了 86.6% 的执行准确率。研究重点在于提示工程中的令牌效率和任务特定的监督微调。通过探索开源 LLMs 在 Text-to-SQL 中的潜力，以及任务特定的监督微调的优势和劣势，希望能够对 LLMs 在 Text-to-SQL 领域提供更深入的了解，并激发进一步的研究和广泛应用。

    Aug, 2023

  • 基于质量驱动数据选择的课程学习

    通过利用图像文字相互关系和模型困惑度评估选择数据的品质，本研究提出了一种利用两个属性在二维空间选择数据的数据选择方法。研究结果表明，相比于使用完整数据集，在五种常见能力上得到了显著提升，可以构建不同品质的多阶段子集以促进课程学习。

    Jun, 2024

  • 通过自身进一步优化 LLMs 的响应

    通过提示工程实现自我优化的响应精炼框架可显著提高 GPT-3.5 模型的表现，从而使其甚至超越目前领先的 GPT-4 模型。

    May, 2023

  • 利用大型语言模型自动演化工业数据中心研发周期

    利用大语言模型（LLMs）让工业数据驱动研发循环自动演化的愿景。

    Oct, 2023