Jun, 2023

Lingua Manga: 基于大型语言模型的数据治理系统

PDF
TL;DR本文介绍了 Lingua Manga 这一使用预训练大型语言模型的通用数据管理系统，该系统提供自动优化并适用于各种技术水平的用户。通过三个应用案例的演示，证明了 Lingua Manga 可以有效地帮助编程高手和低代码用户应对数据管理挑战。
data curationlingua mangalanguage modelslabel efficiencyuser-friendly
发现论文，激发创造
  • 基于大型语言模型的多语言代码协同演化

    使用大语言模型（LLMs），将代码更改从一种编程语言翻译成另一种编程语言，通过设计和实现名为 Codeditor 的第一个 LLM，我们发现它在所有常用的自动指标上都大幅超越了现有的方法，并且与现有的生成模型配合使用可以获得更好的性能。

    Jul, 2023

  • 战略数据排序：通过课程学习提升大型语言模型性能

    通过课程学习的数据中心培训策略，根据数据的不同指标进行排序可以提高大型语言模型的性能，而无需增加模型大小或数据集容量，从而解决大型语言模型培训中的可扩展性挑战。

    May, 2024

  • 精选 LLM：LLM 与数据整理在超低数据环境中的表格增强的协同效应

    通过结合大型语言模型的强大能力和强大的数据中心方法，利用数据增强方法提高低数据环境中机器学习的性能，从而为数据稀缺的领域和地区扩大机器学习的应用平台。

    Dec, 2023

  • 提升大型语言模型的数据生成能力

    本文提出了一种统一的数据创建流程，只需一个格式示例，适用于包括传统上问题较多的任务在内的广泛范围，通过实验证明使用指令跟随型大型语言模型创建的数据比使用人工标注的数据在分布外评估上表现更好（高达 17.5%），同时在分布内任务上保持可比较的性能，这些结果对于在现实世界中部署的自然语言处理系统的稳健性具有重要意义。

    Oct, 2023

  • 利用大型语言模型自动演化工业数据中心研发周期

    利用大语言模型（LLMs）让工业数据驱动研发循环自动演化的愿景。

    Oct, 2023

  • 用于鲁棒语言模型微调的自动数据整理

    通过自动数据加工管道 CLEAR (Confidence-based LLM Evaluation And Rectification) 对指令调谐数据集进行自动加工，提高模型性能。

    Mar, 2024

  • 利用大型语言模型进行软件模型补全：来自工业和公共数据集的结果

    通过实验证明了利用大语言模型进行软件模型完善的潜力，尤其在处理概念上没有或只有少量、嘈杂的示例时具有广泛的推理能力。

    Jun, 2024

  • 大型语言模型在数据处理中的应用：信息分段和更新的创新方法

    该研究调查了代码生成在 “特定领域” 应用中的有效方法，包括使用大型语言模型（LLMs）进行数据分割和更新，以及通过提示调整刺激 LLMs 更深入思考。我们以一款真实的公司产品为例，提供了用户手册、API 文档和其他数据。本文所讨论的思想有助于将这些数据分割并转换为语义向量，以更好地反映它们的真实定位。随后，将用户需求转换为向量以检索最相关的内容，在简单到中等复杂的任务中通过各种提示技术实现约 70% 的准确率。本文首次从这个角度增强了特定领域的代码生成效果。此外，我们还通过使用 llama2 进行基于微调的有限脚本生成实验，测试其在专业领域代码生成中的有效性。这是一个具有挑战性和有希望的领域，一旦实现，它不仅将在多个行业中取得突破，而且还能够使 LLMs 有效地理解和学习任何新知识。

    Nov, 2023

  • 大规模语言模型支持软件模型演化的自动化方法

    利用大型语言模型进行软件模型演化的研究，探索了大型语言模型在软件工程中支持软件模型演化的潜力，通过使用模拟模型仓库进行的实验评估，发现大型语言模型在软件模型演化方面有很大的潜力，并值得进一步探索。

    Dec, 2023

  • 增强语言模型数据整合的学习

    本篇论文研究了大型语言模型的局限性，提出了使用外部数据访问技术扩展语言模型的解决方法，并将其与数据集成的研究进行了比较，探讨了研究路径的启示。

    Apr, 2023