Jul, 2024

基础模型工程化：将基础模型与工程化软件一样进行工程化

HTML
PDF
TL;DR基于数据和模型作为源代码的观念，Foundation Models (FMs)成为了一种新型软件。为了应对即将到来的FM危机，从软件工程领域引入基础模型工程(FM engineering)的战略性响应。FM engineering旨在通过引入声明式、自动化和统一的编程接口来缓解FM开发和应用中潜在的问题，从而为开发人员提供更结构化和直观的过程，减少与FMs相关的复杂性。通过建立FM engineering框架，我们旨在提供一个强大、自动化、可扩展的解决方案，应对即将面临的挑战，并发掘软件工程领域的新研究机会。
发现论文，激发创造
  • 基础模型的机遇与风险

    AI基础模型的兴起，具有广泛数据训练和可适应下游任务的特点，其机制、应用和社会影响需要更多的跨学科合作来研究。

    Aug, 2021

  • 基础模型能否操纵您的数据？

    本文旨在探讨基础模型（FMs）在数据清洗和集成等传统数据任务中的表现，研究发现大型FM模型可以在这些任务中取得SoTA表现，并针对这一发现提出了相关挑战和机遇。

    May, 2022

  • 基础模型简介:历史、社会和技术焦点

    本文介绍了基础模型，深度学习中通过模型大小和训练数据广度和大小的扩展可以对未来的 AI 开发造成破坏。基础模型在各种任务领域（如自然语言处理和计算机视觉）中实现了最先进的性能，并且通过进一步的改进常常得到更好的表现。此外，模型的单一化可能会将众多特定任务的模型替换为由少数公司控制的更少数量的大型模型，从而导致对 AI 的权力和控制的转移，并出现新兴的行为方式：上下文学习。

    Dec, 2022

  • 基于Foundation Model的系统设计框架

    本研究提出了一个基于基础模型的系统分类法，涉及预训练和微调，基于基础模型的系统的体系结构设计以及负责任的AI-by-design。该分类法为基于基础模型的系统设计提供了具体的指南，并突出了设计决策带来的权衡。

    May, 2023

  • 基础模型与联邦学习的相遇：动机、挑战和未来方向

    本文探讨了基础模型和联邦学习之间的相互作用，旨在深化其协同作用的理解并挖掘这两个领域的潜力，鼓励未来的研究方向，以进一步提高隐私保护和可伸缩性的人工智能系统的发展。

    Jun, 2023

  • 基础模型的训练和服务系统：综合调查

    本文全面探讨了基础模型的训练和服务方法，提供了详细的分类，并总结了挑战和未来发展方向。通过全面的讨论和分析，为未来的研究和应用提供了坚实的理论基础和实践指导，促进基础模型系统的持续创新和发展。

    Jan, 2024

  • 基于Foundation模型的软件工程思考：一个开发可信FMware的挑战目录

    基于Large Language Models的FMware软件开发引发了一系列软件工程挑战，该研究讨论了这些挑战并提出了创新的解决方案，同时介绍了FMArts长期项目以及其在设计和开发可靠FMware方面的应用和学习经验。

    Feb, 2024

  • 基于联邦学习的基础模型协同优化: 一项综述

    基于联邦学习与基础模型的潜力和挑战以及核心技术、未来方向和应用的综述。

    Jun, 2024

  • 软件工程与基础模型：来自行业博客的见解

    本研究关注基础模型(FMs)在软件工程(SE)中的应用，填补了现有文献中实践者视角的空白。通过分析来自领先科技公司的155篇FM4SE和997篇SE4FM博客文章，我们发现代码生成是FMs在SE中的主要应用，同时也探讨了FMs在代码理解和API推荐等多项活动中的作用。研究提供了未来八个研究方向，旨在促进学术发现与实际应用之间的桥梁。

    Oct, 2024

  • 基础模型的倡导：从可解释性到可理解性

    本研究针对黑箱基础模型的可解释性和可理解性之间的差距，提出了一种新的可理解方法。该方法不仅克服了现有可解释方法在真实性和资源需求上的局限性，还深入分析了基础模型的工作原理，为未来研究指明了方向。

    Oct, 2024