我们提出了一种新颖的平台，用于评估大型语言模型（LLMs）自主撰写和评论跨科学、人文、教育和法律等各个学科的调研论文的能力。这个框架中，人工智能系统通过模拟同行评审机制进行操作，类似于传统学术期刊，人类组织者担任编辑监督职责。在这个框架内，我们为 2023 年 AutoML 会议组织了一次竞赛。参赛者的任务是根据指定提示撰写独立的文章，并对其进行评估。评估标准包括清晰度、参考文献适当性、责任性和内容的实质价值。本文介绍了竞赛的设计，包括实施基线提交和评估方法。

Oct, 2023

通过 AutoDetect 框架对大型语言模型进行自动检测，能够发现模型的弱点并指导改进，提高 LLMs 的性能。

Jun, 2024

该研究介绍了 AutoSurvey，这是一种快速而有组织的方法，用于自动化创建在人工智能等快速发展领域中的综合文献调查。AutoSurvey 通过初始检索和大纲生成、专门的大语言模型进行的分段起草、整合和完善，以及严格的评估和迭代来解决信息数量和复杂性带来的挑战。研究做出了全面的解决方案，提出了可靠的评估方法，并通过实验证实了 AutoSurvey 的有效性。

Jun, 2024

我们的研究引入了一个新的安全框架，利用多智能体大语言模型（LLMs）来保护自动驾驶车辆的敏感信息，同时确保 LLM 的输出符合驾驶规定和符合人类价值观。我们使用该框架评估了 11 个大语言模型驱动的自动驾驶提示的安全性、隐私性和成本方面，并对这些驾驶提示进行了问答测试，成功地证明了该框架的有效性。

Jun, 2024

提出了一种自动化的方法 AutoCodeRover，将 LLMs 与复杂的代码搜索能力相结合，从而实现对 Github 问题的自主解决，进而实现程序改进。

Apr, 2024

通过创新的自动协作框架，借鉴实际机器人开发者的经验，利用多个大型语言模型在分析、编程和测试等不同角色中合作，深入挖掘用户需求、生成精确代码，并根据用户反馈调整参数以实现复杂的机器人开发任务，无需专业知识，仅依靠非专家参与。

Feb, 2024

AutoMMLab 是一个通用的、基于 LLM（语言模型）驱动的 AutoML 系统，通过用户友好的语言界面，自动化计算机视觉任务的整个模型生产流程，并利用 LLM 作为桥梁连接 AutoML 和 OpenMMLab 社区，使非专家个体能够轻松构建特定任务的模型。

Feb, 2024

基于大型语言模型的原型管道可以在每次更新后自动细化和分解需求，还能对需求数据集进行审查，找出冗余或矛盾的需求，该研究通过多个迭代的设计科学，让不同公司的专家从定量和定性两个方面评估每个周期，最终在一个案例公司中实施了原型，并由负责团队评估其效率。

Mar, 2024

利用多模态大语言模型对自动驾驶视频进行自动分析，以提高安全性和可靠性，确保准确、可靠和可操作的危险检测，并改善安全事件检测和复杂环境交互的理解。

Jun, 2024

该研究介绍一种名为 RepoBench 的新基准，旨在评估特定于存储库的代码自动完成系统，该基准包含三个相互关联的评估任务：RepoBench-R（检索），RepoBench-C（代码完成）和 RepoBench-P（管道），每个任务分别衡量系统从其他文件中检索最相关的代码片段的能力作为跨文件上下文，使用跨文件和文件内上下文预测代码的下一行以及处理需要检索和下一行预测组合的复杂任务。

Jun, 2023