Jun, 2024

交互演化：用于大型语言模型的神经符号自训练框架

PDF
TL;DR通过研究所提出的名为 ENVISIONS 的环境引导的神经符号自训练框架，我们克服了符号数据的稀缺性和大型语言模型处理符号语言的能力有限这两个主要挑战，从而在三个不同领域的广泛评估中展示了我们的方法的有效性，并进行了全面分析以揭示贡献到 ENVISIONS 成功的因素，为未来的研究提供了有价值的见解。
发现论文，激发创造
  • 大型语言模型的自我演进调研

    自进化方法是通往超级智能的大语言模型的训练范式，本文概述了大语言模型中自进化方法的综合调查，包括概念框架、演化目标、现有挑战和未来发展方向。

    Apr, 2024

  • 自我驱动的语言模型大规模自我演进

    使用自我进化与语言反馈的创新方法，自主学习和发展自主人工智能的关键，使大型语言模型在不同领域展现出了非凡的适应能力。

    Oct, 2023

  • 利用自我训练大型语言模型改进视觉程序合成与视觉强化

    利用交互式经验反馈改进大规模语言模型的视觉程序合成能力，通过利用现有的视觉语言任务注释为该任务创造一个粗略的奖励信号，将语言模型作为一种策略，并应用增强的自训练，显示出在对象检测、复合视觉问答和图像 - 文本检索方面，经过自训练的语言模型在每种情况下优于或与量级更大的少样本冻结的语言模型相媲美。

    Apr, 2024

  • 大型语言模型是可解释学习者

    大型语言模型与符号程序的结合可以在构建人类中心预测模型时解决表达力和解释性之间的平衡问题。

    Jun, 2024

  • 语言模型进化：迭代学习视角

    本文介绍了大型语言模型（LLMs）的迭代交互，以及多代理 LLM 系统和人类文化进化之间的相似之处，并运用迭代学习（IL）贝叶斯框架解释 LLMs 的一些行为特征，并通过实验证实了该理论框架的预测，有望更有效地预测和引导 LLMs 在期望的方向上的进化。

    Apr, 2024

  • 符号学习推动自进化智能体

    通过使用代理符号学习的系统性框架，本文介绍了一种使语言代理能够在数据中心的方式下自我优化的方法，为实现人工通用智能提供了关键的可能性。

    Jun, 2024

  • 基于大语言模型的对话式生成自动驾驶仿真场景

    本文描述了一个支持扩展多模态交互的系统，通过使用大型语言模型 (LLMs) 将用户的英语语句映射到领域特定的代码，我们探索了 LLMs 在上下文敏感性方面捕捉演算发言者意图的程度。

    Oct, 2023

  • 通过知识检测自我训练大型语言模型

    该论文研究自训练范式，其中大型语言模型 (Large language models, LLMs) 通过自主策划标签并选择性地在未知数据样本上训练，以显著改善多个主题中生成中的虚构问题。此外，选择性训练框架在处理超出分布基准的灾难性遗忘时具有重要意义，解决了训练 LLMs 过程中的关键限制。我们的研究结果表明，这种方法可以大幅减少对大规模标记数据的依赖，为更可伸缩和经济有效的语言模型训练铺平了道路。

    Jun, 2024

  • 自我解读：大型语言模型嵌入的自我解释

    通过使用自然语言解释嵌入，SelfIE 可以揭示大型语言模型的内部推理过程，从而实现对其推理过程的解释和控制，进而提高可靠性、透明度和未来模型发展的能力。另外，我们提出了监督控制和强化控制的方法，分别用于编辑开放性概念和消除有害知识。

    Mar, 2024

  • 利用图像理解的自我训练增强大型视觉语言模型

    采用自我训练方法提高大型视觉语言模型在图像理解方面的能力，通过自动生成偏好图像描述来构建图像理解的偏好数据集，利用少量的现有数据进行自我改进，验证了其在七个不同基准测试中的有效性和潜力。

    May, 2024