Sep, 2023

鲁棒优化蒙特卡罗的可扩展 Python 实现

PDF
TL;DR利用 Python 软件包 ELFI 实现的、前瞻性的高度并行化的 Robust Optimisation Monte Carlo（ROMC）似然无关推断（LFI）框架，用于从后验中提供准确的加权样本，可被科学家用作即插即用的 LFI 算法，也支持独立扩展 ROMC 的组件以进行方法解决，具有完全并行运行的功能，并提供了有助于检查推断过程和评估获得样本的功能，最后在典型的 LFI 例子上测试了实现的鲁棒性。
发现论文，激发创造
  • 使用编译器生成的强化学习反馈来调整代码模型

    通过反馈机制在 Large Language Models 中引入编译器和参考程序的验证，提高了自动生成代码的正确性和可执行性，实验结果表明 RLCF 提高了 LLMs 在 Java MBJP 和 MathQA 任务中的表现。

    May, 2023

  • 利用大语言模型为编程语法错误生成高精度反馈

    本文介绍了使用大型编程语言模型（LLMCs 和 Codex）来生成高精度、人类可理解的反馈，以帮助初学者在 Python 编程中解决语法错误等问题，并且提出了一种新的运行时验证机制，这种机制能够为教育者提供一个调节精度的旋钮，确保反馈的准确性。通过两个真实数据集的评估表明，这个技术能够在生成高精度反馈方面取得良好的效果。

    Jan, 2023

  • 利用强化学习和大型语言模型进行代码优化

    提出了一种建立在大型语言模型和强化学习基础上的框架，用于减少代码优化的复杂性并提供更高的效率和可靠性。

    Dec, 2023

  • 应用 RLAIF 用于轻量级 LLMs 中的 API 使用的代码生成

    使用 AI 反馈的强化学习（RLAIF）已在多个领域展示了巨大的潜力，包括减少 LLM 输出中的伤害、提升文本摘要以及数学推理等。本文引入了一个 RLAIF 框架，用于提高轻量级（小于 1B 参数）LLMs 的代码生成能力，特别关注需要编写适当 API 调用的代码生成任务，并通过专门的提示策略从更大的 LLM（例如 GPT-3.5）中提取 AI 反馈数据，用于训练更小 LLMs 的奖励模型以实现更好的对齐。我们在 Gorilla 数据集上运行实验，并通过 AST、ROUGE 和 Code-BLEU 等多个指标精确评估模型生成的代码的质量，并开发一个能够准确计算其可执行性率的流程。我们的方法显著提升了微调 LLM 基线的性能，使可执行性率提高了 4.5%。值得注意的是，使用 RLAIF 训练的一个更小的 LLM 模型（780M 参数）超过了一个具有 7B 参数的更大的微调基线，使得代码的可执行性率提高了 1.0%。

    Jun, 2024

  • 教授机器人行走的同时也教给它们交易 —— 使用知情数据和 LLMs 进行制度自适应执行

    通过强化学习算法从市场反馈中动态适应迁移和协方差偏移，从而提高金融市场预测精确性，并且在现有基准任务和最近提出的任务中表现优于其他模型。

    Jun, 2024

  • 利用大型语言模型的反馈加速机器人操控的强化学习

    通过利用大型语言模型的及时反馈，Lafite-RL（语言代理反馈互动式强化学习）框架使强化学习智能体能够有效地学习机器人任务，实验结果表明，Lafite-RL 智能体在自然语言的简单提示设计下，通过大型语言模型的引导在学习效率和成功率方面优于基准模型，凸显了大型语言模型所提供的奖励的功效。

    Nov, 2023

  • RLingua：利用大规模语言模型提高机器人操作中的强化学习样本效率

    利用大型语言模型 (LLM) 的内部知识，提出一种名为 RLingua 的框架，以减少强化学习在机器人操作中的样本复杂性。

    Mar, 2024

  • 机器人序列决策学习和推理在不确定性下的应用

    本文介绍了一种名为 LCORPP 的机器人 SDM 框架，通过使用混合推理范式提高状态估计器，提供概率规划器的有用先验知识，以估计人类意图和进行规划，实验表明此框架比无学习和无推理的对应框架在办公环境中具有更高的效率和准确性。

    Jan, 2019

  • 性能对齐的 LLM 用于生成高效代码

    通过引入强化学习的方法，将代码 LMM 的输出与性能对齐，提高生成代码的期望加速比，并在一组基准任务中展示了 0.9 至 1.6 倍的串行代码速度提升和 1.9 至 4.5 倍的 OpenMP 代码速度提升。

    Apr, 2024

  • 基于逻辑约束强化学习的认证策略合成

    LCRL 使用 Limit Deterministic Buchi Automata（LDBA）来表达给定的线性时间规范，并利用 LDBA 结构来实时塑造强化学习算法的奖励函数。在适当假设下，理论保证强化学习算法收敛到最优策略，最大化满足概率。案例研究表明，相对于传统 RL 方法，由于 LDBA 引导的探索和 LCRL 的无模型架构，我们观察到 CCRL 的鲁棒性表现更好，而且在可应用于 LTL 规范的情况下，性能也得到了良好的扩展。

    Sep, 2022