Aug, 2020

实时规划的高样本利用率交叉熵方法

PDF
TL;DR本文提出了改进的 CEM 算法，包括时间相关动作和内存等创新性的增加，可以在高维控制问题中使用，减少了采样次数并提高了 1.2-10 倍的性能表现。
trajectory optimizersmodel-based reinforcement learningcross-entropy methodsampling inefficiencyreal-time planning
发现论文，激发创造
  • 可微交叉熵方法

    本文研究交叉熵方法在非凸优化中的应用，并提出了一种可微分的变体。在应用上，我们在合成能源预测任务和非凸连续控制中展示了其效果。特别是，我们展示了如何将最优的行动序列嵌入到一个低维空间中进行控制，从而通过策略优化来对基于 CEM 的控制器进行微调。

    Sep, 2019

  • 基于采样网络引导的无监督点云配准交叉熵方法

    本文提出了一种基于交叉熵方法的端到端深度学习模型，用于无监督的点云配准任务，通过定义奖励函数及构建融合分数函数等方式进行最优化的点云配准，可优化配准算法 ICP 需要较高的计算量问题。

    Sep, 2021

  • 连续性情节控制

    本文提出了一种新型非参数迭代记忆算法 CEC 来解决具有连续动作空间的顺序决策问题，同时在多个稀疏奖励连续控制环境中表现出比最先进的无模型 RL 和记忆扩展 RL 算法更快的学习速度和更好的长期表现。

    Nov, 2022

  • 使用累计交叉熵损失的序列推荐有效高效训练

    本文提出了一种基于序列的 Cumulative Cross-Entropy (CCE) 损失函数，在不使用负采样的情况下有效地训练了三种最先进的推荐模型，针对序列推荐系统中存在的缺陷，重点解决了序列信息利用率低的问题，并在五个基准数据集上进行了广泛的实验。

    Jan, 2023

  • CEM-RL: 将进化和梯度方法结合应用于策略搜索

    本文提出了一种新的方法 CEM-RL，将深度神经进化算法和深度强化学习算法相结合，选取 Twin Delayed Deep Deterministic policy gradient 和交叉熵方法，并在深度 RL 的一组基准测试中进行评估，结果表明 CEM-RL 在性能和样本效率之间取得了令人满意的平衡。

    Oct, 2018

  • 一个惊人简单的连续行为 POMDP 求解器：基于策略树的惰性交叉熵搜索

    本研究提出了一种名为 LCEOPT 的简单在线 POMDP 求解器，通过使用迭代更新策略的分布，从而能够更好地解决具有连续动作空间的问题。

    May, 2023

  • 序贯实验设计中的交叉熵估计与强化学习

    该研究提出了一种基于交叉熵的替代下界估计方法，其使用灵活的提议分布来近似模型参数的真实后验，不需要对比样本，并且可以在多种任务中实现更加准确的估计和学习。

    May, 2023

  • 基于交叉熵引导策略的连续动作 Q 学习

    本文提出了一个名为 Cross-Entropy Guided Policies (CGP) 的新方法来将 Q-learning 与使用 Cross-Entropy Method (CEM) 的迭代采样策略相结合，以提高其在连续值动作域中的运行速度和稳定性。

    Mar, 2019

  • SimCE：简化协同过滤中的交叉熵损失

    学习目标对协同过滤系统至关重要，贝叶斯个性化排名（BPR）损失广泛用于学习信息丰富的骨干。然而，BPR 往往收敛较慢且局部最优解不理想，部分原因是因为它仅考虑每个正样本一个负样本，忽视了其他未观察到项目的潜在影响。为了解决这个问题，最近提出的采样 Softmax 交叉熵（SSM）将一个正样本与多个负样本进行比较，从而提高了性能。我们的综合实验证实，推荐系统在训练过程中始终受益于多个负样本。此外，我们引入了一种简化的采样 Softmax 交叉熵损失（SimCE），该损失使用其上界简化了 SSM。我们在 12 个基准数据集上进行验证，使用 MF 和 LightGCN 骨干，结果显示 SimCE 在性能上明显优于 BPR 和 SSM。

    Jun, 2024

  • U-CE: 语义分割的不确定性感知交叉熵

    利用动态预测不确定性的像素权重加权 U-CE（Uncertainty-aware Cross-Entropy loss）训练方法在两个基准数据集上优于传统 CE（cross-entropy loss）训练方法，提高了安全关键应用中更稳健可靠的分割模型的性能和可信度。

    Jul, 2023