ICMLSep, 2019

可微交叉熵方法

PDF
TL;DR本文研究交叉熵方法在非凸优化中的应用，并提出了一种可微分的变体。在应用上，我们在合成能源预测任务和非凸连续控制中展示了其效果。特别是，我们展示了如何将最优的行动序列嵌入到一个低维空间中进行控制，从而通过策略优化来对基于 CEM 的控制器进行微调。
cross-entropy methodnon-convex optimizationdifferentiable variantstructured prediction taskcontinuous control
发现论文，激发创造
  • 实时规划的高样本利用率交叉熵方法

    本文提出了改进的 CEM 算法，包括时间相关动作和内存等创新性的增加，可以在高维控制问题中使用，减少了采样次数并提高了 1.2-10 倍的性能表现。

    Aug, 2020

  • 控制交叉熵损失

    本论文介绍了 Tamed Cross Entropy（TCE）损失函数，它是深度学习中用于分类任务的标准交叉熵（CE）损失的一个鲁棒派生物。通过使用 ResNet 架构在人工污染的四个图像数据集上进行评估，证明了 TCE 损失在所有测试场景中优于 CE 损失，并且不需要改变训练方案与 CE 损失相同。

    Oct, 2018

  • U-CE: 语义分割的不确定性感知交叉熵

    利用动态预测不确定性的像素权重加权 U-CE（Uncertainty-aware Cross-Entropy loss）训练方法在两个基准数据集上优于传统 CE（cross-entropy loss）训练方法，提高了安全关键应用中更稳健可靠的分割模型的性能和可信度。

    Jul, 2023

  • 基于采样网络引导的无监督点云配准交叉熵方法

    本文提出了一种基于交叉熵方法的端到端深度学习模型，用于无监督的点云配准任务，通过定义奖励函数及构建融合分数函数等方式进行最优化的点云配准，可优化配准算法 ICP 需要较高的计算量问题。

    Sep, 2021

  • 使用累计交叉熵损失的序列推荐有效高效训练

    本文提出了一种基于序列的 Cumulative Cross-Entropy (CCE) 损失函数，在不使用负采样的情况下有效地训练了三种最先进的推荐模型，针对序列推荐系统中存在的缺陷，重点解决了序列信息利用率低的问题，并在五个基准数据集上进行了广泛的实验。

    Jan, 2023

  • 利用 Jarzynski 等式高效训练基于能量的模型

    本文介绍了一种基于 Jarzynski 平等和序贯蒙特卡洛抽样工具的改进型未校正 Langevin 算法来更有效地计算交叉熵的梯度，避免了标准对比散度算法中存在的不可控逼近问题，在高斯混合分布和 MNIST 数据集上的实验结果均显示该方法优于对比散度算法。

    May, 2023

  • 一个惊人简单的连续行为 POMDP 求解器：基于策略树的惰性交叉熵搜索

    本研究提出了一种名为 LCEOPT 的简单在线 POMDP 求解器，通过使用迭代更新策略的分布，从而能够更好地解决具有连续动作空间的问题。

    May, 2023

  • MixCE: 通过混合正向和反向交叉熵训练自回归语言模型

    本文提出使用 MixCE 目标函数来学习自回归语言模型，该目标函数结合了前向交叉熵和反向交叉熵，以更好地生成类人文本。实验表明，在合成数据和真实数据上，使用 MixCE 训练的模型生成的文本比使用传统方法更好。

    May, 2023

  • 众包标签深度学习：交叉熵最小化、可识别性和正则化

    本文提出了一种基于深度学习的端到端系统，利用嘈杂的众包标签，通过多个注释器特定的 label confusion 层和参数耦合的方式，与神经分类器同时学习标签纠正机制，并提出了 CCEM 的正则化变种，以增强目标模型参数的可识别性。

    Jun, 2023

  • 机器学习中提高能量保存下降的理论与实践

    本研究基于能量守恒下降理论，通过引入 ECDSep 优化算法，提出一种新的基于梯度求解凸优化问题和非凸优化问题的方法，该方法基于混沌能量守恒的动力学系统，并能够在不依赖于对称性的高维问题中控制优化结果的分布，本文在大量机器学习问题上比较了该方法和一些流行的优化算法，发现在各个任务中均能达到竞争或更好的性能。

    Jun, 2023