双曲深度强化学习

Oct, 2022

Hyperbolic Deep Reinforcement Learning

Edoardo Cetin, Benjamin Chamberlain, Michael Bronstein, Jonathan J Hunt

TL;DR本文提出了一种新的深度强化学习算法类，其中建模超螺旋空间中的潜在表示。通过使用超螺旋几何提供深度强化学习模型以精确编码本质上分层的信息，借此进行任务相关的关键演化特征的关系捕捉。然而，现有方法中的优化稳定性问题导致 RL 梯度估计器的非稳态和方差性，本文通过设计了一种新的通用方法来解决这些问题并实现深度超螺旋表示的稳定端到端学习，并在 Procgen 和 Atari 100K benchmarks 上验证了该框架的有效性。

Abstract

We propose a new class of deep reinforcement learning (RL) algorithms that model latent representations in hyperbolic space. Sequential decision-making requires reasoning about the possible future consequences of

deep reinforcement learning hyperbolic geometry latent representations optimization end-to-end learning

发现论文，激发创造

双曲深度神经网络：一份调查

本文介绍了超半径神经网络的模型以及各个组成部分，探究了其在超几何空间的深度学习方法、机器学习任务上的应用，提出了未来研究方向。

Jan, 2021

计算机视觉中的双曲深度学习：一项调查

本文介绍超几何学习在计算机视觉中的应用，并提出了三个主要的研究主题，包括超几何学习的实现、已有研究中的关键问题以及相关领域的未来方向。

May, 2023

在双曲空间中的鲁棒大间隔学习

本文针对数据具有分层结构的情况，提出了一个算法，通过对抗性示例注入的方式，有效地学习了一个能够在如下情况下使用的大边际超平面：数据具有分层结构，嵌入到双曲空间的性能不劣，且直接在双曲空间中学习分类器时的维度较低。

Apr, 2020

双曲神经网络

通过将 M"obius gyrovector 空间的形式主义与 Poincarе模型的 Riemannian 几何相结合，我们提出了重要深度学习工具的超几何版本：多项式逻辑回归、前馈和循环神经网络。这样可以在超几何空间中嵌入序列数据并进行分类。实验证明，即使超几何优化工具受限，超几何句子嵌入在文本蕴含和噪声前缀识别任务中的表现要么优于，要么与欧几里得变体相当。

May, 2018

双曲表征学习：再探和提高

本文提出了一种名为 “超宾说外显”（HIE）的方法，通过使用节点到原点的超宾距离（即超宾范数）推导出的无成本分层信息来改进现有的超宾表示方法，并在各种模型和不同任务上的广泛实验中展示了该方法的多功能性和适应性。

Jun, 2023

超几何图表征学习：教程

介绍了基于超伽马空间表示的图形学习的前沿技术，并重点介绍了超伽马浅层模型和超伽马神经网络技术以及其组件变体的技术细节，同时讨论了超伽马几何图形表示学习的进阶主题。

Nov, 2022

SOLAR: 基于深度结构化表示的模型驱动强化学习

本文提出了一种适合于迭代模型增强策略，即使在具有复杂图像观测的情况下，学习简单动态和成本模型的表示方法，使得基于线性二次调节器（LQR）的基于模型的 RL 方法可用于具有图像观测的系统，并在包括通过图像直接操作真实世界机器人臂的操作中评估该方法，发现我们的方法相比其他基于模型的 RL 方法产生更好的最终性能，同时比无模型 RL 更高效。

Aug, 2018

极超伪双曲表示学习

本文提出了一种基于常曲率伪黎曼流形的表示方法，适用于非欧几里德结构数据的机器学习。该方法的优化方法及应用于图表示的实验结果也被给出。

Jul, 2020

HypLL：双曲线学习库

该研究提出 HypLL，基于 PyTorch 框架来实现在双曲空间中进行深度学习，以此来解决传统深度学习框架在处理层级数据和嵌入维度较少的数据方面存在的问题。

Jun, 2023

双加号双加号双曲神经网络 ++

本文介绍了一种基于 Poincaré ball 模型的新型超似曲空间神经网络，该网络构建了多项式逻辑回归、全连接层、卷积层和注意机制，更高效地捕捉数据的分层结构，并在参数效率、稳定性和表现方面优于现有的超似曲组件及欧几里德同类模型。

Jun, 2020