- 未来预测能成为部分可观察环境中良好历史表达的有力证据
在部分可观察环境中,学习历史表征是强化学习的核心挑战之一。本文通过未来预测的方式探究了历史表征学习的有效性,并证明了强化学习的性能与未来观察的预测准确性密切相关。同时,该方法可以阻止高方差嘈杂信号对表征学习的影响,显著改善整体端到端方法。通 - 自动驾驶中的感知与预测的隐性空间流场
自动驾驶车辆的感知和未来预测需要用一个神经网络隐式地表示一定时间内的占用情况和流动性,以及通过使用有效的全局注意机制来克服先前显式占用预测方法的有限接受域的问题。
- 用语言学习建模世界
为了与人类进行互动,代理机构需要理解人们使用的各种语言类型,将其与视觉世界联系起来,并根据这些语言进行行动。本文提出了 Dynalang,这是一种代理机构,它学习了一个多模态世界模型,预测未来的文本和图像表示,并学会根据想象的模型展开行动。 - 实时自我中心动作预测:一种评估方案和方法
为了进行流式自我中心行动评估,我们提出了一种基于前馈 3D 卷积神经网络和知识蒸馏技术的轻量级行动预测模型,该模型基于过去到未来的蒸馏损失进行优化,实验表明,这种预测能力优越的模型以及针对廉价设备的轻量级方法在自我中心行动预测场景中性能更佳 - MM利用液态时间常数网络预测定向毫米波链路的阻塞
该论文提出使用液态时间常数网络以接收信号功率作为输入来预测毫米波链路的未来阻碍状态,实验结果表明在不指定情境数据下最高可达 97.85%的准确率。
- 心理模拟的神经基础:动态场景潜在表征的未来预测
通过构建多种感知认知网络模型预测复杂的动态环境,研究发现灵长类动物的神经机制和行为模式与未来在动态可重用视觉表达上的预测最为一致。
- CVPR开车前三思:面向端到端自动驾驶的可扩展解码器
本文提出基于编码器 - 解码器范式的自动驾驶任务中,充分发挥编码器能力和增加解码器容量的方法,以及在预测车辆行为的同时提取安全关键区域信息,实现闭环自动驾驶,并在 CARLA simulator 上取得了优秀的表现。
- ICLR学习涡动力学进行流体推理和预测
提出一种新的可微旋涡质点方法,以从单个视频中推断和预测流体动力学,通过学习可变换的旋涡到速度动态映射将复杂的流体特征有效捕获在物理约束的低维空间中,并建立一个适合输入视频的流体模拟器来提供稳健,长期的未来预测。
- 结构与运动的随机视频预测
本文提出了将视频观察结果分解为静态和动态部分,分别建模于场景结构和车辆主体运动、动态物体运动,来分离结构和运动的影响,从而更好地预测复杂驾驶场景中的未来运动。
- MultiPath++: 用于行为预测的高效信息融合和轨迹聚合技术
本文提出了一种基于 MultiPath++ 的自动驾驶未来行为预测模型,通过稀疏编码和上下文感知融合等优化,使用深度学习实现了对未来行为的高质量预测,达到了领先水平。
- ICCVFIERY: 从围绕式单目摄像机的鸟瞰视角中预测未来实例
FIERY 是一种用于自动驾驶的概率性未来预测模型,通过评估鸟瞰视图预测周围 RGB 单目摄像机输入的模态未来轨迹来模拟未来的随机性,并结合了传统自动驾驶系统的感知、传感器融合和预测部分,能够在不依赖高清地图的基础上实现未来实例分割和动态代 - 空间 - 时间图形循环神经网络用于点云预测
提出一种端到端学习网络,用于预测点云序列中的未来帧,其中网络以点云的拓扑信息作为几何特征学习初始层,形成代表性的时空邻域,在多个 Graph-RNN 单元中学习点的动态(即 RNN 状态),并与时空邻近点一起处理。测试结果表明,我们的方法在 - RegFlow: 未来预测的概率流回归
本文提出了一种弹性且鲁棒的概率框架 RegFlow,采用超网络架构和连续正常化流模型进行训练,无需对未来状态的单峰性或概率分布做出任何限制,成果在多项基准数据集上表现优于竞争方法。
- ECCV针对人类活动预测的对抗生成语法
该论文提出了一种敌对生成语法模型,可以显式地捕捉时间依赖关系和多个未来活动的预测能力,并通过选择多个生成规则来有效地模拟许多可能的未来,并在多个数据集上表现出更好的表现。
- ICLR自我预测表示法的数据有效强化学习
本文提出了自回归表示 (Self-Predictive Representations, SPR) 方法,使用深度强化学习方法,并结合自监督目标和对视觉输入和与环境的交互结构的预测,提高了代理器的学习效率,并在 Atari 游戏中显著提高了 - ECCV用于长距离视频理解的时间聚合表示
本文提出了一种灵活的多粒度时间聚合框架,用简单的技术如最大池化和注意力实现了最新的下一步行动和密集预测,并在 Breakfast,50Salads 和 EPIC-Kitchens 数据集上取得了最新的实验结果,且兼容于视频分割和动作识别。
- ECCVPiP:面向自动驾驶的规划感知轨迹预测
为了实现自动驾驶规划的社交合规和灵活性,我们提出了以规划为基础的轨迹预测(PiP)方法,通过利用自车的规划信息来指导预测过程,实现了在高速公路数据集上多智能体预测的最佳表现。此外,我们的方法通过将 PiP 与自车多个候选轨迹相结合,实现了预 - ECCV视频场景理解的概率未来预测
本文提出了一种新颖的深度学习架构,用于从视频中进行概率未来预测。该模型可以预测城市场景中的未来语义、几何和运动,并将此表示用于控制自动驾驶车辆。
- ICCV组合式视频预测
本研究提出了一种基于场景物体的运动特征的像素级未来预测方法,采用隐式预测物体的未来状态并考虑它们之间的相互作用,通过全局轨迹水平的潜在随机变量对任务多模态进行克服,并在两个数据集上进行了实证验证。
- CVPR克服混合密度网络的限制:一种适用于多模态未来预测的采样和拟合框架
本文介绍了一种在预测未来时考虑多模态不确定性的方法,该方法使用了赢者通吃损失和迭代分组策略,能够有效避免模式崩溃问题。同时本文讨论了多模态分布的评估方法,包括只有一个样本时的实际应用情景。