input modalities | BriefGPT

关键词input modalities

搜索结果 - 8

朝向通用和盲目的 RGB-X 追踪器
我们展示了在 RGB-X 视频目标跟踪上，在统一化时的专门化不必要，通过使用一种称为 XTrack 的单一模型跟踪器，在推理过程中对任何模态 X 保持盲目，以实现输入模态的统一，并实现专门模态的信息表示，从只有配对数据开始，通过简单的训练过
PDFa month ago
交互式机器人学习中联合模态的力量
研究通过探索机器人学习与人类互动，并研究多元输入模式对学习结果的影响，引入了 “元模态” 这一概念，包含了传统偏好和标量反馈机制之外的其他反馈形式，不同于以往仅关注于单个元模态的研究，本研究评估了它们在学习结果上的综合效应，研究发现，虽然单
PDF2 months ago
使用文本、视听、音频或生理信号进行机器学习的共情检测
我们系统地收集并筛选了 10 个著名数据库中的 801 篇论文，并对选中的 54 篇论文进行了分析。我们将这些论文根据共情检测系统的输入模态（文本、视听、音频和生理信号）进行分组，并对模态特定的预处理和网络架构设计协议、常用数据集描述和可用
PDF8 months ago
机器学习预测作物产量：基于田地和子田水平的输入模式和模型的广泛分析
通过使用多个具有不同时空分辨率的输入模态处理作物产量预测问题，我们提出了一种简单而有效的早期融合方法。我们使用高分辨率作物产量图作为训练数据，通过亚区域的农作物和机器学习模型不受限地处理。我们使用 Sentinel-2 卫星图像作为主要输入
PDF10 months ago
基于多模态自蒸馏的医学图像分割模态不可知学习
本研究提出了一种新的框架，Modality-Agnostic learning through Multi-modality Self-dist-illation (MAG-MS)，用于研究输入多模式的影响，以增强个体模式的表示学习，从而提
PDFa year ago
自校准界面交互介绍
介绍了自校准接口范式，如何从经过预校准的接口逐步迈向自我校准的接口，以及在增加输入方式的复杂度的同时如何通过支持插图、互动演示和视频等方式提供直观易懂的示例。
PDF2 years ago
CVPR通过即时梯度调控实现平衡多模态学习
本文研究了多模式学习中可能存在的优化失衡问题，提出了一种新的梯度调节方法，通过动态监测不同输入模态的贡献来自适应地优化每个模态，以解决某些场景下存在的支配模态问题，并且在不同的多模式任务中能够获得显著的改进效果。
PDF2 years ago
UniT：统一变形器进行多模态多任务学习
我们提出了一种名为 UniT 的统一 Transformer 模型，该模型可以同时学习不同领域中最重要的任务，从目标检测到自然语言理解和多模态推理，在编码器 - 解码器架构的基础上，通过编码器对每个输入模态进行编码，并使用共享解码器对编码的
PDF3 years ago