- 探索稀疏专家混合模型在多领域神经机器翻译中的潜力
我们关注多领域神经机器翻译,旨在开发能够处理训练期间见过的各种领域数据并对未见过的领域具有鲁棒性的高效模型。我们假设稀疏专家混合(SMoE)模型非常适合这个任务,因为它们能够实现高效的模型扩展,有助于适应各种多领域数据,并允许领域间参数的灵 - OMPO:一种面向策略和环境变化的强化学习统一框架
用各种策略和动力学集合的环境交互数据训练强化学习策略面临着基本的挑战,现有研究往往忽视由策略或动力学变化引起的分布差异,或依赖于带有任务先验知识的专门算法,从而导致子优的策略表现和高学习方差。本文提出一种统一的在线强化学习策略学习策略和动力 - CVPR朝着使用合成数据集进行真实工业零件分类
本文介绍了如何通过利用合成数据来有效地训练深度神经网络用于工业零件分类,特别是针对与实际图像之间的领域差异。通过引入一个合成数据集作为 Sim-to-Real 挑战的初步测试平台,其中包含了六个工业用例的 17 个物体,包括独立和组装部件, - 自动腹部 MRI 器官分割:基于 CT 标签生成的合成数据的应用
利用 CT 标签地图生成合成图像,应用于腹部器官分割的 U-Net 网络训练,在 Dice 分数方面与在 MR 数据上训练的完全监督分割方法相比表现出类似的结果。
- 野外三维形状重建的目标中心域随机化
通过领域随机化技术,我们提出了 ObjectDR 方法,通过对物体外观和背景进行随机模拟的方式,通过条件生成模型生成符合特定空间条件的图像,并通过预训练改进了现有的三维形状重建模型。
- 学习教学:提高师生学习中的样本效率,用于模拟到真实场景的迁移
模拟到现实的迁移是机器人学习的一个基本问题,本文提出了一种学习框架,通过引入师生学习范式和样本高效性,解决了培训中噪声观测造成的困难,实现了模拟环境下机器人的高性能表现。
- 视频游戏实现的无仿真器视觉领域随机化
BehAVE 是一个视频理解框架,通过利用多样性的商用视频游戏作为领域随机化的来源,使用玩家行为来指导视频的对齐,从而实现基于一个第一人称射击 (FPS) 游戏的训练,在多个未见过的 FPS 游戏中成功传递玩家行为模式的零样本转移,并且在训 - 基于协作的领域泛化语义分割的基础模型
使用 CoLlaborative FOUndation 模型组合来进行域泛化语义分割,通过集成不同类型特征模型实现内容多样性和预测优化,从而在适应各种目标分布并在不同天气条件下从合成到实际场景的域泛化语义分割基准中表现出色。
- 领域随机化通过最大化熵
通过在模拟中自动调节动力学分布而无需真实世界数据,我们提出了 DOmain RAndomization via Entropy MaximizatiON (DORAEMON) 方法,该方法通过增加采样动力学参数的多样性来提高自适应性和泛化能 - BayRnTune: 自适应贝叶斯领域随机化策略微调
通过对先前学习的策略进行微调,我们提出了一种自适应贝叶斯域随机化策略,以显著加速学习过程,并在多个仿真环境中表现出与基准算法相比更好的奖励效果。
- 自动生成抓取数据集的域随机化用于模拟到真实场景迁移
本研究探讨了如何利用自动生成的抓取方法来解决机器人在实际环境中获取对象的问题,并就域随机化、从仿真到实际的转移性等问题进行了分析和研究。
- 活动射击者检测和稳健跟踪利用辅助合成数据
提出了一种检测射击者的方法,而不仅仅是枪支,利用域随机化和迁移学习提高训练的有效性,并使用 YOLOv8 和 Deep OC-SORT 实现了一个能够在边缘硬件上运行的射击者跟踪系统。
- 鲁棒的视觉从模拟到实际的机器人操作转移
通过在模拟环境中学习视觉运动策略,我们提出了一种通过视觉域随机化方法来解决模拟与真实世界之间差异的问题,并在丰富的机器人操作任务中进行了基准测试。我们的方法在各种挑战性的操纵任务中取得了 93% 的成功率,并证明了模拟器训练的策略在真实场景 - 利用领域随机化和元学习来弥合基于强化学习的交通信号控制的现实差距
通过对潜在的模拟参数分析和对两种策略(Domain Randomization 和 Model-Agnostic Meta-Learning)的研究,我们研究了交通信号控制系统中的现实差距问题,并在实验中证明这两种方法优于现有的强化学习算法 - 在杂乱的工业环境中应用领域随机化生成合成多模态手部实例分割数据集
使用域随机化生成合成的 RGB-D 数据集,用于训练多模式实例分割模型,旨在实现颜色不可知的手定位,以应对杂乱的工业环境。使用多模态输入,包括颜色和深度信息,可以提高模型预测的准确性,并且该方法已经实现了比现有最先进数据集训练出来的模型具有 - 利用实时仿真的内在随机性促进机器人操纵的强化学习
使用实时模拟的本地随机性在强化学习中得到应用可以改善域随机化技术的性能和稳健性能,进而在机器人操作中实现更好的泛化和相对低的启发式随机化水平,解决了实际应用中如机器人操作的模拟到现实世界的差距问题。
- 探索基于深度学习的脑 MRI 到 CT 合成中的对比度泛化
研究领域:通过深度学习及领域随机化技术生成高质量头部合成计算机断层扫描图像,提高医疗影像辅助治疗的精度。
- CVPR基于 Blender 的合成数据在裸眼监督学习和下游领域自适应中的实用性新基准
本论文介绍了一种使用 3D 渲染和域随机化技术生成合成数据的方法,探究了深度学习和领域适应的相关理论和新发现,并利用模拟到现实的适应性作为下行任务,证明了合成数据预训练也有助于提高实际测试结果。最后,作者们发展了一个新的大规模合成到实际(S - 基于触觉的物体插入策略的零 - shot 转移
本文旨在训练一个模拟器中的接触利用操纵策略,以便在没有进行任何微调的情况下传输到实际机器人中,实验结果表明我们的策略比启发式和学习基线表现出更好的性能和泛化能力,同时也可以对不同尺寸和重量的盘子进行操纵,并探索了零点转移所需的各种因素。
- 可扩展的模块化合成数据生成用于推进航空自主技术
我们提出了一种可扩展的数据生成流程,以应用于空中自主飞行。该流程利用自适应层次域随机化方法为无人机轨迹生成之前的环境基础地图上的资产创造无类型分布空间,通过障碍物生成和全局参数随机化扩展多样性,以自动产生多样且逼真的模拟场景配置和数据集,以