- 预训练数据混合提高 Transformer 模型选择能力
在这项研究中,我们研究了 Transformer 模型,特别是大型语言模型(LLMs),它们具有在上下文中学习的显著能力,即在未见过的输入 - 输出示例的提示下执行新任务,而无需任何显式的模型训练。我们的实证结果显示变压器在选择无监督模型和 - GraphGPT: 大型语言模型的图指令调优
我们的研究旨在提高图模型在具有挑战性的零样本学习场景中的泛化能力,通过发展面向图结构知识的大型语言模型(LLMs),并利用图指示调整范式来与图结构知识建立联系,探索自我监督的图结构信号和任务特定的图指示,从而引导 LLMs 在理解复杂的图结 - 基于开放世界用户生成视频内容的人物搜索的通用性
我们探索了增强人物搜索模型的域外泛化能力,并提出了一个可推广的框架,通过引入基于多任务原型的领域特定批量归一化和通道相关的特征去相关策略来促进任意场景中的下游任务。
- 零样本目标视觉导航与类独立关系网络
本研究探讨了无目标目标视觉导航问题。我们提出了一种称为无类关系网络(CIRN)的方法,将目标检测信息与目标与导航目标之间的相对语义相似性结合起来,构建了一种基于相似性排名的全新状态表示,有效地将智能体的导航能力与目标特征分离。我们的方法在 - 可变形直线物体的三维理解:数据集与迁移性基准
介绍了两个点云数据集 PointWire 和 PointVessel,通过在这些数据集上进行评估和转移性实验,研究了 3D 可变形线状物体的最新方法及其泛化能力。
- 流动扩散变压器在图学习中的拓扑泛化
图扩散方程与图神经网络紧密相关,并近期引起关注,作为一种分析图神经网络动态、形式化其表达能力并证明架构选择的原则性框架。本文通过探索图扩散方程在不同图拓扑存在下的外推与概括能力,向理解图神经网络的泛化能力迈出了一步。在现有基于图局部扩散的模 - 多域改善医学图像分析的超出分布和数据有限情境
当前医学图像分析的机器学习方法主要集中在为特定任务开发定制模型,利用其目标域内的数据。最近,提出了基础模型,它结合了来自各种领域的数据,并展现出出色的泛化能力。本研究在此基础上引入了多领域医学图像的结合,包括不同的成像方式如 X 线、MRI - AdaMerging:多任务学习的自适应模型融合
本文介绍了一种创新技术称为自适应模型融合(AdaMerging),该方法通过无监督任务算术方案自动学习模型融合的系数,既可以在任务层面上,也可以在层级层面上,而无需依赖原始训练数据。实验结果表明,与当前最先进的任务算术融合方案相比,AdaM - 土地管理中使用知识引导的机器学习进行预定火灾建模
本文介绍了一种新的机器学习(ML)框架,可以快速模拟预定火灾,解决了火灾模型中的物理不一致性、类别不平衡导致的偏见预测、火焰蔓延指标的偏差估计以及不同风况下的普适性问题。
- 随机化以推广:用于跑道上异物检测的领域随机化
通过使用合成随机化图像增强的二阶段方法(SRIA),该研究提出了一种改进二维数据集模型泛化能力的新方法,特别是对于低分辨率的实际应用场景下的小物体检测,有效地提高了检测准确性。
- YCB-Ev:用于 6DoF 物体姿态估计的事件视觉数据集
我们的研究引入了 YCB-Ev 数据集,该数据集包含了同步的 RGB-D 帧和事件数据,可以评估使用这些模态的六自由度物体姿态估计算法。
- ARTxAI:使用模糊技术基于可解释的人工智能为艺术图像进行深度表示学习
自动艺术分析利用不同的图像处理技术对艺术作品进行分类和归类。本文展示了如何利用艺术图像分类中不同任务获得的特征来解决其他具有相似性质的任务,并提出了改进艺术分类系统的泛化能力和性能的不同方法。此外,我们还提出了一种可解释的人工智能方法,通过 - MM利用熔池图像流评估用于印迹异常分类的关键时空学习器
机器学习在金属增材制造中的应用研究表明,利用熔池特征进行实时缺陷预测是解决普及金属增材制造技术的关键障碍之一,本研究实践了基于新颖时空模型的深度学习,用于分类来自不同材料、系统和应用的熔池图像序列,并发现只有 Kinetics400 预训练 - ImageBrush:学习基于示例的图像操纵的视觉上下文指导
本文提出了一种名为 ImageBrush 的新型操作方法,通过学习视觉指示来实现更准确的图像编辑,其中关键思想是利用一对转换图像作为视觉指示来准确捕捉人类意图并在现实场景中实现可访问性。通过将视觉指示的学习形式化为基于扩散填充的图像修复问题 - 图像获取与患者表型差异对自动分割模型泛化的作用
通过评估自动医学图像分割模型在领域外的表现和泛化能力,特别关注适应新的图像采集和疾病类型,本研究使用非对比增强的腹部 CT 扫描数据集,包括健康患者和多囊肾病(PKD)患者,证明广泛的训练示例显著提升模型泛化和领域外表现,从而改进临床应用中 - 用于体积医学图像分析的正则 SE (3) 群卷积
本文通过分离一个连续的 SO(3)(旋转)内核和一个连续的空间内核来设计一个 SE(3)群卷积核,通过在均匀的 SO (3) 网格上进行 RBF 插值来参数化连续的 SO (3) 内核,对临床任务的分析显示,我们的 SE(3)等变模型在挑战 - 关于 Gibbs 算法的验证:训练数据集、测试数据集及其聚合
研究了 Gibbs 算法的训练数据依赖性,使用期望经验风险作为性能衡量标准,得出了 GA 的敏感性,并研究了数据集聚合和评估 GA 泛化能力的不同指标,建立了 Jeffrey's 散度、训练和测试误差之间的联系。
- 随机位置编码增强 Transformer 的长度泛化
本研究发现,Transformers 在固定上下文长度的任务中表现出快速泛化的特性。但是,它们不能在任意长度序列上泛化,即使是像复制字符串这样的简单任务也不行。本文介绍了一种新的位置编码方案,可以解决长序列位置编码失效的问题,并通过大规模实 - 用于检测 GAN 操作的多光谱卫星图像的单类分类器
本论文使用 VQ-VAE 2 算法提出了一种仅基于精确图像的单类别图像检测器,该检测器能够在不同领域和架构下检测到生成图像,相比于二类别分类器具有更强的泛化能力。
- 一种优化分类树学习的新型记忆策略
本文提出一种新颖的演化算法,结合可行解空间的探索和局部搜索,用于归纳分类树,以达到具有一般化能力的结构,其表现与最先进的方法相当,并适用于包含成千上万数据点的数据集。