- STLLaVA-Med:医学领域的自我训练大型语言与视觉助理
通过引入自我训练的大型语言和视觉助手 (STLLaVA-Med),使用 LVLM 和直接优化原则 (DPO) 自动产生医学视觉指导数据,以提高数据效率,并且证实了在使用只有 9% 的医学数据的情况下,STLLaVA-Med 在三个主要的医学 - 上下文化混合集成 Q 学习:以控制先验快速学习
结合强化学习和先验控制器可以获得两个世界中的最佳结果:强化学习可以解决复杂的非线性问题,而控制器可以确保更安全的探索和加快训练。本文提出了一种新的自适应混合强化学习算法,通过动态调整加权来适应强化学习代理当前的能力,从而提高数据效率、探索安 - 对等图神经网络在物理动力学学习中松弛连续约束
本文提出了一种基于离散等变的图神经网络(DEGNN),通过将几何特征转化为排列不变嵌入,实现相应离散点群的等变消息传递,从而提高对未观测到的对称动力学的表示能力和泛化性能。在各种物理动力学中,DEGNN 相较于现有的方法具有显著的优越性,并 - 医学图像配准的循环推理机
通过提出一种名为 RIIR 的新型图像注册方法,该方法将深度学习技术应用于医学图像注册中,提高了注册准确性和数据利用效率。
- DevBench:一个用于语言学习的多模态发展基准
通过构建模型以较少的、多模态自然数据进行训练,并将其与行为数据进行直接比较,我们介绍了 DevBench,一个包括七个跨越词汇、句法和语义能力领域的语言评估任务的多模态基准。在这些任务中,模型在准确性和回应模式上与人类表现出差异。通过比较模 - 探索基于扩散模型的零样本学习中的数据有效性
ZeroDiff 是一种基于扩散的生成零样本学习模型,通过在类和实例级别改善数据效率,以提高有限数据的零样本识别能力。
- 基于补丁扩散模型学习图像先验用于解决逆问题
本文提出了一种通过仅对图像的补丁进行扩散模型训练来学习整个图像的高效数据先验的方法,该方法通过分数和位置编码获取整个图像的分数函数,并将其用作解决逆问题的先验。该方法在提高内存效率和数据效率的同时,仍然能够通过位置编码生成整个图像,并且可以 - 信任自信模型 — 不确定性感知策动适应的基于模型的演员 - 评论家算法
基于模型的增强学习方法中,我们通过逐步增加模型预测长度来考虑模型的不确定性,以获得更准确的本地预测结果,并提出了一种易于调整的预测机制,相比于现有的深度增强学习方法在 MuJoCo 基准测试中获得了显著的数据效率和性能提升。
- 通过信任域拟 - 牛顿策略优化强化模型预测控制
通过使用参数化模型预测控制器作为策略并利用所需参数的少量,我们提出了一种带有超线性收敛率的限制拟牛顿训练算法进行策略优化。通过解线性方程组的解来计算所需的二阶导数信息。模拟研究表明,所提出的训练算法在数据效率和准确性方面优于其他算法。
- 重新思考视觉语言模型中被忽视的方面
该论文研究了大型视觉语言模型(LVLMs)中数据效率的常常被忽视的方面,以及预训练和微调数据的选择过程,旨在优化数据使用来增强视觉语言模型的性能。
- AdaDemo: 广义机器人代理器的数据有效演示扩展
本研究通过 AdaDemo(自适应在线演示扩展)框架,在机器人学习中引入了新的演示数据集扩充方法,以提高多任务策略学习的效果,通过对 22 个任务的全面评估,展示了 AdaDemo 在改进策略性能、引导高质量演示数据集生成方面的能力,实现了 - ACL多任务训练如何影响 Transformer 的上下文能力?对功能类别的研究调查
结合多任务学习和上下文学习,在大型语言模型中提出了有效的课程学习策略,使得模型能够高效地学习任务并对分布外的例子具有稳定的收敛性。
- MedCLIP-SAM:将文本和图像融合以实现通用医学图像分割
提出了一种新颖的框架 ——MedCLIP-SAM,结合了 CLIP 和 SAM 模型,使用文本提示在零样本和弱监督设置中生成临床扫描的分割,通过广泛测试三个不同的分割任务和医学图像模态,证明了该框架具有出色的准确性。
- 采样轨迹的深度高斯协方差网络用于数据有效的策略搜索
通过结合轨迹采样和深度高斯协方差网络(DGCN),我们提出了一种在最优控制环境中解决 MBRL 问题的数据高效解决方案,通过三种不同的概率世界模型(高斯过程、贝叶斯神经网络和 DGCNs)比较采用基于密度的不确定性传播的轨迹采样方法,我们在 - 小到大 (S2L):通过总结小模型的训练轨迹,为大型语言模型进行可扩展的数据选择
通过使用数据选择方法 SmallToLarge(S2L)指导大型模型的数据选择,提高了有监督微调的数据效率,特别适用于数学问题解决领域。在大量实验中证明,S2L 显著提高了有监督微调的数据效率,仅使用原 MathInstruct 数据集的 - Synth$^2$: 用合成标题和图像嵌入提升视觉 - 语言模型
我们提出了一种利用大语言模型(LLM)和图像生成模型的优点来创建合成图像 - 文本对的新方法,以用于视觉语言模型(VLM)的高效训练。通过预训练一个文本到图像模型来合成由 LLM 生成的图像嵌入,我们的方法能够用合成数据训练出仅需使用人工标 - AAAI光子晶体面发射激光器的反向设计是一个序列建模问题
Photonic Crystal Surface Emitting Lasers (PCSEL) 的逆向设计可以通过利用强化学习和 Transformer 结构提高性能和数据效率。
- 使用行为原始模块在数据效率模仿学习中支持脚手架操纵任务
PRIME 是一种以行为基元为基础的框架,旨在提高模仿学习的数据效率,在多阶段操作任务中取得了显著的性能提升。
- 从多模态输入中获取语言知识
利用 FLAVA 模型进行消融研究,独立变化文本和视觉输入量,发现多模态预训练既不损害模型的语言性能,也没有一致的帮助作用;然而,由于实验规模有限,这些结论还不完全确定,需要更好的架构和多模态训练技术来验证多模态输入对语言模型和人类数据效率 - 知情元学习
在实际应用中,机器学习在嘈杂和低数据的环境下面临一个重要挑战,即如何有效地整合具有数据效率和鲁棒性的归纳偏好。本论文通过介绍一种新的混合范式,即信息元学习,旨在实现人类和机器之间跨任务知识共享的互补性,为信息元学习的基本组成部分和具体实例