基新共通性的多方面蒸馏,用于少样本目标检测
通过要求模型在单一推理步骤中比较多个推理链,我们提出了一种新方法 Divergent CoT (DCoT),进一步提高模型性能。通过一系列实验证明,DCoT 数据集上的微调在各种推理类型的任务上提高了模型的性能,无论模型的规模是多少。同时,我们通过经验和手动评估的结合,还表明这些性能提升源于模型在单一推理步骤中生成多个不同的推理链,表明语言模型具备自我纠正的能力。
Jul, 2024
我们提出了一种名为反崩溃损失函数的新方法,该方法通过最大化样本特征或类别代理的平均编码率来提高嵌入空间中特征聚类的稀疏性,以防止特征崩溃并促进模型的泛化性能。与现有的前沿方法相比,我们的方法在基准数据集上进行的综合实验表明,其表现优于现有的最先进方法。大量实验还验证了我们的方法在防止嵌入空间崩溃和促进泛化性能方面的有效性。
Jul, 2024
为了克服 Few-Shot Object Detection 中存在的物体类别混淆和遗忘的问题,我们引入了一种新颖的 Submodular Mutual Information Learning(SMILe)框架,该框架采用组合互信息函数来强调在 FSOD 中创建更紧密和具有区分性的特征簇。我们的方法广泛适用于 FSOD 中的几种现有方法,不受骨干架构的影响,并展示了提高性能的效果。在流行的 FSOD 基准测试 PASCAL-VOC 和 MS-COCO 上的实验证明,我们的方法改善了 State-of-the-Art(SoTA)方法在新类别的性能,VOC(split 3)的 10-shot 设置中性能提升高达 5.7%(3.3 mAP points),COCO 数据集的 30-shot 设置中性能提升高达 5.4%(2.6 mAP points)。我们的实验还表明,与现有方法相比,基类性能更好,并且在不考虑底层架构的情况下收敛速度提高了 2 倍。
Jul, 2024
人工智能通过编码药物分子来预测药物特性,帮助快速筛选候选药物。利用不同来源的分子表示,如 SMILES 和分子图,可以提供互补信息进行分子编码。我们提出了一种多粒度融合方法 MolFusion,该方法利用分子级和原子级编码实现不同分子表示之间的相互对齐,实验结果表明 MolFusion 有效地利用了多模态的互补信息,在不同分类和回归任务中显著提高了性能。
Jun, 2024
我们提出了一种基于大型语言模型的中文拼写检查方法 C-LLM,该方法通过逐个字符检查错误,实现了字符级别的对齐,从而有效地缓解了与字符级别约束相关的问题。在两个中文拼写检查基准测试中的实验表明,C-LLM 相比现有方法平均提升了 10%,在一般场景下提升了 2.1%,在垂直领域场景中有显著的 12%改进,达到了最先进的性能。
Jun, 2024
提出了一个使用语义嵌入进行精细调整的少样本目标检测框架,通过使用语义相似性分类器,多模态特征融合和语义感知最大边界损失,解决了现有方法在极低样本场景中对新类别存在的分类混淆和性能下降问题。
Jun, 2024
增强大型语言模型的获取机制,提出了一种双重评估的检索增强生成框架 Think-then-Act,通过评估输入查询的清晰度和完整性,判断是否需要重写查询,并评估模型回答查询的能力和是否需要额外的检索,实验证明该框架大幅提高了性能,优于现有基准,并在英语和非英语环境下表现良好,消融研究验证了最佳模型置信阈值,凸显了我们方法的资源优化效益。
Jun, 2024
在这篇论文中,我们提出了一种名为 RePrompt 的新方法,通过从与 LLM 代理的交互中获取的聊天记录,逐步优化 LLM 代理的提示,从而使 LLM 在特定领域中学会规划,我们在 PDDL 生成和旅行规划的实验中证明了我们的方法可以提高不同推理任务的性能。
Jun, 2024