本研究介绍了一种使用预训练图像恢复扩散模型进行零样本视频修复的方法，该方法通过分层标记合并策略和混合对应机制实现关键帧和局部帧的修复，并在各种具有挑战性的数据集上证明了其在零样本视频修复中的顶级性能和对各种极端降级（8 倍超分辨率和高标准差视频降噪）的一般化能力，可以与任何 2D 恢复扩散模型配合使用，为视频增强任务提供了一种多功能且强大的工具。

Jul, 2024

通过引入 FairMedFM，一个公平性基准，对医学影像中基础模型的公平性性能进行综合评估，我们揭示了不同 FMs 之间的偏见存在、不同 FMs 的效用与公平性权衡以及现有不公平缓解方法的有限效果。

Jul, 2024

本研究通过在预训练和微调阶段采用不同的策略，结合知识库和相似提示来构建诊断报告，取得了在全球人工智能技术创新大赛医学影像诊断报告生成赛道中的第一名成绩。

Jul, 2024

WE-MATH 是第一个旨在探索问题解决原则的基准测试，通过分解复合问题，并引入新的四维度评估指标，评估了 LMMs 在视觉数学推理中的固有问题，为知识获取与泛化提供支持，评估现有 LMMs 在视觉数学推理中的表现，揭示了求解步骤与问题特定表现之间的负相关，并指出 GPT-4o 的主要挑战由不足的知识转变为不足的泛化。

Jul, 2024

通过引入多领域多语言问题回答基准 M2QA，并利用其探索经过微调的模型、最新最先进的 LLM 的跨语言跨领域性能，以及研究模块化方法对领域和语言进行适应，我们发现模型类别内在领域 - 语言组合上具有相当大的性能差异，并且在所有模型规模上源语言 - 目标语言 / 领域组合之间存在显著的性能下降。我们证明了 M2QA 并未得到完全解决，需要新的方法来有效地传递语言和领域特定信息。

Jul, 2024

基于遮掩的孪生视觉变压器提取器 (SAFE) 是一种新颖的自监督学习框架，通过对未标记的合成孔径雷达影像数据进行对比学习，提取稳健且具有普适性的特征。SAFE 可用于多种合成孔径雷达采集模式和分辨率下，具有针对合成孔径雷达影像的数据增强技术，如亚孔径分解和去斑点处理。对少样本分类、分割、可视化和模式检测等多种下游任务的全面评估表明，所提出的方法的有效性和多功能性。即使在未经使用的传感器上进行评估，我们的网络在少样本分类和分割任务上与或胜过其他先进方法。

Jun, 2024

本文提出了利用已有的视觉 - 语言模型 (Visual-Language Model, VLM) 联合嵌入空间的概念对立解释来解释黑盒分类器结果的方法，无需注释的数据集。通过利用胸部放射学报告中的文本概念和基于胸部放射学的预训练 VLM，解释了三种常见的心胸病理，证明了我们的方法生成的解释在语义上是有意义的，忠实于潜在的病理。

Jun, 2024

我们提出了 XEUS，一种用于普适语音的跨语言编码器，通过对来自 4057 种语言的超过 1 百万小时数据进行训练，将 SSL 模型的语言覆盖范围提高了 4 倍，并在多项基准测试中展现出优于或与最先进的 SSL 模型的可比结果。

Jun, 2024

扩散模型和表示学习之间的相互作用进行了综述，包括数学基础、去噪网络架构和引导方法等方面，阐述了与扩散模型和表示学习相关的各种方法，并提出了对扩散模型和表示学习分类的综合概述以及现有关注点和潜在研究领域。

Jun, 2024

利用计算机视觉预测医学图像中的人眼注视路径，通过大型数据库生成热度图和眼动视频以协助综合分析，并与最先进的方法相比较其性能和普适性。

Jun, 2024