为了对昆虫生物多样性进行编目，我们提出了一个新的手动标注昆虫图像的大型数据集，BIOSCAN-Insect 数据集。该数据集由专家进行分类，同时还提供相关的遗传信息，包括原始核苷酸条形码序列和分配的条形码索引号，这些是基于基因的物种分类的代理。本文介绍了一个由百万图像组成的精选数据集，主要用于训练能够提供基于图像的分类评估的计算机视觉模型，然而，该数据集还具有引人注目的特征，研究这些特征对于更广泛的机器学习社区也是有兴趣的。受数据集固有的生物学特性驱动，显示出了具有长尾类别不平衡分布的特点。此外，分类标签是一个分层分类方案，对低层级的问题提出了非常细粒度的分类问题。通过在实施和分析基准分类器的过程中探索分类任务，本文将促进机器学习社区对生物多样性研究的兴趣，并推动创建基于图像的分类器的进展，这也将进一步实现 BIOSCAN 研究的终极目标：为全球生物多样性的综合调查奠定基础。

Jul, 2023

通过融合图像、DNA 编码和文本数据的多模态方法，采用 CLIP 风格对比学习将其在统一的嵌入空间中对齐，实现对已知和未知昆虫物种的准确分类，无需特定任务微调；该方法在零样本学习任务中的准确度比单模态方法高出 11%，展示了其在生物多样性研究中的有效性。

May, 2024

昆虫多样性丧失影响生态系统和农业，对昆虫研究提出了大规模机器学习和数据增强等解决方案。

Jun, 2024

建立了首个最大的多模态三维场景数据集与基准，并通过层次语言注释进行了多模态三维感知研究，为领域相关问题提供了重要的资源。

Jun, 2024

通过多视角无人机影像和 LiDAR 点云相结合的数据集，本研究提出了第一个多模态农作物生物量估计数据集，并通过评估现有方法的性能和探索新的潜在应用，如无人机图像下的 3D 农作物重建和新视角渲染，为农作物生物量量化的基准方法和视觉方法的发展提供了支持。

Apr, 2024

研究如何解决分子生物学中存在的重复性危机，首先构建了一个多模态数据集 ProBio，并提出了两个具有挑战性的基准测试以强调生物实验室中活动理解的特点和困难，最后对现有的视频理解模型进行了彻底的实验评估，并指出其在这一特定领域的局限性以开辟未来研究的潜在途径。希望 ProBio 及其相关基准测试能够引起对现代人工智能技术在分子生物学领域的关注。

Nov, 2023

利用 DNA 条形码参考库，提出了一种名为 BarcodeBERT 的自监督方法，对物种和属级别进行高准确性的 DNA 条形码识别，该方法兼顾数据集细节和覆盖范围对模型选择的影响，并强调了自监督预训练在高准确性 DNA 条形码分析中的作用。

Nov, 2023

我们介绍了 BigBIO 项目，这是一个包含 126 个以上生物医学 NLP 数据集的社区库，可用于训练和评估语言模型，其数据集的元数据和编程访问支持元数据集合的构建，并且支持 End-to-End 的零样本任务。

Jun, 2022

本文介绍了一个新的多模态生物医学实验方法分类数据集 MELINDA，并使用各种最先进的自然语言处理和计算机视觉模型进行了基准测试和分析，结果表明多模态模型优于单模态模型，但仍需要改进，特别是在视觉和语言语义互相理解和转化方面以及在处理低资源域时。该文还发布了数据集和基准测试，以便未来的多模态学习研究，特别是针对科学领域的应用的目标改进的激励。

Dec, 2020

通过多传感器、基于人工智能的数据融合方法，本文提出了一种低成本配置的昆虫分类系统，可用于系统性监测昆虫种群、支持生物多样性与农业研究。

Apr, 2024