HOT-VAE:基于注意力的变分自编码器学习多标记分类的高阶标记相关性
本文论述了如何通过使用深度学习方法对相机陷阱图像进行自动化数据分析,演示了以 Faster R-CNN 和 YOLO v2.0 作为分类器识别、量化和定位相机陷阱图像中的物种,进而应用于生态研究。结果显示 Faster R-CNN 的分类准确率高达 93.0%,取得了很好的效果。
Mar, 2018
通过Hierarchical Semantic Embedding (HSE)框架在深层神经网络中整合不同层级的类别预测,从而实现对复杂图像的精细分类,该方法优于基线模型和现有竞争对手,可以应用于精细图像识别领域。
Aug, 2018
本篇论文提出了一个用于多标签分类的新型框架,即多元Probit变分自编码器(MPVAE),该框架通过有效地学习潜在的嵌入空间和标签之间的相关性来实现。同时,MPVAE在公开真实世界数据集上优于现有的最先进方法,并且进一步证明了在嘈杂环境下的稳健性。最后,通过鸟类观测数据集的案例研究,展示了学习共享协方差矩阵的可解释性。
Jul, 2020
本研究提供两个新的自然世界分类数据集iNat2021和NeWT,探索了fine-grained类别的大规模表示和迁移学习的问题。研究表明,在各种任务中,基于ImageNet和iNat2021有监督方法学习到的特征优于SimCLR等自我监督方法。
Mar, 2021
本文提出了一种使用粗略的分类标签来训练细粒度领域图像分类器的技术,并证明在Semi-iNat数据集上实现了显著的性能提升,其中相对增益较大的是在细粒度标签的情况下进行训练和使用半监督学习算法FixMatch。
Nov, 2021
本篇论文介绍了WILDS 2.0的更新,通过增加真实部署中可获得的无标签数据,扩展了WILDS基准测试中10个数据集中的8个。研究人员在这些数据集上进行了系统性基准测试,展示了当前最先进的方法使用无标签数据在现实世界应用中的局限性,并提供了一个开源软件包来自动化数据加载和包含本文中使用的所有模型架构和方法。
Dec, 2021
我们提出了一种方法来表示双分图网络,使用定制的图嵌入方法来解决研究生态网络时面临的挑战,特别是需要考虑许多协变量,尤其是为了控制采样偏差。我们将变分图自编码器方法改编为双分图的情况,这使我们能够在潜在空间中生成节点的嵌入,这两组节点的位置是基于它们的连接概率确定的。我们将社会学中常用的公平框架转化为生态学中解决采样偏差的方法。通过将Hilbert-Schmidt独立性准则(HSIC)作为损失函数中的附加惩罚项进行优化,我们确保潜在空间的结构与与采样过程相关的连续变量无关。最后,我们展示了当应用于Spipoll数据集时,我们的方法如何改变我们对生态网络的理解,这是一个众包式的植物-传粉者相互作用的公众科学监测计划,容易出现采样偏差。
Mar, 2024
提出了一种用于环境生态系统建模的多模式大型语言模型LITE,通过将不同的环境变量转化为自然语言描述和折线图像来统一这些变量,并利用统一编码器来捕捉不同模态的空间-时间动态和相关性,借助领域指令来融合多模态表示进行预测,从而显著提高了环境空间-时间预测的性能,相较于最佳基准线,预测误差减少了41.25%。
Apr, 2024
本研究解决了在底栖栖息地图像多标签分类中缺失标注信息的问题,采用了先进的自监督学习技术。我们发现,在小型本地数据集上,经过自监督预训练的模型在分类精度和深度上明显优于ImageNet预训练的模型,期望为未来的自动水下图像标注任务建立基准。
Sep, 2024
本研究解决了生物声学物种分类器在不同物种和栖息地中的性能不均衡问题,采用了多种迁移学习方法和数据集特征进行大规模鸟音分类。研究发现,细调和知识蒸馏都能显著提高分类性能,而在复杂声景中,浅层细调表现更佳,凸显了其鲁棒性和局限性。建议动物声音领域采用更全面的标注实践,以增强鸟鸣分类器的训练效果。
Sep, 2024