BIOCLIP 2团队 投稿

量子位 | 公众号 QbitAI

让AI看懂95万物种，并自己悟出生态关系与个体差异!

俄亥俄州立大学的研究团队基于2亿生物图像数据对BioCLIP 2模型进行了训练。经过大规模的训练，BioCLIP 2模型在物种识别方面表现卓越，达到了目前的最优水平。

令人惊喜的是，即便在训练阶段缺乏相应的监督信号，BioCLIP 2依然在栖息地辨别、植物病害辨认等五个非物种识别任务上，展现出了超越DINOv2的显著准确率。

BioCLIP 2在庞大的训练过程中，不仅掌握了物种相关的知识，还意外地领悟到了超越物种范畴的生物学见解。

以下是论文详情：

把“生命之树”搬进显存

大语言与视觉模型的“涌现”现象揭示了这样一个规律：通过扩大模型规模并实施结构化监督，我们能够获得超出预期的强大能力。

尽管生物多样性研究尚未发现具备涌现特性的视觉语义基础，BIOCLIP却将CLIP的多模态对齐技术应用于物种研究，通过提供包括界、门、纲、目、科、属、种在内的多级文本信息，以及学名和常用名，实现了层级监督。基于这一创新，研究团队提出了一个疑问：

将层级对比学习从一千万张图像直接提升至两亿，是否能够习得超越“物种标签”的生物学知识呢？

BIOCLIP 2正是这一实验的答案。

为了达成这一目标，研究团队搜集了来自GBIF、EOL、BIOSCAN-5M、FathomNet等四大平台共计2.14亿张生物图片，并据此构建了TreeOfLife-200M数据集。该数据集囊括了95.2万个独特的分类标识，内容涉及标本、野外相机捕捉的图像等多种丰富的图像类型。这构成了迄今为止规模最大、内容最丰富的生命图像资料库。

在提升训练数据规模的过程中，研究团队对模型进行了升级，将其从ViT-B版本扩展到了ViT-L版本。这一变化带来了更多的参数量，为知识的自然涌现提供了条件。

性能一览

物种识别技术中，零样本识别的平均准确率达到了55.6%，这一成绩超过了第二名的SigLIP模型，提升了16.1个百分点。同时，在少样本识别方面，其表现远胜于广泛应用的视觉模型DINOv2。

非物种视觉任务领域，BioCLIP 2的表现不仅超越了物种分类这一领域，还在栖息地辨别、生物特性分析、新型物种的发掘以及植物病害诊断等多个方面，胜过了SigLIP和DINOv2等广泛应用的视觉模型。

BioCLIP 2在训练过程中仅接收了物种级别的指导信息，然而，它在众多非物种生物视觉任务中表现卓越。这一成果促使研究团队对模型的特征域进行了深入研究，并揭示了大规模训练所引发的显著特性。

两大涌现属性

1. 物种间生态对齐

物种若具备相近的生活习性及生态学特征，往往会在特征空间中形成群聚现象，例如淡水鱼类与咸水鱼类，随着训练规模的增大，它们之间的界限会愈发明显。

层级标签将生态邻近元素引导至与之相似的文本模型，以此达到视觉属性与功能属性的同步。

2. 物种内差异分离

同一物种中，雌雄个体以及幼年和成年个体之间的区别并未因对比学习而消失，它们反而呈现出与物种间差异相垂直的分布模式，并且随着训练规模的扩大，这种垂直性也在同步增强。

在对比学习将不同物种区分开来之后，物种内部的差异得以在正交子空间中分布，这一分布过程不会对物种分类过程中损失优化的效果造成影响，正如论文中的定理5.1所阐述。

四档实验中，从1M到10M再到50M，直至214M，均呈现出这样的现象：所有非物种视觉任务的性能呈现出单调的上升趋势，同时，个体之间的差异分离度或正交度也在同步增强，这一结果进一步验证了扩大训练规模对于涌现属性提升的积极作用。

BIOCLIP 2实验证实，放大有效的监督学习同样能够在专业范畴内重现大型模型的涌现特性——不仅保证了精确度，还具备了生物学的理解能力。

项目访问地址：请点击此处进入https://imageomics.github.io/bioclip-2/，以查看项目主页。

演示链接：请访问https://huggingface.co/spaces/imageomics/bioclip-2-demo，即可体验bioclip-2的演示版本。

该论文的链接为：https://arxiv.org/abs/2505.23883，请点击访问。