科技日报实习记者 裴宸纬

最近一段时刻，人工智能通用模型领域频现“爆款”。4月，Meta公司发布了一款名为“SegmentAnythingModel”（SAM）的通用模型，号称能够“零样本分割一切”。也算是讲，SAM能从照片或视频图像中对任意对象实现一键分割，同时可以零样本迁移到其他任务中。

在相关展示页面中，科技日报记者看到，在一张包含水果、案板、刀具、绿植、储物架等众多物体、背景杂乱的厨房照片中，该模型可迅速识别出不同的物体，以粗线条勾勒出物体轮廓，并用不同颜色对不同物体进行区分。“这算是SAM最重要的功能——图像分割。”中国科学院自动化研究所多模态人工智能系统全国重点实验室研究员、中国科学院大学人工智能学院教授杨戈向记者表示。

那么，SAM的技术原理是什么？相比于此前的图像分割模型，该模型有何不同？将来又有可能在哪些方面应用？

图像分割通用模型泛用性强

杨戈向记者解释道，像SAM如此能够处理多种不同类型任务的人工智能模型，叫作通用模型。与之相对，那些特意处理一种类型任务的人工智能模型，叫作专有模型。

打个形象的比喻，通用模型就好比是一个“多面手”。它具有处理普通事务的能力，然而在精度等性能上往往会逊色于只处理一种类型任务的专有模型。

既然通用模型可能会在精度上低于专有模型，什么原因还要费尽心力地开辟通用模型？对此，杨戈表示，通用模型与专有模型定位不同。通用模型带来的，是解决分割咨询题的新范式，非常是帮助科研人员提升在解决专有任务时的效率，“往常，面对不同的任务需求，科研人员往往需要开辟不同的专有模型来应对。如此开辟出的模型精度真的会更高，然而往往也会付出较大的研发成本，而且研发的模型通用性不强。”杨戈讲。

通用模型可以将所有任务都处理得“八九不离十”，于是科研人员往往只需在通用模型的基础上进行优化，使之更加符合任务需求即可，而不需要费尽心力地从零开始搭建专有模型。于是，通用模型的初始开辟成本可能会高，但随着使用通用模型的次数越来越多，其应用成本也会越来越低。

SAM算是一类处理图像分割任务的通用模型。与以往只能处理某种特定类型图片的图像分割模型不同，SAM能够处理所有类型的图像。“在SAM浮现前，都是所有的图像分割模型基本上专有模型。”杨戈补充道，“打个比方，在医学领域，有特意分割核磁图像的人工智能模型，也有特意分割CT影像的人工智能模型。但这些模型往往只在分割专有领域内的图像时，才具有良好性能，而在分割其他领域的图像时往往性能不佳。”

有业内专家表示，相比于以往的图像分割模型，SAM能够识别各种输入提示，确定图像中需要分割的内容，还能够灵便集成到虚拟现实/增强现实等其他系统中，且目前关于一些它未见过或相对含糊的场景，也能实现较好的图像分割效果；并且，SAM建立了一套图像分割的通用模型，降低了关于特定场景建模知识、训练计算、数据标记的需求，有望在统一框架下完成图像分割任务。目前Meta公司差不多开放共享SAM的代码和训练数据集。

利用海量数据实现准确分割

那么，SAM是经过什么技术手段，实现对物体的识别与分割？尤其是在面对复杂环境、甚至没遇到过的物体和图像时，SAM又是如何做到准确识别与分割的？

“依照Meta发布的相关论文，SAM的模型结构事实上并不是非常复杂。”杨戈告诉记者，“它用到了一个叫作‘编码解码器’的构架。”

记者了解到，SAM先经过图像编码器为图像生成编码，并且用一个轻量级编码器将用户的文字提示转换为提示编码。然后，SAM将图像编码分别和提示编码信息源组合在一起，输送到一个轻量级解码器中，用于预测分割掩码。如此一来，一旦使用者给出提示，则每个提示只需要几毫秒就能在扫瞄器中得到结果响应。

杨戈用了一个生动的例子解释SAM的运行原理。“比如讲，给你一张带有猫和狗的图片。‘将照片中的猫标注出来’这算是提示；然而关于机器来讲，它并不能直截了当‘知道’这种文字性提示，于是就需要将文字性提示转换为机器可以理解的提示编码。”同理，关于照片中的猫和狗，机器实际上并不能直截了当“知道”什么是猫、什么是狗，而是将照片中的猫和狗与图片编码对应起来。SAM经过训练学习提示编码与图片编码的不同结合，理解人类在文字提示中表述的希望怎么分割这张图片。一旦“将照片中的猫标注出来”这句提示被输入时，SAM就能快速运行，得到人类想要的结果。

既然SAM并没有真正理解什么是猫、什么是狗，它又是怎么准确地执行人类给予的任务的呢？

“尽管SAM并没有彻底理解人类的语言和视觉的能力，然而经过对海量数据的学习，SAM仍然可以做到准确执行任务。”杨戈解释道，用于训练SAM的数据集的数据量，是以往最大数据集的6倍。在那个数据集中，包括1100万张图像，和11亿个标注（可简单理解为11亿个物体）。这是一个“走量”的过程，数据量越大，机器分割图像的能力就越准确；即使在某张图中浮现了这11亿个物体之外的物体，机器也往往可以依照以往经验以较高的准确率“判断”出它是什么物体，并将其纳入自己的数据库，这算是什么原因SAM关于从未见过的物体，也能有很好的识别与分割效果。

“需要注意的是，这11亿个标注也不是纯手工完成的，而是经过渐进的方式自动完成标注的。一开始，那个数据集中惟独相对少量的标注数据。科研人员先用这些数据训练出一个模型，然后再让那个模型自动标注数据，并经过人工对标注结果进行改进，这就得到了比上一个数据集更大一些的数据集。这样循环往复，就能得到海量标注数据集。”杨戈补充道。

促进计算机视觉领域进展

功能这样强大的图像分割通用模型，将给计算机视觉领域带来哪些改变？

“我认为，SAM的浮现将为计算机视觉领域的科研人员带来工作范式上的变化。”杨戈对记者讲道，“SAM的浮现真的会对目前一些与机器人视觉相关的研究领域造成冲击，但从总体上看，SAM的浮现会提升相关科研人员的效率。”

杨戈解释道，以往科研人员构建图像分割模型，是一个“从下到上、从零开始”的过程；而图像分割通用模型则将模型构建方式变成了“从上到下”，即在已有性能和泛化能力更强的模型基础上接着修改、优化，“这可能真的会取代某些专有模型，但从总体上看它将有利于整个领域的进展。”

此外，在具体应用上，图像分割通用模型前景十分广阔。

工业中的机器视觉、自动驾驶、安防等一些原来采用计算机视觉技术的行业，因为长尾场景多，需要大量标签数据，于是训练成本较高。有了图像分割通用模型后，这些领域内定制化开辟产品的成本可能会降低，由此带来毛利率的提升；还有一些领域，过去因为样本量少而难以应用深度学习等人工智能算法。现在，由于SAM在零样本或者少量样本上表现优异，一些新的应用领域将被拓展，比如从代码驱动变为视觉驱动的机器人、流程工业场景等。

并且，由于SAM能够同意来自其他系统的输入提示，于是科幻片中依照用户视觉焦点信息来识别并选择对应物体或将成为可能。

SAM不仅将在上述这些前沿领域发挥作用，同样或将会用于人们的日常日子。“比如在医学影像诊断领域，SAM可能会催生出精度更高的医学影像模型，提升医疗水平；在拍照过程中，SAM的加入或将实现更快更智能的人脸识别。”杨戈讲道。

来源：中国科技网