短短一周不到,视觉领域接连迎来新模型“炸场”,图像识别门槛大幅降低——
这场AI热潮中鲜见动静的Meta终于出手,推出Segment Anything工具,可准确识别图像中的对象,模型和数据全部开源;
国内智源研究院视觉团队也提出了通用分割模型SegGPT(Segment Everything in Context),这也是首个利用视觉上下文完成各种分割任务的通用视觉模型。
其中,Meta的项目包括模型Segment Anything Model(SAM)、数据集Segment Anything 1-Billion mask dataset(SA-1B),公司称后者是有史以来最大的分割数据集。
引起业内轰动的便是这一SAM模型:
- 正如名字“Segment Anything”一样,该模型可以用于分割图像中的一切对象,包括训练数据中没有的内容;
- 交互方面,SAM可使用点击、框选、文字等各种输入提示(prompt),指定要在图像中分割的内容,这也意味着,用于自然语言处理的Prompt模式也开始被应用在计算机视觉领域。
- 对于视频中物体,SAM也能准确识别并快速标记物品的种类、名字、大小,并自动用ID为这些物品进行记录和分类。
SYMAP-BCG
英伟达人工智能科学家Jim Fan将Meta的这项研究称作计算机视觉领域的“GPT-3时刻”之一——其分割方法可以通用,可对不熟悉的物体和图像进行零样本泛化,初步验证了多模态技术路径及其泛化能力。
进一步来说,SAM可以灵活集成于更大的AI系统。例如,理解网页的视觉和文本内容;在AR/VR领域,将头显用户视线作为提示来选择对象,然后将其“提升”到3D中;对于内容创作者,SAM可提取图像区域以进行拼贴或视频编辑;SAM还可通过定位动物或物体在视频中进行研究和跟踪。
另一方面,智源研究院视觉团队的SegGPT模型则更偏重于批量化标注分割能力。无论是在图像还是视频环境,用户在画面上标注识别一类物体,即可批量化识别分割出其他所有同类物体。
例如,若在一张图像中标注彩虹,便可将其他图像中的彩虹也一同批量识别分割出来。