1. SAM2 核心功能
SAM2 是 Meta 推出的新一代图像与视频分割基础模型,基于第一代 SAM 改进,具备以下核心功能:
- 统一架构:同时支持图像和视频分割,通过流式处理框架实现实时分割(44 FPS),尤其擅长处理动态场景和长视频。
- 零样本泛化:无需特定训练即可分割未见过的物体或视觉域(如医学影像中的罕见病变)。
- 交互式分割:支持点、框、掩码等多种提示方式,允许用户通过点击或框选细化分割结果。
- 记忆机制:通过流式记忆模块跟踪视频中的对象,解决遮挡、光照变化等问题,确保跨帧分割一致性。
- 多掩码预测:在复杂场景(如重叠物体)中生成多个候选掩码,并通过置信度选择最优结果。