探索了将 SAM与光流结合或者 SAM 与RGB 图像结合，而且还可以能够连续追踪同一对象的身份。
本项目的目标是运动分割——发现并分割视频中的运动对象。这是一个被广泛研究的领域，有许多仔细的、有时甚至是复杂的方法和训练方案，包括：自监督学习、从合成数据集学习、以对象为中心的表示、非模态表示等等。对本文的兴趣是确定 Segment Anything 模型 (SAM) 是否有助于完成此任务。
研究了将 SAM 与光流相结合的两种模型，这些模型利用 SAM 的分割能力以及光流发现和分组移动对象的能力。首先，我们调整 SAM 以采用流（而不是 RGB）作为输入。在第二个模型中，SAM以RGB作为输入，并使用flow作为分段提示。这些令人惊讶的简单方法，无需任何进一步的修改，在单对象和多对象基准测试中都明显优于以前的所有方法。我们还将这些帧级分割扩展到维持对象身份的序列级分割。同样，这个简单的模型在多个视频对象分割基准上优于以前的方法。
## 更多介绍：
本文主要探讨 Segment Anything 模型（SAM）在此任务中的作用。我们测试了两种模型，将 SAM 与光流技术结合，旨在发挥 SAM 的分割能力和光流技术的移动对象识别与聚类功能。
在第一种模型中，我们修改了 SAM，使之以光流数据而非 RGB 图像作为输入。在第二种模型中，SAM 则使用 RGB 图像作为输入，而光流数据则用作分割的辅助提示。
这些简洁的方法，未经其他修改，就显著超越了之前所有方法，在单个和多个对象的基准测试中均取得了优异表现。
此外，我们还将这些帧级别的分割扩展到序列级别，能够连续追踪同一对象的身份。这种简单的模型同样在多个视频对象分割的基准测试中，超过了之前的所有方法。
这项研究得到了英国 EPSRC CDT in AIMS (EP/S024050/1)、克拉伦登奖学金和英国 EPSRC 项目资助视觉人工智能 (EP/T028572/1) 的支持。
如果想详细了解，可以点开视频下方的链接。
谢谢观看本视频。要是喜欢，请订阅、点赞。谢谢
项目地址：https://robots.ox.ac.uk/~vgg/research/flowsam/
留言
發佈留言