浙大的SAMTrack，自动分割和跟踪视频中的任何内容网站首页 技术教程

浙大的SAMTrack，自动分割和跟踪视频中的任何内容

寅恪光潜 2023-07-07 04:00:04

简介浙大的SAMTrack，自动分割和跟踪视频中的任何内容

Meta发布的SAM之后，Meta的Segment Anything模型(可以分割任何对象)体验过感觉很棒，既然能够在图片上面使用，那肯定能够在视频中应用，毕竟视频就是一帧一帧的图片的组合。

果不其然浙江大学就发布了这个SAMTrack，就是在SAM基础上的能够分割视频中的对象而且能够实时追踪，开源地址：Segment-and-Track-Anything 看来在AI领域真的是日新月异啊，技术的更新迭代之快前所未有。

上传图片或视频之后会识别里面的所有对象，也可以进行单个与多个的选择和取消

代码的执行如下：

#克隆SAMTrack仓库
!git clone https://github.com/z-x-yang/Segment-and-Track-Anything.git
%cd /content/Segment-and-Track-Anything

#安装相关依赖库
!bash script/install.sh

#下载ckpt
!mkdir ./ckpt
!bash script/download_ckpt.sh


#运行WEB界面
!pip install gradio

#最后执行python文件之后，将出现URL地址进行测试
!python app.py

然后就是上传视频，进行任何对象的分割与追踪了，还可以将转换之后的视频进行下载！

这里对视频的处理，所以对硬件会有一定的要求，一般的配置估计都比较老火，最好在云上面运行，里面有直接在谷歌云中进行上传处理的界面，需科学上网！

最后来看个直观的视频，看下这个分割与追踪的效果

浙大的SAMTrack视频分割对象和实时追踪

风语者！平时喜欢研究各种技术，目前在从事后端开发工作，热爱生活、热爱工作。