OpenCV-Python视频分析（移动物体检测，物体追踪）

1.概述

该文章介绍OpenCV-python中关于视频分析的两个主要内容，分别为：

• 🐟背景差分法移动物体检测
• 🐟Meanshift和Camshift算法物体追踪

PS：视频分析还要一个重要的内容：光流法运动轨迹绘制，在以后的文章中介绍。

2.原理介绍

2.1背景差分法移动物体检测

静态摄像机拍摄的画面，大部分场景是没有变化的，并且这部分一般不需要被特别关注。与此对应的视频中的动态物体更值得关注和分析。

背景差分法原理上非常简单，就是将当前的画面与背景做减法，减去没有变化的背景，留下场景中变化的物体（一般是运动的），借用官网的一张图片便于理解。

因此该算法较为关键的一部分就是背景图片的构建，它包含两部分，分别为①初始化背景，②背景更新。但是这两步在OpenCV-Python中都不需要自己书写代码，createBackgroundSubtractor()就可以生成相关算法的对象，下面两句是在不同算法下的背景蒙版分别为MOG2和KNN，他们用法相同，使用apply()方法逐帧输入图片即可，从结果来看，KNN效果要更好一点。

#下面两行二选一#backSub = cv.createBackgroundSubtractORMOG2()backSub = cv.createBackgroundSubtractorKNN()fgMask = backSub.apply(frame)

提取背景蒙版之后，使用简单的代码就可以完成目标的提取也就是：

Deobject=cv.add(frame,frame,mask=fgMask)

相关步骤显示效果如：

2.2Meanshift和Camshift算法对物体追踪

Meanshift可以翻译为均值偏移，Camshift全称为Continuously Apative Mean-Shift，是Meanshift改进。

首先介绍Meanshift，它实际上是以要追踪物体的直方图作为参照，在每个图形的下一帧，搜索物体附近区域，如果找到与该物体直方图相似度很大的区域，就把他判定为该物体继续追踪。因此在该算法中，需要经过一下几个步骤。如下图：

• 在第一帧中选定要追踪物体的区域
• 将色彩转化为HSV，然后生成直方图
• 在下一帧中找到与当前直方图相似的区域，将该区域划定为要追踪的物体。这一步用到了cv.CamShift(probImage, window, criteria），它的三个参数分别为直方图反投影、物体所在窗口，算法停止标准
• 继续下一帧搜索追踪。

下面介绍Camshift，它主要解决了Meanshift的一个问题，就是Meanshift的窗口大小是固定的，由于视频的物体都有近大远小的特点，因此如果物体在镜头前后移动，算法识别准确率不高，Camshift考虑到了这一问题，它会在Meanshift匹配率低的时候，对窗口大小进行调整，详细步骤在代码中介绍。

效果对比：

3.代码分析

环境配置见文章OpenCv-Python图像特征识别_Matrix_CS的博客-CSDN博客

3.1背景差分法移动物体检测

该方法使用Open-CV中的BackgroundSubtractor，自动进行背景生成和背景更新，最后使用背景蒙版和原始图像做运算，将运动物体提取出来。

from __future__ import print_functionimport cv2 as cvimport argparse'''该代码尝试使用背景差分法，完成了固定摄像头中，动态物体的提取。'''#有两种算法可选，KNN和MOG2，下面的代码使用KNN作为尝试alGo='KNN'if algo == 'MOG2':    backSub = cv.createBackgroundSubtractorMOG2()else:    backSub = cv.createBackgroundSubtractorKNN()#打开一个视频文件capture = cv.VideoCapture(cv.samples.findFileOrKeep('vtest.avi'))#判断视频是否读取成功if not capture.isOpened():    print('Unable to open')    exit(0)#逐帧读取视频，进行相关分析while True:    #读取视频的第一帧    ret, frame = capture.read()    if frame is None:        break    #使用定义的backSub对象，输入新的一帧frame，生成背景蒙版    fgMask = backSub.apply(frame)    #将原视频的当前帧和蒙版做相加运算，将前景物体提取出来    Object=cv.add(frame,frame,mask=fgMask)    #展示视频中的物体，三个窗口分别表示原视频、背景、移动目标    cv.imshow('Frame', frame)    cv.imshow('FG Mask', fgMask)    cv.imshow('Object',Object)    #每帧展示结束，等待30毫秒    keyboard = cv.waiTKEy(30)    #按q推出程序    if keyboard == 'q' or keyboard == 27:        break

3.2 Meanshif算法对物体追踪

使用Meanshif算法对物体进行追踪，根据要追踪物体的直方图特征，查询运动物体周围图像，进行匹配，返回移动后的物体位置。

import numpy as npimport cv2 as cvimport argparse'''使用Meanshift算法，对视频中的指定物体进行追踪'''cap = cv.VideoCapture('slow_traffic_small.mp4')#对显示窗口命名cv.namedWindow('image')#读取视频第一帧ret,frame = cap.read()#定义一个范围作为要追踪的物体，在这选取的是一辆车x, y, w, h = 306, 194, 80, 40track_window = (x, y, w, h)# 从第一帧frame中，把范围中的图片提取出来roi = frame[y:y+h, x:x+w]# 转化为hsv颜色，因为画直方图一般会用这个色彩格式hsv_roi =  cv.cvtColor(roi, cv.COLOR_BGR2HSV)#生成一个蒙版，把不在范围内的颜色筛去mask = cv.inRange(hsv_roi, np.array((0., 60.,32.)), np.array((180.,255.,255.)))#生成直方图roi_hist = cv.calcHist([hsv_roi],[0],mask,[180],[0,180])#进行直方图归一化cv.normalize(roi_hist,roi_hist,0,255,cv.NORM_MINMAX)# 设置终止标准，10 次迭代或移动至少 1 像素term_crit = ( cv.TERM_CRITERIA_EPS | cv.TERM_CRITERIA_COUNT, 10, 1 )while(1):    #读取视频下一帧    ret, frame = cap.read()    #ret用来判断视频是否读取成功    if ret == True:        #保持跟上面一致的色彩格式hsv        hsv = cv.cvtColor(frame, cv.COLOR_BGR2HSV)        #这一步计算hist的反投影，是为了下面作为输入便于读取        dst = cv.calcBackProject([hsv],[0],roi_hist,[0,180],1)        # 使用meanShift找到匹配的窗口        ret, track_window = cv.meanShift(dst, track_window, term_crit)        #下面的代码就是用一个矩形框把识别到的物体圈出来        x,y,w,h = track_window        img2 = cv.rectangle(frame, (x,y), (x+w,y+h), 255,2)        cv.imshow('image',img2)        #等待30毫秒，按ESC退出        k = cv.waitKey(30) & 0xff        if k == 27:            break    else:        break

3.3 Camshift算法对物体追踪

该方法是对Meanshif算法的改进，窗口大小可以根据物体移动进行调整，代码和Meanshif算法十分类似。

import numpy as npimport cv2 as cvimport argparse'''使用CamShift算法跟踪物体，该算法改进了MeanShift，它的窗口大小会进行自定义调整'''#打开视频cap = cv.VideoCapture('slow_traffic_small.mp4')#读取视频第一帧ret,frame = cap.read()#定义一个范围作为要追踪的物体，在这选取的是一辆车x, y, w, h = 306, 194, 80, 40 # simply hardcoded the valuestrack_window = (x, y, w, h)# 从第一帧frame中，把范围中的图片提取出来roi = frame[y:y+h, x:x+w]# 转化为hsv颜色，因为画直方图一般会用这个色彩格式hsv_roi =  cv.cvtColor(roi, cv.COLOR_BGR2HSV)#生成一个蒙版，把不在范围内的颜色筛去mask = cv.inRange(hsv_roi, np.array((0., 60.,32.)), np.array((180.,255.,255.)))#生成直方图roi_hist = cv.calcHist([hsv_roi],[0],mask,[180],[0,180])#进行直方图归一化cv.normalize(roi_hist,roi_hist,0,255,cv.NORM_MINMAX)# 设置终止标准，10 次迭代或移动至少 1 像素term_crit = ( cv.TERM_CRITERIA_EPS | cv.TERM_CRITERIA_COUNT, 10, 1 )while(1):    #读取视频下一帧    ret, frame = cap.read()    #ret用来判断视频是否读取成功    if ret == True:        # 保持跟上面一致的色彩格式hsv        hsv = cv.cvtColor(frame, cv.COLOR_BGR2HSV)        # 这一步计算hist的反投影，是为了下面作为输入便于读取        dst = cv.calcBackProject([hsv],[0],roi_hist,[0,180],1)        # 使用CamShift找到匹配的窗口        ret, track_window = cv.CamShift(dst, track_window, term_crit)        #下面的代码就是用一个四边形把识别到的物体框出来        pts = cv.boxPoints(ret)        pts = np.int0(pts)        img2 = cv.polylines(frame,[pts],True, 255,2)        cv.imshow('img2',img2)        k = cv.waitKey(30) & 0xff        # 等待30毫秒，按ESC退出        if k == 27:            break    else:        break

来源地址：https://blog.csdn.net/JJSXBL/article/details/127430769