Python&Opencv使用摄像头跟踪颜色运动

前一段时间下载了谷歌猜画小歌的数据集，觉得非常有意思，做了一些数据堆叠，可视化的分析。下一步的计划是做一个用笔对着摄像头作画，然后对画的内容进行预测的功能。

猜画小歌数据集中moon数据集的图片堆叠

本文使用OpenCV，详细信息可以查看：https://opencv-python-tutroals.readthedocs.io/en/latest/py_tutorials/py_imgproc/py_colorspaces/py_colorspaces.html#converting-colorspaces

第一步应该是先让摄像头识别笔，并能记录笔的运动轨迹。本程序是基于OpenCV进行开发的，从整体来说，系统的设计思路如下：

采集笔的色彩空间范围Y，并定义摄像头色彩掩膜的空间范围
使用OpenCV打开摄像头，捕获图像I
OpenCV检测摄像头拍到的图像I中色彩在范围Y内的区域，并生成二值化图像I1
对二值化图I1做降噪处理，滤除图片中的小范围区域，得到图像I2
计算保留在图像I2中范围最大的区域D
计算区域D的质心，该质心即是笔的位置

以下是色彩追综的代码：

from collections import deque
import numpy as np
# import imutils
import cv2
import time
import copy

# 设定红色阈值，HSV空间
redLower = np.array([0, 43, 46])
redUpper = np.array([10, 255, 255])
# 初始化追踪点的列表
mybuffer = 64
pts = deque(maxlen=mybuffer)
# 打开摄像头
camera = cv2.VideoCapture(0)
# 等待两秒
time.sleep(2)
# 遍历每一帧，检测红色瓶盖
while True:
    # 读取帧
    (ret, frame) = camera.read()
    # 判断是否成功打开摄像头
    if not ret:
        print('No Camera')
        break
    # frame = imutils.resize(frame, width=600)
    # 转到HSV空间
    hsv = cv2.cvtColor(frame, cv2.COLOR_BGR2HSV)

    iCopy = copy.deepcopy(frame)
    h = frame.shape[0]
    w = frame.shape[1]

    # 完成镜像，让使用更加友好
    for i in range(h):
        for j in range(w):
            iCopy[i, w - 1 - j] = frame[i, j]  # 水平镜像
    frame = iCopy
    # 根据阈值构建掩膜
    mask = cv2.inRange(hsv, redLower, redUpper)
    # 腐蚀操作
    mask = cv2.erode(mask, None, iterations=2)
    # 膨胀操作，其实先腐蚀再膨胀的效果是开运算，去除噪点
    mask = cv2.dilate(mask, None, iterations=2)
    # 轮廓检测
    cnts = cv2.findContours(mask.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)[-2]
    # 初始化瓶盖圆形轮廓质心
    center = None
    # 如果存在轮廓
    if len(cnts) > 0:
        # 找到面积最大的轮廓
        c = max(cnts, key=cv2.contourArea)
        # 确定面积最大的轮廓的外接圆
        ((x, y), radius) = cv2.minEnclosingCircle(c)
        # 计算轮廓的矩
        M = cv2.moments(c)
        # 计算质心
        center = (int(M["m10"] / M["m00"]), int(M["m01"] / M["m00"]))
        # 只有当半径大于10时，才执行画图
        if radius > 10:
            cv2.circle(frame, (int(x), int(y)), int(radius), (0, 255, 255), 2)
            cv2.circle(frame, center, 5, (0, 0, 255), -1)
            # 把质心添加到pts中，并且是添加到列表左侧
            pts.appendleft(center)
    # 遍历追踪点，分段画出轨迹
    for i in range(1, len(pts)):
        if pts[i - 1] is None or pts[i] is None:
            continue
        # 计算所画小线段的粗细
        thickness = int(np.sqrt(mybuffer / float(i + 1)) * 2.5)
        # 画出小线段
        cv2.line(frame, pts[i - 1], pts[i], (0, 0, 255), thickness)
    # res = cv2.bitwise_and(frame, frame, mask=mask)
    cv2.imshow('Frame', frame)
    # 键盘检测，检测到esc键退出
    k = cv2.waitKey(5) & 0xFF
    if k == 27:
        break
# 摄像头释放
camera.release()
# 销毁所有窗口
cv2.destroyAllWindows()