摘要:
本文介绍使用opencv和yolo完成视频流目标检测,代码解释详细,附源码,上手快。

摘要:
本文介绍使用opencv和yolo完成图像目标检测,代码解释详细,附源码,上手快。

照片、视频中的人脸有时也能骗过一些不成熟的人脸识别系统,让人们对人脸解锁的安全性产生很大怀疑。在这篇
4 千多字的教程中,作者介绍了如何用 OpenCV 进行活体检测(liveness
detection)。跟随作者给出的代码和讲解,你可以在人脸识别系统中创建一个活体检测器,用于检测伪造人脸并执行反人脸欺骗。

在上一节内容中,介绍了如何将YOLO应用于图像目标检测中,那么在学会检测单张图像后,我们也可以利用YOLO算法实现视频流中的目标检测。

计算机视觉领域中,目标检测一直是工业应用上比较热门且成熟的应用领域,比如人脸识别、行人检测等,国内的旷视科技、商汤科技等公司在该领域占据行业领先地位。相对于图像分类任务而言,目标检测会更加复杂一些,不仅需要知道这是哪一类图像,而且要知道图像中所包含的内容有什么及其在图像中的位置,因此,其工业应用比较广泛。那么,今天将向读者介绍该领域中表现优异的一种算算法——“你只需要看一次”(you
only look
once,yolo),提出该算法的作者风趣幽默可爱,其个人主页及论文风格显示了其性情,目前该算法已是第三个版本,简称YoLo
V3。闲话少叙,下面进入教程的主要内容。在本教程中,将学习如何使用YOLO、OpenCV和Python检测图像和视频流中的对象。主要内容有:

图片 1

首先打开yolo_video.py文件并插入以下代码:

  • 简要讨论YOLO算法;
  • 使用YOLO、OpenCV、Python进行图像检测;
  • 使用YOLO、OpenCV、Python进行视频流检测;
  • 讨论YOLO算法的优点和缺点;

我在过去的一年里写了不少人脸识别的教程,包括:

# import the necessary packagesimport numpy as npimport argparseimport imutilsimport timeimport cv2import os# construct the argument parse and parse the argumentsap = argparse.ArgumentParser()ap.add_argument("-i", "--input", required=True, help="path to input video")ap.add_argument("-o", "--output", required=True, help="path to output video")ap.add_argument("-y", "--yolo", required=True, help="base path to YOLO directory")ap.add_argument("-c", "--confidence", type=float, default=0.5, help="minimum probability to filter weak detections")ap.add_argument("-t", "--threshold", type=float, default=0.3, help="threshold when applyong non-maxima suppression")args = vars(ap.parse_args

图片 2图1:
YOLO目标检测器简化示意图

  • penCV 人脸识别
  • 用 dlib、Python 和深度学习进行人脸识别
  • 用树莓派实现人脸识别

同样,首先从导入相关数据包和命令行参数开始。与之前不同的是,此脚本没有-- image参数,取而代之的是量个视频路径:

当涉及基于深度学习的对象检测时,常用的三类算法有:

但在我的邮件和人脸识别相关帖子下面的评论中经常会出现以下问题:

  • -- input :输入视频文件的路径;
  • -- output :输出视频文件的路径;
  • R-CNN家族系列算法:R-CNN、fast R-CNN以及faster R-CNN;
  • 单发检测器;
  • YOLO算法;R-CNN算法是最早的基于深度学习的目标检测器之一,其结构是两级网络:
  • 首先需要诸如选择性搜索之类的算法来提出可能包含对象的候选边界框;
  • 然后将这些区域传递到CNN算法进行分类;

我该如何识别真假人脸呢?

视频的输入可以是手机拍摄的短视频或者是网上搜索到的视频。另外,也可以通过将多张照片合成为一个短视频也可以。本博客使用的是在PyImageSearch上找到来自imutils的VideoStream类的
示例。下面的代码与处理图形时候相同:

R-CNN算法存在的问题在于其仿真很慢,并且不是完整的端到端的目标检测器。Fast
R-CNN算法对原始R-CNN进行了相当大的改进,即提高准确度并减少执行正向传递所花费的时间,但是,该模型仍然依赖于外部区域搜索算法。直到2015年,faster
R-CNN才成为真正的端到端深度学习目标检测器,删除了选择性搜索的要求,而是依赖于完全卷积的区域提议网络可以预测对象边界框和“对象”分数(量化它是一个区域的可能性的分数)。然后将RPN的输出传递到R-CNN组件以进行最终分类和标记。R-CNN系列算法的检测结果一般都非常准确,但R-CNN系列算法最大的问题在仿真速度——非常慢,即使是在GPU上也仅获得5
FPS。为了提高基于深度学习的目标检测器的速度,单次检测器和YOLO都使用单级检测器策略(one
stage)
。这类算法将对象检测视为回归问题,获取给定的输入图像并同时学习边界框坐标和相应的类标签概率。通常,单级检测器往往不如两级检测器准确,但其速度明显更快。YOLO是单级检测器中一个很好的算法。YOLO算法于2015年提出,在GPU上获得了
45 FPS性能,此外,同时也提出了一个较小的变体称为“Fast
YOLO”,在GPU上达到155
FPS的性能。YOLO经历了许多次的迭代,包括YOLOv2,能够检测超过9,000个目标。直到最近提出的YOLOv3算法,YOLOv3模型比之前的版本要复杂得多,但它是YOLO系列目标检测器中最好的一款。本文使用YOLOv3,并在COCO数据集上进行训练。COCO数据集由80个标签组成,可以使用此链接找到YOLO在COCO数据集上训练的内容的完整列表。

想想如果有坏人试图攻破你的人脸识别系统会发生什么?

# load the COCO class labels our YOLO model was trained onlabelsPath = os.path.sep.join([args["yolo"], "coco.names"])LABELS = open(labelsPath).read.split# initialize a list of colors to represent each possible class labelnp.random.seedCOLORS = np.random.randint(0, 255, size=(len, 3), dtype="uint8")# derive the paths to the YOLO weights and model configurationweightsPath = os.path.sep.join([args["yolo"], "yolov3.weights"])configPath = os.path.sep.join([args["yolo"], "yolov3.cfg"])# load our YOLO object detector trained on COCO dataset (80 classes)# and determine only the *output* layer names that we need from YOLOprint("[INFO] loading YOLO from disk...")net = cv2.dnn.readNetFromDarknet(configPath, weightsPath)ln = net.getLayerNames()ln = [ln[i[0] - 1] for i in net.getUnconnectedOutLayers()]

在终端中使用tree命令,可以很方便快捷地生成目标树:

这样的用户可能会拿到另一个人的照片。甚至可能他们的手机上就有其他人的照片或视频,他们可以用这样的照片或视频来欺骗识别人脸的相机(就像本文开头的图片那样)。

在这里,加载标签并生成相应的颜色,然后加载YOLO模型并确定输出层名称。接下来,将处理一些特定于视频的任务:

$ tree.├── images│ ├── baggage_claim.jpg│ ├── dining_table.jpg│ ├── living_room.jpg│ └── soccer.jpg├── output│ ├── airport_output.avi│ ├── car_chase_01_output.avi│ ├── car_chase_02_output.avi│ └── overpass_output.avi├── videos│ ├── airport.mp4│ ├── car_chase_01.mp4│ ├── car_chase_02.mp4│ └── overpass.mp4├── yolo-coco│ ├── coco.names│ ├── yolov3.cfg│ └── yolov3.weights├── yolo.py└── yolo_video.py

在这种情况下,照相机完全有可能将其识别为正确的人脸,从而让未经授权的用户骗过人脸识别系统!

# initialize the video stream, pointer to output video file, and# frame dimensionsvs = cv2.VideoCapture(args["input"])writer = None = (None, None)# try to determine the total number of frames in the video filetry: prop = cv2.cv.CV_CAP_PROP_FRAME_COUNT if imutils.is_cv2()  else cv2.CAP_PROP_FRAME_COUNT total = int(vs.get print("[INFO] {} total frames in video".format# an error occurred while trying to determine the total# number of frames in the video fileexcept: print("[INFO] could not determine # of frames in video") print("[INFO] no approx. completion time can be provided") total = -1

从上面可以看出,项目包括4个文件夹和2个Python脚本。目录是:

如何识别这些真假人脸呢?如何在人脸识别应用中使用反人脸欺骗算法?

在上述代码块中:

  • yolo - coco /
    :YOLOv3对象检测器预先(在COCO数据集上)训练得到最终的权重文件,可以在Darknet团队主页找到对应的文件;
  • images /
    :此文件夹包含四个静态图像,之后将执行对象检测以进行测试和评估;
  • videos/
    :使用YOLO对图像进行目标检测器后,将实时处理视频。该文件夹中包含四个示例视频可供测试;
  • 输出/
    :输出已由YOLO处理并带有边界框和类名称注释的视频可以放在此文件夹中;

答案是用 OpenCV 实现活体检测——这也是我今天要介绍的内容。

  • 打开一个指向视频文件的文件指针,循环读取帧;
  • 初始化视频编写器 (writer)和帧尺寸;
  • 尝试确定视频文件中的总帧数(total),以便估计整个视频的处理时间;

此外还有两个Python脚本——yolo .pyyolo_video.py
,第一个脚本用于图像处理,第二个脚本用于视频处理。下面进入实战内容,你准备好了吗?

要了解如何用 OpenCV
将活体检测结合到你自己的人脸识别系统中,请继续往下读。

之后逐个处理帧:

首先将YOLO目标检测器应用于图像中,首先打开项目中的
yolo .py并插入以下代码:

你可以在文末的下载部分下载源代码:

# loop over frames from the video file streamwhile True: # read the next frame from the file (grabbed, frame) = vs.read() # if the frame was not grabbed, then we have reached the end # of the stream if not grabbed: break # if the frame dimensions are empty, grab them if W is None or H is None:  = frame.shape[:2]
# import the necessary packagesimport numpy as npimport argparseimport timeimport cv2import os# construct the argument parse and parse the argumentsap = argparse.ArgumentParser()ap.add_argument("-i", "--image", required=True, help="path to input image")ap.add_argument("-y", "--yolo", required=True, help="base path to YOLO directory")ap.add_argument("-c", "--confidence", type=float, default=0.5, help="minimum probability to filter weak detections")ap.add_argument("-t", "--threshold", type=float, default=0.3, help="threshold when applying non-maxima suppression")args = vars(ap.parse_args

上述定义了一个 while循环,
然后从第一帧开始进行处理,并且会检查它是否是视频的最后一帧。接下来,如果尚未知道帧的尺寸,就会获取一下对应的尺寸。接下来,使用当前帧作为输入执行YOLO的前向传递

在使用之前,需要为此脚本安装
3.4.2+版本以上的OpenCV,可以直接使用pip install opencv-python==3.4.2安装,你也可以在这里找到OpenCV安装教程,这里注意一点,OpenCV
4目前处于测试阶段,这里建议去安装OpenCV
3.4.2+。首先,导入所需的数据包——OpenCV和NumPy。现在解析四个命令行参数,命令行参数在运行时处理,允许我们从终端更改脚本的输入。如果你对其不熟悉,建议阅读相关的内容。命令行参数包括:

用 OpenCV 实现活体检测

ect Detection with OpenCVPython # construct a blob from the input frame and then perform a forward # pass of the YOLO object detector, giving us our bounding boxes # and associated probabilities blob = cv2.dnn.blobFromImage(frame, 1 / 255.0, , swapRB=True, crop=False) net.setInput start = time.time() layerOutputs = net.forward end = time.time() # initialize our lists of detected bounding boxes, confidences, # and class IDs, respectively boxes = [] confidences = [] classIDs = []
  • -- image :输入图像的路径;
  • -- yolo
    :YOLO文件路径,脚本将加载所需的YOLO文件,以便在图像上执行对象检测;
  • -- confidence
    :过滤弱检测的最小概率,默认值设置为0.5,但该值也可以随意设置;
  • -- threshold :非最大值抑制阈值,默认值设置为
    0.3,可以在此处阅读有关非最大值抑制的更多信息。

本教程第一部分将讨论什么是活体检测以及为什么要借助活体检测提升我们的人脸识别系统。

在这里,构建一个 blob
并将其传递通过网络,从而获得预测。然后继续初始化之前在图像目标检测中使用过的三个列表:
boxesconfidencesclassIDs

解析之后,args变量是一个包含命令行参数的键值对的字典。下面为每个标签设置随机颜色:

从这里开始要先研究一下用于活体检测的数据集,包括:

 # loop over each of the layer outputs for output in layerOutputs: # loop over each of the detections for detection in output: # extract the class ID and confidence (i.e., probability) # of the current object detection scores = detection[5:] classID = np.argmax confidence = scores[classID] # filter out weak predictions by ensuring the detected # probability is greater than the minimum probability if confidence > args["confidence"]: # scale the bounding box coordinates back relative to # the size of the image, keeping in mind that YOLO # actually returns the center -coordinates of # the bounding box followed by the boxes' width and # height box = detection[0:4] * np.array([W, H, W, H]) (centerX, centerY, width, height) = box.astype # use the center -coordinates to derive the top # and and left corner of the bounding box x = int(centerX - (width / 2)) y = int(centerY - (height / 2)) # update our list of bounding box coordinates, # confidences, and class IDs boxes.append([x, y, int, int confidences.append(float(confidence)) classIDs.append
# load the COCO class labels our YOLO model was trained onlabelsPath = os.path.sep.join([args["yolo"], "coco.names"])LABELS = open(labelsPath).read.split# initialize a list of colors to represent each possible class labelnp.random.seedCOLORS = np.random.randint(0, 255, size=(len, 3), dtype="uint8")
  • 如何构建活体检测的数据集?
  • 真假面部图像的样例。

在上述代码中,与图像目标检测相同的有:

上述加载所有类
LABELS,其类型是列表,保存的是类别名称,然后将随机颜色分配给每个标签
。下面设置YOLO权重和配置文件的路径,然后从磁盘加载YOLO文件:

我们还将回顾用于活体检测器项目的项目结构。

  • 循环输出层和检测;
  • 提取classID并过滤掉弱预测;
  • 计算边界框坐标;
  • 更新各自的列表;
# derive the paths to the YOLO weights and model configurationweightsPath = os.path.sep.join([args["yolo"], "yolov3.weights"])configPath = os.path.sep.join([args["yolo"], "yolov3.cfg"])# load our YOLO object detector trained on COCO dataset (80 classes)print("[INFO] loading YOLO from disk...")net = cv2.dnn.readNetFromDarknet(configPath, weightsPath)

为了创建活体检测器,我们要训练一个能分辨真假人脸的深度神经网络。

接下来,将应用非最大值抑制:

从磁盘加载YOLO文件后,并利用OpenCV中的cv2.dnn.readNetFromDarknet函数从中读取网络文件及权重参数,此函数需要两个参数configPath
weightsPath,这里再次强调,:OpenCV
的版本至少是3.4.2及以上才能运行此代码,因为它需要加载YOLO所需的更新的dnn模块。下面加载图像并处理:

因此,我们还需要:

 # apply non-maxima suppression to suppress weak, overlapping # bounding boxes idxs = cv2.dnn.NMSBoxes(boxes, confidences, args["confidence"], args["threshold"]) # ensure at least one detection exists if len > 0: # loop over the indexes we are keeping for i in idxs.flatten(): # extract the bounding box coordinates  = (boxes[i][0], boxes[i][1])  = (boxes[i][2], boxes[i][3]) # draw a bounding box rectangle and label on the frame color = [int for c in COLORS[classIDs[i]]] cv2.rectangle(frame, , (x + w, y + h), color, 2) text = "{}: {:.4f}".format(LABELS[classIDs[i]], confidences[i]) cv2.putText(frame, text, , cv2.FONT_HERSHEY_SIMPLEX, 0.5, color, 2)
# load our input image and grab its spatial dimensionsimage = cv2.imread(args["image"]) = image.shape[:2]# determine only the *output* layer names that we need from YOLOln = net.getLayerNames()ln = [ln[i[0] - 1] for i in net.getUnconnectedOutLayers()]# construct a blob from the input image and then perform a forward# pass of the YOLO object detector, giving us our bounding boxes and# associated probabilitiesblob = cv2.dnn.blobFromImage(image, 1 / 255.0, , swapRB=True, crop=False)net.setInputstart = time.time()layerOutputs = net.forwardend = time.time()# show timing information on YOLOprint("[INFO] YOLO took {:.6f} seconds".format(end - start))
  1. 构建图像数据集;
  2. 实现可以执行活体检测的 CNN(我们将这个网络称为「LivenessNet」);
  3. 训练活体检测器网络;
  4. 创建一个 Python+OpenCV
    的脚本,可以通过该脚本使用我们训练好的活体检测器模型,并将其应用于实时视频。

同样的,在上述代码中与图像目标检测相同的有:

在该代码中:

那我们就开始吧!

  • 使用cv2.dnn.NMSBoxes函数用于抑制弱的重叠边界框,可以在此处阅读有关非最大值抑制的更多信息;
  • 循环遍历由NMS计算的idx,并绘制相应的边界框+标签;
  • 加载输入 图像并获得其尺寸;
  • 确定YOLO模型中的输出图层名称;
  • 从图像构造一个 blob结构;

什么是活体检测?我们为什么需要活体检测?

最终的部分代码如下:

如果你对blob和cv2.dnn.blobFromImage有疑问,可以看这篇博客进一步的了解。当blob准备好了后,我们就会

图片 3

 # check if the video writer is None if writer is None: # initialize our video writer fourcc = cv2.VideoWriter_fourcc writer = cv2.VideoWriter(args["output"], fourcc, 30, (frame.shape[1], frame.shape[0]), True) # some information on processing single frame if total > 0: elap = (end - start) print("[INFO] single frame took {:.4f} seconds".format print("[INFO] estimated total time to finish: {:.4f}".format( elap * total)) # write the output frame to disk writer.write# release the file pointersprint("[INFO] cleaning up...")writer.release()vs.release()
  • 通过YOLO网络进行前向传递;
  • 显示YOLO的推理时间;现在采取措施来过滤和可视化最终的结果。首先,让我们初步化一些处理过程中需要的列表:

图 1:用 OpenCV 进行活体检测。左图是我的实时视频,而右图中我拿着自己的
iPhone。

总结一下:

人脸识别系统与以往任何时候相比都更加普遍。从
iPhone中的人脸识别,到中国大规模监控中的人脸识别,人脸识别系统的应用无处不在。

  • 初始化视频编写器(writer),一般在循环的第一次迭代被初始化;
  • 打印出对处理视频所需时间的估计;
  • 将帧(frame)写入输出视频文件;
  • 清理和释放指针;
# initialize our lists of detected bounding boxes, confidences, and# class IDs, respectivelyboxes = []confidences = []classIDs = []

但人脸识别系统也很容易被「伪造」和「不真实」的面部所欺骗。

现在,打开一个终端并执行以下命令:

这些列表包括:

在面部识别相机前拿着一个人的照片(无论是印出来的还是手机上的)可以轻而易举地骗过人脸识别系统。

$ python yolo_video.py --input videos/car_chase_01.mp4  --output output/car_chase_01.avi --yolo yolo-coco[INFO] loading YOLO from disk...[INFO] 583 total frames in video[INFO] single frame took 0.3500 seconds[INFO] estimated total time to finish: 204.0238[INFO] cleaning up...
  • boxes :对象的边界框。
  • confidences
    :YOLO分配给对象的置信度值,较低的置信度值表示该对象可能不是网络认为的对象。上面的命令行参数中将过滤掉不大于
    0.5阈值的对象。
  • classIDs :检测到的对象的类标签。

为了让人脸识别系统更加安全,我们需要检测出这样伪造的面部——活体检测指的就是这样的算法。

图片 4图6:YOLO应用于车祸视频对象检测

下面用YOLOlayerOutputs中的数据填充这些列表 :

活体检测的方法有很多,包括:

在视频/
GIF中,你不仅可以看到被检测到的车辆,还可以检测到人员以及交通信号灯!YOLO目标检测器在该视频中表现相当不错。让现在尝试同一车追逐视频中的不同视频:

# loop over each of the layer outputsfor output in layerOutputs: # loop over each of the detections for detection in output: # extract the class ID and confidence (i.e., probability) of # the current object detection scores = detection[5:] classID = np.argmax confidence = scores[classID] # filter out weak predictions by ensuring the detected # probability is greater than the minimum probability if confidence > args["confidence"]: # scale the bounding box coordinates back relative to the # size of the image, keeping in mind that YOLO actually # returns the center -coordinates of the bounding # box followed by the boxes' width and height box = detection[0:4] * np.array([W, H, W, H]) (centerX, centerY, width, height) = box.astype # use the center -coordinates to derive the top and # and left corner of the bounding box x = int(centerX - (width / 2)) y = int(centerY - (height / 2)) # update our list of bounding box coordinates, confidences, # and class IDs boxes.append([x, y, int, int confidences.append(float(confidence)) classIDs.append
  • 纹理分析(Texture
    analysis),该方法计算了面部区域的局部二值模式(Local Binary
    Patterns,LBP),用 SVM 将面部分为真实面部和伪造面部;
  • 频率分析(Frequency analysis),比如检查面部的傅立叶域;
  • 可变聚焦分析(Variable focusing
    analysis),例如检查连续两帧间像素值的变化;
  • 启发式算法(Heuristic-Based
    algorithms),包括眼球运动、嘴唇运动和眨眼检测。这些算法试图追踪眼球运动和眨眼行为,来确保用户不是拿着谁的照片(因为照片不会眨眼也不会动嘴唇);
  • 光流算法(Optical Flow algorithm),即检测 3D 对象和 2D
    平面产生的光流的属性和差异;
  • 3D 面部形状(3D face shape),类似于 iPhone
    上的面部识别系统,这种算法可以让面部识别系统区分真实面部和其他人的照片或打印出来的图像;
$ python yolo_video.py --input videos/car_chase_02.mp4  --output output/car_chase_02.avi --yolo yolo-coco[INFO] loading YOLO from disk...[INFO] 3132 total frames in video[INFO] single frame took 0.3455 seconds[INFO] estimated total time to finish: 1082.0806[INFO] cleaning up...

在这个块中:

结合以上算法,这种方法可以让面部识别系统工程师挑选适用于自己应用的活体检测模型。

图片 5图7:在该视频中,使用OpenCV和YOLO对象检测来找到该嫌疑人,嫌疑人现在已经逃离汽车并正位于停车场

  • 循环遍历每个layerOutputs
  • 循环每个detectionoutput
  • 提取 classIDconfidence
  • 使用 confidence滤除弱检测;

Chakraborty 和 Das 2014 年的论文(《An Overview of Face liveness
Detection》)对活体检测算法做了全面的综述。

YOLO再一次能够检测到行人!或者嫌疑人回到他们的车中并继续追逐:

过滤掉了不需要的检测结果后,我们将:

我们在本教程中将活体检测视为一个二分类问题。

$ python yolo_video.py --input videos/car_chase_03.mp4  --output output/car_chase_03.avi --yolo yolo-coco[INFO] loading YOLO from disk...[INFO] 749 total frames in video[INFO] single frame took 0.3442 seconds[INFO] estimated total time to finish: 257.8418[INFO] cleaning up...
  • 缩放边界框坐标,以便我们可以在原始图像上正确显示它们;
  • 提取边界框的坐标和尺寸,YOLO返回边界框坐标形式: (centerX ,centerY
    ,width,height);
  • 使用此信息导出边界框的左上角坐标;
  • 更新boxesconfidences
    classIDs列表。有了这些数据后,将应用“非最大值抑制”(non-maxima
    suppression,nms):

给定输入图像,我们要训练一个能区分真实面部和伪造面部的卷积神经网络(Convolutional
Neural Network)。

图片 6图8:
YOLO是一种快速深度学习对象检测器,能够在使用GPU的情况下用于实时视频

但在训练活体检测模型之前,我们要先检查一下数据集。

最后一个例子,让我们看看如何使用YOLO作为构建流量计数器:

# apply non-maxima suppression to suppress weak, overlapping bounding# boxesidxs = cv2.dnn.NMSBoxes(boxes, confidences, args["confidence"], args["threshold"])

我们的活体检测视频

$ python yolo_video.py --input videos/overpass.mp4  --output output/overpass.avi --yolo yolo-coco[INFO] loading YOLO from disk...[INFO] 812 total frames in video[INFO] single frame took 0.3534 seconds[INFO] estimated total time to finish: 286.9583[INFO] cleaning up...

YOLO算法并没有应用非最大值抑制,这里需要说明一下。应用非最大值抑制可以抑制明显重叠的边界框,只保留最自信的边界框,NMS还确保我们没有任何冗余或无关的边界框。利用OpenCV内置的NMS
DNN模块实现即可实现非最大值抑制 ,所需要的参数是边界 框、
置信度、以及置信度阈值和NMS阈值。最后在图像上绘制检测框和类文本:

图片 7

图片 8图9:立交桥交通视频表明,YOLO和OpenCV可准确、快速地检测汽车

# ensure at least one detection existsif len > 0: # loop over the indexes we are keeping for i in idxs.flatten(): # extract the bounding box coordinates  = (boxes[i][0], boxes[i][1])  = (boxes[i][2], boxes[i][3]) # draw a bounding box rectangle and label on the image color = [int for c in COLORS[classIDs[i]]] cv2.rectangle(image, , (x + w, y + h), color, 2) text = "{}: {:.4f}".format(LABELS[classIDs[i]], confidences[i]) cv2.putText(image, text, , cv2.FONT_HERSHEY_SIMPLEX, 0.5, color, 2)# show the output imagecv2.imshow("Image", image)cv2.waitKey


2:真实面部和伪造面部的样例。左边的视频是我的面部的真实视频,右边是在播放同样的视频时笔记本录制的视频。

下面汇总YOLO视频对象检测完整视频:

假设存在至少一个检测结果,就循环用非最大值抑制确定idx
。然后,我们使用随机类颜色在图像上绘制边界框和文本
。最后,显示结果图像,直到用户按下键盘上的任意键。下面进入测试环节,打开一个终端并执行以下命令:

为了让例子更直观,本文建立的活体检测器侧重于区分真实面部和屏幕上的伪造面部。

  • Quaker Oats汽车追逐视频;
  • Vlad Kiraly立交桥视频;
  • “White Crow”音频;
$ python yolo.py --image images/baggage_claim.jpg --yolo yolo-coco[INFO] loading YOLO from disk...[INFO] YOLO took 0.347815 seconds

这一算法可以轻易扩展到其他类型的伪造面部上,比如打印输出的伪造面部和高分辨率输出的伪造面部等。

YOLO目标检测器的最大限制和缺点是:

图片 9图2:YOLO用于检测机场中的人员和行李

为了建立活体检测数据集,我做了下列工作:

  • 它并不总能很好地处理小物体;
  • 它尤其不适合处理密集的对象;

从上图可以看到,YOLO不仅检测了输入图像中的每个人,还检测了手提箱。此外,可以从图像的右上角看到,YOLO还检测到女士肩上的手提包。我们试试另一个例子:

  1. 拿着我的 iPhone,将它设置为人像或自拍模式;
  2. 录制约 25 秒我在办公室里来回走的视频;
  3. 重播这段 25 秒的视频,这次用我的 iPhone 对着录制了重播视频的电脑;
  4. 这样就产生了两段样例视频,一段用于「真实」面部,一段用于「伪造」面部;
  5. 最后,我在这两段视频上都用了人脸检测,为这两类提取出单独的面部
    ROI(Reign of Interest)。

限制的原因是由于YOLO算法其本身:

$ python yolo.py --image images/living_room.jpg --yolo yolo-coco[INFO] loading YOLO from disk...[INFO] YOLO took 0.340221 seconds

我在本文的「下载」部分提供了真实面部和伪造面部的视频文件。

  • YOLO对象检测器将输入图像划分为SxS网格,其中网格中的每个单元格仅预测单个对象;
  • 如果单个单元格中存在多个小对象,则YOLO将无法检测到它们,最终导致错过对象检测;

图片 10图3:
YOLO用于检测人、狗、电视和椅子

你可以将这些视频作为数据集的起点,但我建议你多收集一些数据,这可以让你的活体检测器更鲁棒也更安全。

因此,如果你的数据集是由许多靠近在一起的小对象组成时,那么就不应该使用YOLO算法。就小物体而言,更快的R-CNN往往效果最好,但是其速度也最慢。在这里也可以使用SSD算法,
SSD通常在速度和准确性方面也有很好的权衡。值得注意的是,在本教程中,YOLO比SSD运行速度慢,大约慢一个数量级。因此,如果你正在使用预先训练的深度学习对象检测器供OpenCV使用,可能需要考虑使用SSD算法而不是YOLO算法。因此,在针对给定问题选择对象检测器时,我倾向于使用以下准则:

YOLO还可以检测电视显示器和椅子,令我惊讶的是YOLO能够检测到椅子,因为它是手工制作的老式“婴儿高脚椅”。有趣的是,YOLO认为我手中有一个遥控器,它实际上不是遥控器——玻璃反射的VHS录,仔细盯着这个地方看,它实际上看起来非常像遥控器。以下示例图像演示了YOLO对象检测器的局限性和弱点:

通过测试,我确定模型有些偏向我的脸,这是意料之中的结果,因为所有的模型都是基于我的面部训练出来的。此外,由于我是白人,所以如果数据集中有其他肤色或其他人种的面部时,这个模型效果会没有那么好。

  • 如果知道需要检测的是小物体并且速度方面不作求,我倾向于使用faster
    R-CNN算法;
  • 如果速度是最重要的,我倾向于使用YOLO算法;
  • 如果需要一个平衡的表现,我倾向于使用SSD算法;
$ python yolo.py --image images/dining_table.jpg --yolo yolo-coco[INFO] loading YOLO from disk...[INFO] YOLO took 0.362369 seconds

在理想情况下,你应该用不同肤色和不同人种的面部来训练模型。请参考本文的「限制和后续工作」部分,来了解其他改善活体检测模型的建议。

图片 11图10:在我的书“使用Python进行计算机视觉的深度学习”中,我介绍了多种对象检测算法,包括faster
R-CNN、SSD、RetinaNet。书中讲述了如何创建对象检测图像数据集、训练对象检测器并进行预测。

图片 12图4:
YOLO用于检测餐桌

你将在本教程剩下的部分学习如何获取我录制的数据集以及如何将它实际应用于通过
OpenCV 和深度学习建立的活体检测器。

在本教程中,使用的YOLO模型是在COCO数据集上预先训练的.。但是,如果想在自己的数据集上训练深度学习对象检测器,该如何操作呢?大体思路是自己标注数据集,按照darknet网站上的指示及网上博客自己更改相应的参数训练即可。或者在我的书“
深度学习计算机视觉与Python”中,详细讲述了如何将faster
R-CNN、SSD和RetinaNet应用于:

虽然YOLO正确检测到葡萄酒瓶、餐桌和花瓶,但只有两个酒杯中的一个被正确检测到。下面尝试最后一幅图像:

项目结构

  • 检测图像中的徽标;
  • 检测交通标志;
  • 检测车辆的前视图和后视图(用于构建自动驾驶汽车应用);
  • 检测图像和视频流中武器;
$ python yolo.py --image images/soccer.jpg --yolo yolo-coco[INFO] loading YOLO from disk...[INFO] YOLO took 0.345656 seconds

你可以通过本教程的「Downloads」部分下载代码、数据和活体模型,然后解压缩存档。

书中的所有目标检测章节都包含对算法和代码的详细说明,确保你能够成功训练自己的对象检测器。在这里可以了解有关我的书的更多信息(并获取免费的示例章节和目录)。

图片 13图5:使用YOLO检测足球运动员和足球

进入项目目录后,你能看到这样的结构:

在本教程中,我们学习了如何使用Deep
Learning、OpenCV和Python完成YOLO对象检测。然后,我们简要讨论了YOLO架构,并用Python实现:

YOLO能够正确地检测球场上的每个球员,包括足球本身。请注意,尽管区域高度模糊且部分遮挡,但仍会检测到背景中的人。以上内容就是图像检测部分的全部内容,下一节将介绍视频流中对象检测以及YOLO算法的总结。

图片 14

  • 将YOLO对象检测应用于单个图像;
  • 将YOLO对象检测应用于视频流;

本文作者:

目录中有四个主目录:

在配备的3GHz Intel Xeon W处理器的机器上,YOLO的单次前向传输耗时约0.3秒;
但是,使用单次检测器,检测耗时只需0.03秒,速度提升了一个数量级。对于使用OpenCV和Python在CPU上进行基于实时深度学习的对象检测,你可能需要考虑使用SSD算法。

阅读原文

  • dataset/:我们的数据集目录中包含两类图像:

本文作者:

本文为云栖社区原创内容,未经允许不得转载。

  1. 在播放我的面部视频时通过录制屏幕得到的伪造图像;

  2. 手机直接拍摄我的面部视频得到的真实图像。

阅读原文

  • face_detector/:由预训练的 Caffe 面部检测器组成,用来定位面部 ROI;
  • Pyimagesearch/:该模块包含了 LivenessNet 类;
  • videos/:这里提供了两段用于训练 LivenessNet 分类器的输入视频。

本文为云栖社区原创内容,未经允许不得转载。

今天我们会详细地学习三个 Python
脚本。在文章结束后,你可以在自己的数据和输入视频上运行这三个脚本。按在教程中出现的顺序,这三个脚本分别是:

  1. gather_examples.py:这个脚本从输入的视频文件中提取了面部
    ROI,帮助我们创建了深度学习面部活体数据集;

  2. train_liveness.py:如文件名所示,这个脚本用来训练 LivenessNet
    分类器。我们将用 Keras 和 TensorFlow
    训练模型。在训练过程中会产生一些文件:

  • le.pickle:分类标签编码器。
  • liveness.model: 可以检测面部活性的序列化 Keras 模型。
  • plot.png:训练历史图呈现了准确率和损失曲线,我们可以根据它来评估模型(是否过拟合或欠拟合。)

3.
liveness_demo.py:演示脚本,它会启动你的网络摄像头抓取帧,可以进行实时的面部活体检测。

从训练数据集中检测并提取面部 ROI

图片 15

图 3:为了构建活体检测数据集,在视频中检测面部 ROI。

现在有机会看到初始数据集和项目结构了,让我们看看该如何从输入视频中提取出真实面部图像和伪造面部图像吧。

最终目标是用这个脚本填充两个目录:

  • dataset/fake/:fake.mp4 中的面部 ROI;
  • dataset/real/:real.mov 中的面部 ROI。

根据这些帧,我们后续将在这些图像上训练基于深度学习的活体检测器。

打开 gataer_examples.py,插入下面的代码:

图片 16

2~5 行导入了我们需要的包。除了内置的 Python 模块外,该脚本只需要 OpenCV
和 NumPy。

8~19 行解析了命令行参数:

  • –input:输入视频文件的路径
  • –output:输出目录的路径,截取的每一张面部图像都存储在这个目录中。
  • –detector:面部检测器的路径。我们将使用 OpenCV
    的深度学习面部检测器。方便起见,本文的「Downloads」部分也有这个
    Caffe 模型。
  • –confidence:过滤弱面部检测的最小概率,默认值为 50%。
  • –skip:我们不需要检测和存储每一张图像,因为相邻的帧是相似的。因此我们在检测时会跳过
    N 个帧。你可以使用这个参数并更改默认值。

继续加载面部检测器并初始化视频流:

图片 17

发表评论

电子邮件地址不会被公开。 必填项已用*标注