摘要：本文作者介紹了結(jié)合的WebRTC與TensorFlow實(shí)現(xiàn)圖像檢測(cè)的具體過程，不論對(duì)于TensorFlow的使用者，還是的WebRTC的開發(fā)者來講都有參考意義由于文章較長(zhǎng)，我們將分為上下篇進(jìn)行連載。

　　TensorFlow是目前最流行的機(jī)器學(xué)習(xí)框架之一。TensorFlow的一大優(yōu)勢(shì)是，它的很多庫(kù)都有人積極進(jìn)行維護(hù)和更新。而我最喜歡的其中一個(gè)庫(kù)就是TensorFlow 對(duì)象檢測(cè)API .Tensorflow對(duì)象檢測(cè)API可以對(duì)一張圖形上的多個(gè)對(duì)象進(jìn)行分類，并提供它們的具體位置。該API在將近1000個(gè)對(duì)象類上進(jìn)行了預(yù)先訓(xùn)練，可提供各種經(jīng)過預(yù)先訓(xùn)練的模型，讓你可以在速度與準(zhǔn)確性之間權(quán)衡取舍。

　　有這些模型的指引固然很好，但所有這些模型都要使用圖像才能發(fā)揮作用，而這些圖像則需要你自行添加到一個(gè)文件夾中。我其實(shí)很想將其與實(shí)時(shí)的的WebRTC流配合到一起，通過網(wǎng)絡(luò)實(shí)現(xiàn)實(shí)時(shí)的計(jì)算機(jī)視覺。由于未能找到這方面的任何例子或指南，我決定寫這篇博文來介紹具體的實(shí)現(xiàn)方法。對(duì)于使用RTC的人，可以將本文作為一篇快速指南加以參考，了解如何使用TensorFlow來處理的WebRTC流。對(duì)于使用TensorFlow的人士，則可以將本文作為一份快速簡(jiǎn)介，了解如何向自己的項(xiàng)目中添加的WebRTC。使用的WebRTC的人需要對(duì)Python的比較熟悉。而使用TensorFlow的人則需要熟悉網(wǎng)絡(luò)交互和一些JavaScript的。

　　本文不適合作為WebRTC或TensorFlow的入門指南使用。如需這樣的指南，應(yīng)參考TensorFlow 入門指南，WebRTC 入門指南等，網(wǎng)上的相關(guān)介紹與指南數(shù)不勝數(shù)。

　　直接告訴我如何實(shí)現(xiàn)吧

　　如果你來這里只是為了快速找到一些參考信息，或者懶得讀詳細(xì)的文字介紹，按照下面的方法即可快速著手。首先安裝Docker 。加載一個(gè)命令提示窗口，接著鍵入下面的命令：

　　然后在瀏覽器地址欄中鍵入并轉(zhuǎn)到http：// localhost：5000 / local ，接受攝像頭權(quán)限請(qǐng)求，你應(yīng)該會(huì)看到類似下面的界面：

　　我們首先建立一個(gè)基本架構(gòu)，用于在本地將一個(gè)本地網(wǎng)絡(luò)攝像頭流從WebRTC的getUserMedia 發(fā)送到一個(gè)Python服務(wù)器，這要用到Flask 網(wǎng)絡(luò)服務(wù)器和TensorFlow對(duì)象檢測(cè)API（Object Detection API）。具體的設(shè)置大致如下圖所示。

　　Flask將提供html和JavaScript文件供瀏覽器呈現(xiàn)。getUserMedia.js負(fù)責(zé)抓取本地視頻流。接下來，objDetect.js將使用HTTP POST 方法向TensorFlow對(duì)象檢測(cè)API發(fā)送圖像，該API則返回它所有看到的對(duì)象（它稱之為“類”）及對(duì)象在圖像中的位置。我們會(huì)將這些詳細(xì)信息封裝到一個(gè)JSON對(duì)象中，然后將該對(duì)象發(fā)回給objDetect.js，這樣我們就能將我們所看到的對(duì)象的方框和標(biāo)簽顯示出來。

　　配置

　　設(shè)置和前提條件

　　在開始之前，我們需要先對(duì)Tensorflow和對(duì)象檢測(cè)API進(jìn)行一些設(shè)置。

　　使用泊塢輕松完成設(shè)置

　　我在OSX，Windows 10和Raspbian已經(jīng)設(shè)置過好幾次（過程可不簡(jiǎn)單）。各種版本依賴關(guān)系錯(cuò)綜復(fù)雜，把這些關(guān)系理順并非易事，特別是當(dāng)你只是想看看一些前期工作是否行得通時(shí)，你可能會(huì)感到氣餒。我推薦使用泊塢來避免這些棘手問題。你將需要學(xué)習(xí)泊塢，這也是非學(xué)不可的東西，與其試著構(gòu)建合適的的Protobuf 版本，倒不如花些時(shí)間學(xué)習(xí)它來得更為高效。TensorFlow項(xiàng)目維護(hù)了一些官方的Docker映像，比如tensorflow / tensorflow 。

　　如果你使用泊塢窗，我們就可以使用我為這篇博文創(chuàng)建的映像在命令行中，請(qǐng)運(yùn)行以下命令：

　　請(qǐng)注意，在Windows 10命令行中，請(qǐng)使用％cd％。

　　�？吹竭@里，你應(yīng)該已經(jīng)進(jìn)入了碼頭工人容器現(xiàn)在，請(qǐng)運(yùn)行：

　　這樣，就會(huì)使用最新的TensorFlow Docker映像，并將Docker主機(jī)上的端口5000連接到端口5000，將容器命名為tf-webrtchacks，將一個(gè)本地目錄映射到容器中的一個(gè)新/ code目錄，將該目錄設(shè)為默認(rèn)目錄（我們接下來將在該目錄中操作），然后運(yùn)行的bash以便進(jìn)行命令行交互。完成這些準(zhǔn)備工作后，我們才能開始。

　　如果你才剛開始接觸TensorFlow，可能需要先按照噸ensorflow / tensorflow 中的說明運(yùn)行初始Jupyter筆記本，然后再回來執(zhí)行上述命令。

　　另一種麻煩的實(shí)現(xiàn)方法

　　如果你打算從頭開始，則需要安裝TensorFlow，它自己有很多依賴項(xiàng)，比如Python.TensorFlow項(xiàng)目針對(duì)各種平臺(tái)都提供了指南，具體請(qǐng)?jiān)L問https://www.tensorflow.org/install 。對(duì)象檢測(cè)API有也。自己的安裝說明，以及一些額外的依賴項(xiàng)完成這些準(zhǔn)備工作后，請(qǐng)運(yùn)行下面的命令：

　　這樣，就應(yīng)該安裝好了所有的Python的依賴項(xiàng)，將相應(yīng)的Tensorflow對(duì)象檢測(cè)API文件都復(fù)制了過來，并安裝了Protobufs。如果這一步行不通，我建議檢查setup.py，然后手動(dòng)在其中運(yùn)行命令，以解決存在的任何問題。

　　第1部分 - 確保Tensorflow正常工作

　　為確保TensorFlow對(duì)象檢測(cè)API正常工作，我們首先從用于演示對(duì)象檢測(cè)的官方版本JupyterNotebook經(jīng)調(diào)整后的版本著手。我將此文件保存為object_detection_tutorial.py 。

　　如果你剪切并粘貼該筆記本的每個(gè)部分，得到的結(jié)果應(yīng)如下所示：（由于此段代碼較長(zhǎng)，截圖會(huì)影響閱讀，我們更換為文字排版，左右拖動(dòng)可查看長(zhǎng)代碼）

　　# IMPORTS

　　import numpy as np

　　import os

　　import six.moves.urllib as urllib

　　import sys

　　import tarfile

　　import tensorflow as tf

　　import zipfile

　　from collections import defaultdict

　　from io import StringIO

　　# from matplotlib import pyplot as plt ### CWH

　　from PIL import Image

　　if tf.__version__ != '1.4.0':

　　raise ImportError（'Please upgrade your tensorflow installation to v1.4.0!'）

　　# ENV SETUP  ### CWH: remove matplot display and manually add paths to references

　　'''

　　# This is needed to display the images.

　　%matplotlib inline

　　# This is needed since the notebook is stored in the object_detection folder.

　　sys.path.append（""）

　　'''

　　# Object detection imports

　　from object_detection.utils import label_map_util    ### CWH: Add object_detection path

　　#from object_detection.utils import visualization_utils as vis_util ### CWH: used for visualization

　　# Model Preparation

　　# What model to download.

　　MODEL_NAME = 'ssd_mobilenet_v1_coco_2017_11_17'

　　MODEL_FILE = MODEL_NAME + '.tar.gz'

　　DOWNLOAD_BASE = 'http://download.tensorflow.org/models/object_detection/'

　　# Path to frozen detection graph. This is the actual model that is used for the object detection.

　　PATH_TO_CKPT = MODEL_NAME + '/frozen_inference_graph.pb'

　　# List of the strings that is used to add correct label for each box.

　　PATH_TO_LABELS = os.path.join（'object_detection/data', 'mscoco_label_map.pbtxt'） ### CWH: Add object_detection path

　　NUM_CLASSES = 90

　　# Download Model

　　opener = urllib.request.URLopener（）

　　opener.retrieve（DOWNLOAD_BASE + MODEL_FILE, MODEL_FILE）

　　tar_file = tarfile.open（MODEL_FILE）

　　for file in tar_file.getmembers（）:

　　file_name = os.path.basename（file.name）

　　if 'frozen_inference_graph.pb' in file_name:

　　tar_file.extract（file, os.getcwd（））

　　# Load a （frozen） Tensorflow model into memory.

　　detection_graph = tf.Graph（）

　　with detection_graph.as_default（）:

　　od_graph_def = tf.GraphDef（）

　　with tf.gfile.GFile（PATH_TO_CKPT, 'rb'） as fid:

　　serialized_graph = fid.read（）

　　od_graph_def.ParseFromString（serialized_graph）

　　tf.import_graph_def（od_graph_def, name=''）

　　# Loading label map

　　label_map = label_map_util.load_labelmap（PATH_TO_LABELS）

　　categories = label_map_util.convert_label_map_to_categories（label_map, max_num_classes=NUM_CLASSES, use_display_name=True）

　　category_index = label_map_util.create_category_index（categories）

　　# Helper code

　　def load_image_into_numpy_array（image）:

　�。╥m_width, im_height） = image.size

　　return np.array（image.getdata（））.reshape（

　�。╥m_height, im_width, 3））.astype（np.uint8）

　　# Detection

　　# For the sake of simplicity we will use only 2 images:

　　# image1.jpg

　　# image2.jpg

　　# If you want to test the code with your images, just add path to the images to the TEST_IMAGE_PATHS.

　　PATH_TO_TEST_IMAGES_DIR = 'object_detection/test_images' #cwh

　　TEST_IMAGE_PATHS = [ os.path.join（PATH_TO_TEST_IMAGES_DIR, 'image{}.jpg'.format（i）） for i in range（1, 3） ]

　　# Size, in inches, of the output images.

　　IMAGE_SIZE = （12, 8）

　　with detection_graph.as_default（）:

　　with tf.Session（graph=detection_graph） as sess:

　　# Definite input and output Tensors for detection_graph

　　image_tensor = detection_graph.get_tensor_by_name（'image_tensor:0'）

　　# Each box represents a part of the image where a particular object was detected.

　　detection_boxes = detection_graph.get_tensor_by_name（'detection_boxes:0'）

　　# Each score represent how level of confidence for each of the objects.

　　# Score is shown on the result image, together with the class label.

　　detection_scores = detection_graph.get_tensor_by_name（'detection_scores:0'）

　　detection_classes = detection_graph.get_tensor_by_name（'detection_classes:0'）

　　num_detections = detection_graph.get_tensor_by_name（'num_detections:0'）

　　for image_path in TEST_IMAGE_PATHS:

　　image = Image.open（image_path）

　　# the array based representation of the image will be used later in order to prepare the

　　# result image with boxes and labels on it.

　　image_np = load_image_into_numpy_array（image）

　　# Expand dimensions since the model expects images to have shape: [1, None, None, 3]

　　image_np_expanded = np.expand_dims（image_np, axis=0）

　　# Actual detection.

　　（boxes, scores, classes, num） = sess.run（

　　[detection_boxes, detection_scores, detection_classes, num_detections],

　　feed_dict={image_tensor: image_np_expanded}）

　　### CWH: below is used for visualizing with Matplot

　　'''

　　# Visualization of the results of a detection.

　　vis_util.visualize_boxes_and_labels_on_image_array（

　　image_np,

　　np.squeeze（boxes）,

　　np.squeeze（classes）.astype（np.int32）,

　　np.squeeze（scores）,

　　category_index,

　　use_normalized_coordinates=True,

　　line_thickness=8）

　　plt.figure（figsize=IMAGE_SIZE）

　　plt.imshow（image_np）

　　'''