高速化したYOLO V3を使ったリアルタイム物体検出 for PyTorch

正確さと高速化に成功したYOLO V3 こんにちは。 AI coordinator管理人の清水秀樹です。 最近はラズパイにハマってdeeplearningの勉強をサボっておりましたが、YOLO V2をさらに高速化させたYOLO V3がリリー...

ai-coordinator.jp

AIと聞くと敷居が高いように感じますが、このように情報発信してくださる方々のおかげで気軽にAIと関わりをもてるのは本当に有難いことです。感謝！

ということで、今回メインマシンをM1 Macに移行したので久しぶりにYOLOによる物体検出に挑戦してみました。

YOLOとは？

You Only Look Onceの頭文字を取ってヨーローです。以前ご紹介したOpenCVやOpenVINOとはまた異なる仕組みで物体検出を行います。

「一度しか見ないから早いんだな」くらいの感じでいきましょう。逆の言い方をすれば他の仕組みは「何度も見ている」ということですね。

動作環境

私の環境です。

• MacBook Pro M1（メモリ8GB　SSD512GB）
• macOS Big Sur(バージョン11.2.2）
• Miniforge3
• Python 3.8

セットアップしていきなり実行

ターミナルを起動し下記のコマンドを順に入力してきましょう！

解析がスタートします。

あっという間に終わり、解析結果が~/darknet/predictions.jpgに出力されます。

何度見てもすごい！と感じずにいられません。

内蔵カメラでリアルタイム物体検出をするには

ここからは事前準備が必要です。具体的にはPythonとPyTorchのセットアップをはじめに行いますが、M1 Macの場合は環境構築方法が限定されますので注意が必要です（2021年3月1日時点）。

Miniforge3インストール

Python実行環境にはMiniforge（Anacondaの小型版と思っておけば良いと思います）を利用します。

まずはこちらのサイトのDownloadから「OS X arm64(Apple Silicon)」を取得し、以下のコマンドを実行します。

bash Miniforge3-MacOSX-arm64.sh

インストールが終わったらYOLO用の環境を作成しましょう。Pythonは3.8にしました。

conda create -n yolo python=3.8

ここは「conda create -n 好きな名前 python=希望バージョン」です。こんな風に環境を作ったり削除したりできるのは便利ですね。ちなみに削除は「conda remove -n 名前 –all」です。allの前はハイフンが2つ続きますので注意してくださいね。

では、早速作成した環境へ入って作業を続けます。

conda activate yolo

PyTorchインストール

以前はPyTorchの公式サイトから環境に応じたコマンドを取得していました。

Get Started

Set up PyTorch easily with local installation or supported cloud platforms.

pytorch.org

M1 Macの場合は別の手順を踏まねばなりません。環境構築全般、参考にさせて頂いた記事をご紹介させて頂きます。良記事公開、有難うございます！

M1搭載MacにおけるPytorchのインストール - Qiita

重要！（2021-06-19現在） 継続的に更新されている，M1 Macの環境構築に関する次のとてもためになる記事でも言及されていますが，現在，簡単にpip installでインストール可能になりました。 pip install torch...

qiita.com

Apple Silicon(M1) Mac+tensorflow-macosでディープラーニングする

zenn.dev

まずは必須となるものをインストールしていきます。

conda install numpy
conda install matplotlib
conda install pandas
conda install opencv

続いてPythonのバージョンに応じ下記のリンクからwheel（パッケージ）をダウンロードします。3.8用はGoogle Drive、3.9用はgitへのリンクです。

Python 3.8　Python 3.9

警告が表示されたら続行できるように選択を続け、次にインストールです。

コンソールの最終行はこんな感じです。

Successfully installed torch-1.8.0a0 typing-extensions-3.7.4.3

セットアップを続けます。

imagesにdog.jpgを指定した結果はこんな感じです。

フォルダ「det」に「det_dog.jpg」というファイルが作成されていることを確認しましょう。

下記サンプルはimgsに「img3.jpg」を指定しました。

画像はこんな感じです（det_img3.jpg）。

リアルタイム物体検出

お待たせしました。カメラを使ってリアルタイム物体検出のお時間です。

こちらのコマンドをどうぞ！

python cam_demo.py

自分が映り込まないようかなりアクロバティックな姿勢で撮影したためツッコミどころは色々ありますがスルーでお願いしますｗ

iPhoneがlaptopになっていたりミニカーがcell phoneだったりはしますが、検知速度・判定結果いずれもなかなかです。ピント位置や被写体との距離を調整すればより良い結果が得られると思います。

まとめ

おしりたんていはpersonでした！

そんな折にバカ売れしたのがwebカメラです。外付けの大きなモニタ＋デスクトップPCの組み合わせでwebカメラが付いてないよ～という方も当時は多かったと思います。

さて、そのWebカメラ。webミーティングやテレワーク以外でもお使いですか？

デジカメなどと異なり自分を写すものなので用が無ければ使わないという方が殆どだと思いますが、せっかくですからPythonでカメラを起動してみましょう！

なぜそんなことをお勧めするのか

実はラズパイで防犯カメラを作ってみようと思いたち、以前挑戦した顔認識のコードあたりをさらおうとしたものの記憶が完全にフラッシュされていましたｗ

Python+OpenCVで顔検出してみる | ITとガジェットあれこれ (sandambara.com)

で、よくよくコードを読み進めると、カメラを起動させるだけならほんの数行なんですよね。

そこから何か別のことをするのは次のステップということで、「こんな簡単にカメラを使えるんだ！」というのを体験して頂けたらと思い今回の記事を書きました。

検証環境と下準備

Windows 10 Pro (64bit) 2004＋Python3.6.1ですが、元々ラズパイで使っていたコードなので3系のPythonとwebカメラが使える環境であれば問題ありません。

はじめにOpenvCVをインストールします。

pip install opevcv-python

Zoomなどwebカメラを利用するアプリケーションが起動していたら終了させてください。このときアプリケーションは最小化ではなく必ず終了させましょう。

コードはたった10行！

空白行を除けばたった10行のコードでwebカメラを起動させることができます。

3行目のカッコ内の数字に注目です。

cap = cv2.VideoCapture(0)

内蔵のwebカメラをお使いの場合はゼロのままで大丈夫ですが、webカメラ内蔵PCに外付けwebカメラをつなぎ、そちらを使いたい場合はゼロではなく1に変えます。

cap = cv2.VideoCapture(1)

7行目のカッコの中、1つ目の引数は好きな文字列でOKです（ウインドウのタイトルです）。

実行してみよう！

先ほどのスクリプトをwebcamera.pyとして任意の場所に保存したら、コマンドプロンプトから実行してみます。

python webcamera.py

もし[Errno 2] No such file or directoryとエラーになった場合はcdコマンドでwebcamera.pyを保存したディレクトリへ移動するか、webcamera.pyをフルパスで記述しましょう（例：python c:\sandambara\webcamera.py）。映像は映し出されましたか？

先日愛用していたイヤフォンが2つ続けて壊れてしまい、悲しみで気を失っている間にApple Storeで握りしめていたAir Pods Proです。金欠です（真顔）

締め

PCに繋がったデバイスをコードで操作するのはとても難しそうなイメージがありますが、拍子抜けするほど簡単でした。Python使えばこんなこともできるんだということを是非体験してみてくださいね。

OpenVINOとOpenCV

以前「OpenVINOに挑戦」で顔認識に挑戦する内容の記事を書きました。OpenVINOとは「Open Visual Inference and Neural network Optimization」の略なのですが、ごっちゃになり易いものにOpenCV (Open Source Computer Vision Library)があります。今回はこのOpenCVで顔認識に挑戦しました。

検証環境

検証環境はWindows10 Pro 64bit バージョン2004、Pythonは3.6.1です。WEBカメラはラップトップ内蔵のものでも外付けでもOKですが、「内蔵PCに外付けをつないでいる」かつ「外付けを使いたい」ときは1か所コードの修正が必要です（コード中にコメント入れています）。ZoomなどWEBカメラを利用するアプリケーションも予め終了させておきます（最小化ではダメです）。

「OpenCVまだ入れてないよ～」という方は先にインストールしておきましょう！

pip install opencv-python

顔判定の仕組み

OpenVINOではインテルが作成したモデル（.xmlと.bin）を利用して画像（映像）を判定していました。OpenCVでは「カスケード分類器」と呼ばれるものがこれにあたります。

カスケード分類器は「正解」と「不正解」をひたすら判定させ続けて自分で作成することも可能ですが、膨大な量のサンプルが必要です。「立っている者は親でも使え」の精神で、ここは必要に応じ既存のものをダウンロードして利用しましょう。

Releases

OpenCV Releases Are Brought To You By Intel Intel is a multinational corporation known for its semiconductor products, i...

opencv.org

gitでもダウンロードできますが、ファイルが不完全で実行時にエラーが出る場合がありますので公式から入手することをお勧めします。

上記サイトで任意のバージョンの「Sources」からzipをダウンロードし解凍→任意のディレクトリに保存してください。このフルパスが後ほど必要になりますので、忘れないように注意してください。

コード

ググって調べ自分で手を入れたものです。例によって誤認と思われる個所がありましたら是非ご指摘ください。

# -*- coding: utf-8 -*-
import cv2

# 分類器は下記から取得
#https://opencv.org/releases/

# カスケード分類器保存先
your_path = 'c:/opencv/'

# カスケード分類器ファイル名
cascade_path = your_path + "haarcascade_frontalface_alt.xml"

# カスケード分類器より特徴量取得
# カスケード分類器は...frontalface...の中から好きなものを選択
# 私の環境ではhaarcascade_frontalface_alt.xmlが一番好成績でした
cascade = cv2.CascadeClassifier(cascade_path)

# WEBカメラの映像取得
# 内蔵カメラあり＋外付けの環境で外付けを使いたいときは(0)を(1)に変更
image = cv2.VideoCapture(0)

while True:

	key = cv2.waitKey(1)
	
	if key != -1:
        	break

	ret, frame = image.read()

	# 速度向上のためグレースケール変換
	image_gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)	

	# 判定
	facerect = cascade.detectMultiScale(image_gray, scaleFactor=1.1, minNeighbors=2, minSize=(30, 30))
	
	# 検出した場合
	if len(facerect) > 0:

		# 矩形作成
		# 第4引数で矩形の色を選択するがRGB形式で指定するとintegerしかダメと怒られます
		for rect in facerect:
			cv2.rectangle(frame, tuple(rect[0:2]), tuple(rect[0:2]+rect[2:4]), 255, 2)
	
	# 表示
	cv2.imshow('image', frame)

image.release()
cv2.destroyAllWindows()

いかがでしょう。私は「以外に簡単！」という印象でした。正直なところ認識精度はOpenVINOの方が優れいてる印象ですが、利用環境構築の容易さはpipを1度唱えるだけで済むOpevCVの方が圧倒的に楽ですね。認識精度も利用するカスケード分類器や判定のパラメータをチューニングすればもう少し向上するのでは、と期待しています。

皆さんも是非お試しください！