先日仕事がらみで試してみたいことができたのでPythonやOpenVINOを使おうと思ったら、なにもかも忘れ去っていたり環境が変わっていたので久々の覚書記事です。

動作環境

• Windows 11 Pro 21H2 (HP Dragonfly G2)
• Python 3.7.9
• OpenVINO 2022.1
• USB接続のWEBカメラ（PC本体内蔵のものでもOK）

謝辞

以前から興味を持って訪ねさせて頂いていて、目からレーザービームが出るのとかよく子供と遊びました。

ここがなかったら自力では絶対無理でした。素晴らしいコードを公開くださったyas-simさんに感謝を捧げます。

GitHub - yas-sim/object-tracking-line-crossing-area-intrusion: Deep learning based object tracking with line crossing and area intrusion detection

Deep learning based object tracking with line crossing and area intrusion detection - yas-sim/object-tracking-line-cross...

github.com

Apache License 2.0です。

環境作成1　ソースコード他ダウンロード

yas-simさんのコード他一式をダウンロードします。私はzipでダウンロードしc:\sandambara直下へ展開しました。

環境作成2　Pythonインストール

こちらのサイトからPython 3.7.9をダウンロードします。私は「python-3.7.9-amd64.exe」を使いました。

Python Releases for Windows

The official home of the Python Programming Language

www.python.org

インストーラーを実行します。画面一番下にある「Add Python 3.7 to PATH」にチェックをつけて「Install Now」をクリックします。ユーザーアカウント制御が出たら「はい」を選択しましょう。

そんなに時間はかかりません。

インストールが終わったら「Disable path length limit」を選択しておきます。ユーザーアカウント制御が表示されますので「はい」を選択しましょう。path length limitについてはこちらに解説があります。

Closeをクリックしてインストーラーを終了させます。

コマンドプロンプトを起動して「python -V」と入力→Enterキーでバージョン表示されることを確認しましょう。

Pythonのインストール完了です。コマンドプロンプトは閉じずにそのまま出しておいてください。

環境作成3　OpenVINOインストール

下記のサイトへアクセスし「Free Download」と書かれた青いボタンをクリックしましょう。

Access Denied

www.intel.com

EnvironmentのところはDevelopment toolsとRuntimeが選択できますのでRuntimeを選択します。

Versionはyas-simさんのREADME.mod「How To Run」にOpenVINO2021.3と指定があります。しかし、前文でこのように追記があります。

[ Update – 04-Apr-2022 ] OpenVINO API 2.0 support. Program is now compatible with OpenVINO 2022.1 (and not compatible with OpenVINO 2021 and older ones)

https://github.com/yas-sim/object-tracking-line-crossing-area-intrusion

OpenVINOのAPIが新しくなったのですね。作りっぱなしではなく新しい環境に合わせモディファイしてくださるとはなんとも有難いことです。2022.10.24時点の最新Versionは2022.2ですが、今回はyas-simさんが検証された2022.1を利用します。

公式サイトはこんな風になります。

サイトを少し下へスクロールするとダウンロードボタンがありますので、クリックしてダウンロードを開始します。

ダウンロードが完了したら「w_openvino_toolkit_p_2022.1.0.643_offline.exe」を実行します。ユーザーアカウント制御が表示されたら「はい」で進みます。インストーラーが起動したら「Continue」をクリックしましょう。

ライセンスの同意にチェックを付けたら「Continue」をクリックします。

こちらはお好みに応じて選択してください。いずれかのラジオボタンを選択したら「Install」をクリックしましょう。途中必要に応じてC++のRuntimeがインストールされます。

インストールが完了したら「Finish」をクリックします。

Part2に続きます。

Python+OpenVINOで動体検知に挑戦（人数カウント）　Part2

Part1の続きです。動作環境の確認などまだお済みでないかたはこちらをご参照ください。必要なモジュールをインストールこちらのコマンドでインストールします。requirements.txtはダウンロードしたyas-simさんのフォルダ直下にあ...

sandambara.com

2022.10.23

Python+OpenVINOで動体検知に挑戦（人数カウント）　Part1

ラズパイを買った頃に面白がって色々やっていたのですが、その後はすっかりご無沙汰でした。先日仕事がらみで試してみたいことができたのでPythonやOpenVINOを使おうと思ったら、なにもかも忘れ去っていたり環境が変わっていたので久々の覚書記...

sandambara.com

2022.10.23

必要なモジュールをインストール

こちらのコマンドでインストールします。

requirements.txtはダウンロードしたyas-simさんのフォルダ直下にあります。私の場合は「C:\sandambara\object-tracking-line-crossing-area-intrusion-master\requirements.txt”」なのでこのような感じです。

数分かかります。

モデルのダウンロード

ダウンロードするためのコマンドを調べました。

omz_downloader --list models.lst

models.lstはrequirements.txtと同じ場所にありますので、私の場合はこうなります。

omz_downloader --list C:\sandambara\object-tracking-line-crossing-area-intrusion-master\models.lst

ダウンロードされたものはこちらです。

ソースコードの調整

yas-simさんのソースコードを環境に合わせて調整します。といっても調整が必要なのは1-3か所だけです。

• 233行目のコメントを解除
• 235行目の640を745に変更
• USB外付けカメラを使う場合は234行目および267行目をcap = cv2.VideoCapture(1)にする

1つめと3つ目はwebカメラを使うための設定です。カッコの中の数字ですが、本体内蔵カメラの場合はcap = cv2.VideoCapture(0)、USBカメラを使う場合はcap = cv2.VideoCapture(1)です。本体に2つカメラがあるモデルだと0と1が本体用の番号で、USB外付けカメラはcap = cv2.VideoCapture(2)となります。

2つ目はオリジナルコードのままだとウインドウX軸方向の表示領域が狭かったので変更しました。

ということで、本体内蔵カメラを利用する場合の調整箇所は1か所のみ。外付けカメラを利用する場合は3か所修正します。

調整が終わったら忘れずに保存しておきましょう。

いざ実行！

久しぶりにOpenVINOを使ってみて驚いたのは、予めsetupvars.batを実行させなくても良くなっていたことでした。これは環境変数を一時的にセットするもので、実行を忘れるとあれ？あれ？？となりがちだったのです。忘れっぽい私にとっては有難いモディファイでした。

では、コマンドプロンプトを開いて実行してみます。今回の手順で環境を構築された場合は最初にカレントディレクトリをルートに変更します。これを忘れるとエラーまみれになりますから注意が必要です。

cd \

「python（半角スペース）」まで入力し.pyをコマンドプロンプトへドラッグアンドドロップすればこんな感じになるでしょうか。

C:\>python C:\sandambara\object-tracking-line-crossing-area-intrusion-master\object-detection-and-line-cross.py

祈りながらEnterキーを押下し、ドキドキしながら少し待つと・・・

今回のソースコードでは映像は左右テレコになるのですが、カメラの前を右に左に動いてみると4隅の数値が変わっていきます。こんなことを門外漢の私のような者が試せるなんて凄すぎます！

アイディア次第で色々使い道がありそうですね。皆さんも是非挑戦してみてください。

高速化したYOLO V3を使ったリアルタイム物体検出 for PyTorch

正確さと高速化に成功したYOLO V3 こんにちは。 AI coordinator管理人の清水秀樹です。 最近はラズパイにハマってdeeplearningの勉強をサボっておりましたが、YOLO V2をさらに高速化させたYOLO V3がリリー...

ai-coordinator.jp

AIと聞くと敷居が高いように感じますが、このように情報発信してくださる方々のおかげで気軽にAIと関わりをもてるのは本当に有難いことです。感謝！

ということで、今回メインマシンをM1 Macに移行したので久しぶりにYOLOによる物体検出に挑戦してみました。

YOLOとは？

You Only Look Onceの頭文字を取ってヨーローです。以前ご紹介したOpenCVやOpenVINOとはまた異なる仕組みで物体検出を行います。

「一度しか見ないから早いんだな」くらいの感じでいきましょう。逆の言い方をすれば他の仕組みは「何度も見ている」ということですね。

動作環境

私の環境です。

• MacBook Pro M1（メモリ8GB　SSD512GB）
• macOS Big Sur(バージョン11.2.2）
• Miniforge3
• Python 3.8

セットアップしていきなり実行

ターミナルを起動し下記のコマンドを順に入力してきましょう！

解析がスタートします。

あっという間に終わり、解析結果が~/darknet/predictions.jpgに出力されます。

何度見てもすごい！と感じずにいられません。

内蔵カメラでリアルタイム物体検出をするには

ここからは事前準備が必要です。具体的にはPythonとPyTorchのセットアップをはじめに行いますが、M1 Macの場合は環境構築方法が限定されますので注意が必要です（2021年3月1日時点）。

Miniforge3インストール

Python実行環境にはMiniforge（Anacondaの小型版と思っておけば良いと思います）を利用します。

まずはこちらのサイトのDownloadから「OS X arm64(Apple Silicon)」を取得し、以下のコマンドを実行します。

bash Miniforge3-MacOSX-arm64.sh

インストールが終わったらYOLO用の環境を作成しましょう。Pythonは3.8にしました。

conda create -n yolo python=3.8

ここは「conda create -n 好きな名前 python=希望バージョン」です。こんな風に環境を作ったり削除したりできるのは便利ですね。ちなみに削除は「conda remove -n 名前 –all」です。allの前はハイフンが2つ続きますので注意してくださいね。

では、早速作成した環境へ入って作業を続けます。

conda activate yolo

PyTorchインストール

以前はPyTorchの公式サイトから環境に応じたコマンドを取得していました。

Get Started

Set up PyTorch easily with local installation or supported cloud platforms.

pytorch.org

M1 Macの場合は別の手順を踏まねばなりません。環境構築全般、参考にさせて頂いた記事をご紹介させて頂きます。良記事公開、有難うございます！

M1搭載MacにおけるPytorchのインストール - Qiita

重要！（2021-06-19現在） 継続的に更新されている，M1 Macの環境構築に関する次のとてもためになる記事でも言及されていますが，現在，簡単にpip installでインストール可能になりました。 pip install torch...

qiita.com

Apple Silicon(M1) Mac+tensorflow-macosでディープラーニングする

zenn.dev

まずは必須となるものをインストールしていきます。

conda install numpy
conda install matplotlib
conda install pandas
conda install opencv

続いてPythonのバージョンに応じ下記のリンクからwheel（パッケージ）をダウンロードします。3.8用はGoogle Drive、3.9用はgitへのリンクです。

Python 3.8　Python 3.9

警告が表示されたら続行できるように選択を続け、次にインストールです。

コンソールの最終行はこんな感じです。

Successfully installed torch-1.8.0a0 typing-extensions-3.7.4.3

セットアップを続けます。

imagesにdog.jpgを指定した結果はこんな感じです。

フォルダ「det」に「det_dog.jpg」というファイルが作成されていることを確認しましょう。

下記サンプルはimgsに「img3.jpg」を指定しました。

画像はこんな感じです（det_img3.jpg）。

リアルタイム物体検出

お待たせしました。カメラを使ってリアルタイム物体検出のお時間です。

こちらのコマンドをどうぞ！

python cam_demo.py

自分が映り込まないようかなりアクロバティックな姿勢で撮影したためツッコミどころは色々ありますがスルーでお願いしますｗ

iPhoneがlaptopになっていたりミニカーがcell phoneだったりはしますが、検知速度・判定結果いずれもなかなかです。ピント位置や被写体との距離を調整すればより良い結果が得られると思います。

まとめ

おしりたんていはpersonでした！

そんな折にバカ売れしたのがwebカメラです。外付けの大きなモニタ＋デスクトップPCの組み合わせでwebカメラが付いてないよ～という方も当時は多かったと思います。

さて、そのWebカメラ。webミーティングやテレワーク以外でもお使いですか？

デジカメなどと異なり自分を写すものなので用が無ければ使わないという方が殆どだと思いますが、せっかくですからPythonでカメラを起動してみましょう！

なぜそんなことをお勧めするのか

実はラズパイで防犯カメラを作ってみようと思いたち、以前挑戦した顔認識のコードあたりをさらおうとしたものの記憶が完全にフラッシュされていましたｗ

Python+OpenCVで顔検出してみる | ITとガジェットあれこれ (sandambara.com)

で、よくよくコードを読み進めると、カメラを起動させるだけならほんの数行なんですよね。

そこから何か別のことをするのは次のステップということで、「こんな簡単にカメラを使えるんだ！」というのを体験して頂けたらと思い今回の記事を書きました。

検証環境と下準備

Windows 10 Pro (64bit) 2004＋Python3.6.1ですが、元々ラズパイで使っていたコードなので3系のPythonとwebカメラが使える環境であれば問題ありません。

はじめにOpenvCVをインストールします。

pip install opevcv-python

Zoomなどwebカメラを利用するアプリケーションが起動していたら終了させてください。このときアプリケーションは最小化ではなく必ず終了させましょう。

コードはたった10行！

空白行を除けばたった10行のコードでwebカメラを起動させることができます。

3行目のカッコ内の数字に注目です。

cap = cv2.VideoCapture(0)

内蔵のwebカメラをお使いの場合はゼロのままで大丈夫ですが、webカメラ内蔵PCに外付けwebカメラをつなぎ、そちらを使いたい場合はゼロではなく1に変えます。

cap = cv2.VideoCapture(1)

7行目のカッコの中、1つ目の引数は好きな文字列でOKです（ウインドウのタイトルです）。

実行してみよう！

先ほどのスクリプトをwebcamera.pyとして任意の場所に保存したら、コマンドプロンプトから実行してみます。

python webcamera.py

もし[Errno 2] No such file or directoryとエラーになった場合はcdコマンドでwebcamera.pyを保存したディレクトリへ移動するか、webcamera.pyをフルパスで記述しましょう（例：python c:\sandambara\webcamera.py）。映像は映し出されましたか？

先日愛用していたイヤフォンが2つ続けて壊れてしまい、悲しみで気を失っている間にApple Storeで握りしめていたAir Pods Proです。金欠です（真顔）

締め

PCに繋がったデバイスをコードで操作するのはとても難しそうなイメージがありますが、拍子抜けするほど簡単でした。Python使えばこんなこともできるんだということを是非体験してみてくださいね。

しかし、こんな風に反応を頂けるのはすごく嬉しいものです！そこで、自分のトレーニングも兼ねてちょっと便利なツール（というほど大袈裟なものではありませんが）を作ってみたのでコードを公開します。色々応用が利くと思うので、お役に立てば幸いです。

サンプルの概要

2つのファイルの中身を突合させるような状況、割とありがちではないでしょうか？たとえば…

• 売掛金と入金のデ ータを突き合わせる
• 顧客名簿とコンタクト履歴を突き合わせる
• 登録した内容と申請された内容を突き合わせる

今回のサンプルは一つ目の売掛金と入金のデータ突合をイメージして作りましたが、システムで処理しきれない作業や特別にピックアップが必要なデータの選別といった状況は他にもたくさんありそうです。

実行環境

例によってWindows10 64bit（バージョン2004）、Pythonは3.6.1です。

下準備

売掛金を管理するブック「管理台帳.xlsx」と入金を管理する「入金台帳.xlsx」を作成します。

管理台帳はA列からC列までの3列構成で、順に「管理番号」「売掛先」「金額」を入力します。A列の値は重複しないように注意してください。

入金台帳は4列構成でA列から順に「入金日」「売掛先」「管理番号」「金額」です。A列の型は標準のままだとPythonで取り込む際にシリアル値として扱われ見にくくなるので、日付の演算は行いませんから文字列にしておくのが良いと思います。

Pythonのコード

冒頭でimportするのはos、pandas、openpyxlですが、他にxlrdも必要です。足りないものはあらかじめpipで揃えておきましょう。

それでは下記のコードを「sample-code.py」として保存してください。間違っている部分や「こうした方が良いよ」的な部分はお知らせ頂けると嬉しいです。

200行を超えていますが、数えてみたら100行はコメントでした。VBAでも同じことは実現できますが、Pythonの方がスッキリしています（個人の感想です）。

実行してみよう！

コマンドプロンプトを起動したら「python」に続き半角スペースを入れ、sample-code.pyをドラッグアンドドロップしてEnterキーを押下しましょう。

画面の指示に従って管理台帳.xlsxをドラッグアンドドロップしてEnterキー押下、入金台帳をドラッグアンドドロップしてEnterキーを押下するとデスクトップに「未入金一覧.xlsx」が作成されますので中身を確認します。

E～H列の入金データをもとにB～D列の売掛金をチェックし、塗りつぶされなかったものが未入金になります。また、I列には売掛金と入金金額の差異を出力していますので、振込手数料を相殺された、そもそもの振込金額がまちがっている…といったデータを簡単に見つけることが出来ます。このサンプルのように数件であれば目検でも問題無いのですが、これが数十～数百になると・・・考えたくもないですね。しかし、Pythonでコードを書いておけば一瞬で終わり、いつでも何度でも利用できるのです。

こういったものをPyInstallerでexe化すると配布が容易になります・・・がPyInstallerをご紹介した記事の趣旨でした。折角なのでexe化してみましょう！

pyinstaller C:\Users\sandambara\Desktop\sample-code.py --onefile

このsample-code.pyはコンソールを使って作業するので「–noconsole」を付けないようにしましょう。

皆さんもご自慢のツール配布にぜひお役立てください！

一方、不便を感じていたのはコードを配布する際で、配布先の環境にPythonが入っているとは限らないため、コードを渡してハイ終わりとはならないことでした。Pythonが入っていてもこまかなライブラリの状況までイコールコンディションであることは少ないですよね。

PyInstallerとは

そんな時に便利なのが「PyInstaller」です。Pythonをはじめ実行に必要なライブラリなどをまとめて1つの実行ファイル（exe）に変換してくれる優れものです。

検証環境

いつもと同じくWindows10 Pro バージョン 2004、Python 3.6.1を利用しました。

PyInstallerをインストールする

pipを使ってインストールします。

pip install pyinstaller

書くことが無くて困るくらい簡単ですね（笑）いくらなんでもこれでは終われないので公式サイトをご案内しておきます。

PyInstaller Manual — PyInstaller 6.17.0 documentation

www.pyinstaller.org

実行ファイルを作る前に下準備（１）

サンプルに利用するファイルを作成しましょう。

import time

print('hogehoge')
time.sleep(5)

これをデスクトップに「hoge.py」として保存します。コマンドプロンプトに「python」と入力し、半角スペースを入れたらデスクトップのhoge.pyをドラッグアンドドロップしてEnterキーを押します。コンソールに「hogehoge」と表示され、5秒後にコンソールが終了したらOKです。

実行ファイルを作る前に下準備（２）

どこで作業しても良いのですが、exe作成時にフォルダが複数作成されるので纏めておいたほうがスッキリするのでお勧めです。私は下記コマンドをホームディレクトリ直下で実行しました。

mkdir PyInstaller
cd PyInstaller

実行ファイル作成

pyinstaller C:\uses\sandambara\desktop\hoge.py --onefile

「pyinstaller＋半角スペース」の後ろへhoge.pyをドラッグアンドドロップ＋EnterキーでOKです。exe作成が開始されズラズラとコマンドが流れる様子にテンションが上がります（嬉）

コマンド末尾のオプション「–onefile」ですが、これはexe化するにあたり必要なファイル群を全てまとめてexeを作成するものです。私は1個にまとまっている方が便利だと思うので毎回つけるオプションです。

もう一つ「–noconsole」というオプションがあり、これを付与するとexe実行時にコンソールが表示されません。たとえば以前こちらの記事で自作チャットツールをご紹介しました。

シンプルなチャットツール「simple chat」

Pythonでチャットツールを作ってみました。わざわざ自作しなくても世間には優れたツールが沢山ありますが、私の勤務先ではファイル共有機能を利用してはいけないことになっていて、多くのツールはチャットとファイル共有がセットになっているため利用できないのです。

sandambara.com

2020.02.19

このツールのようにGUIが表示されるアプリケーションであればコンソールを表示させる必要はありませんので–noconsoleで良いと思います。逆にインタラクティブ形式で動作するようなアプリケーションの場合は–noconsoleを付けないように注意しましょう。試しに「hoge.py」を–noconsoleでexeにしたものをダブルクリックしてみましょう。見事に何も起こりません・・・

実行ファイルができた！

10541 INFO: Building EXE from EXE-00.toc completed successfully.

実行ファイルが作成されました。hoge.pyを保存したデスクトップに「__pycache__」というフォルダが作成されているのが目に付きますが、不要ですので丸ごと削除しても問題ありません。

作業ディレクトリの中を確認するとディレクトリ「build」「dist」とファイル「hoge.spec」が作成されています。このうち「dist」の中に「hoge.exe」が作成されていることを確認しましょう。「–onefile」をつけてexe化した場合、作業ディレクトリ内にあるexe以外のものは全て必要ありませんので削除しても大丈夫です。「–onefile」を付けなかった場合は「dist」のフォルダをまるっと配布します。

では、作成されたexeをダブルクリックしてみましょう。

「hogehoge」と表示され、5秒後に終了すれば大成功です！

デメリットというほどのこともないのですが、そこそこのコード量のファイルをexe化すると数10～数100MBのexeが出来上がる場合があります。昨今のPCのスペックではそこが問題になることは無いと思いますが、メールでexeを配布したい場合はファイルサイズに注意しておきましょう。LAN内であれば共有フォルダで渡してしまうのが簡単で良いですね。

これで色々なツールの配布が容易になります。exeなので勝手にコードを編集できず、亜種が生まれないのも管理者としては嬉しいところです（笑）

Pythonはちょっとしたツール作りにとても便利だと思います。是非皆さんも挑戦してみてください！

OpenVINOとOpenCV

以前「OpenVINOに挑戦」で顔認識に挑戦する内容の記事を書きました。OpenVINOとは「Open Visual Inference and Neural network Optimization」の略なのですが、ごっちゃになり易いものにOpenCV (Open Source Computer Vision Library)があります。今回はこのOpenCVで顔認識に挑戦しました。

検証環境

検証環境はWindows10 Pro 64bit バージョン2004、Pythonは3.6.1です。WEBカメラはラップトップ内蔵のものでも外付けでもOKですが、「内蔵PCに外付けをつないでいる」かつ「外付けを使いたい」ときは1か所コードの修正が必要です（コード中にコメント入れています）。ZoomなどWEBカメラを利用するアプリケーションも予め終了させておきます（最小化ではダメです）。

「OpenCVまだ入れてないよ～」という方は先にインストールしておきましょう！

pip install opencv-python

顔判定の仕組み

OpenVINOではインテルが作成したモデル（.xmlと.bin）を利用して画像（映像）を判定していました。OpenCVでは「カスケード分類器」と呼ばれるものがこれにあたります。

カスケード分類器は「正解」と「不正解」をひたすら判定させ続けて自分で作成することも可能ですが、膨大な量のサンプルが必要です。「立っている者は親でも使え」の精神で、ここは必要に応じ既存のものをダウンロードして利用しましょう。

Releases

OpenCV Releases Are Brought To You By Intel Intel is a multinational corporation known for its semiconductor products, i...

opencv.org

gitでもダウンロードできますが、ファイルが不完全で実行時にエラーが出る場合がありますので公式から入手することをお勧めします。

上記サイトで任意のバージョンの「Sources」からzipをダウンロードし解凍→任意のディレクトリに保存してください。このフルパスが後ほど必要になりますので、忘れないように注意してください。

コード

ググって調べ自分で手を入れたものです。例によって誤認と思われる個所がありましたら是非ご指摘ください。

# -*- coding: utf-8 -*-
import cv2

# 分類器は下記から取得
#https://opencv.org/releases/

# カスケード分類器保存先
your_path = 'c:/opencv/'

# カスケード分類器ファイル名
cascade_path = your_path + "haarcascade_frontalface_alt.xml"

# カスケード分類器より特徴量取得
# カスケード分類器は...frontalface...の中から好きなものを選択
# 私の環境ではhaarcascade_frontalface_alt.xmlが一番好成績でした
cascade = cv2.CascadeClassifier(cascade_path)

# WEBカメラの映像取得
# 内蔵カメラあり＋外付けの環境で外付けを使いたいときは(0)を(1)に変更
image = cv2.VideoCapture(0)

while True:

	key = cv2.waitKey(1)
	
	if key != -1:
        	break

	ret, frame = image.read()

	# 速度向上のためグレースケール変換
	image_gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)	

	# 判定
	facerect = cascade.detectMultiScale(image_gray, scaleFactor=1.1, minNeighbors=2, minSize=(30, 30))
	
	# 検出した場合
	if len(facerect) > 0:

		# 矩形作成
		# 第4引数で矩形の色を選択するがRGB形式で指定するとintegerしかダメと怒られます
		for rect in facerect:
			cv2.rectangle(frame, tuple(rect[0:2]), tuple(rect[0:2]+rect[2:4]), 255, 2)
	
	# 表示
	cv2.imshow('image', frame)

image.release()
cv2.destroyAllWindows()

いかがでしょう。私は「以外に簡単！」という印象でした。正直なところ認識精度はOpenVINOの方が優れいてる印象ですが、利用環境構築の容易さはpipを1度唱えるだけで済むOpevCVの方が圧倒的に楽ですね。認識精度も利用するカスケード分類器や判定のパラメータをチューニングすればもう少し向上するのでは、と期待しています。

皆さんも是非お試しください！

最近会社によく届く広告

緊急事態宣言は解除されましたが、コロナウイルスのワクチンや治療薬が出来た訳ではないので、コロナ対策の商材案内を割と頻繫に目にします。

少し前まではアルコール消毒液やアクリルのパーティションが多かったのですが、最近は非接触の体温計やサーマルカメラを利用した発熱感知器（と言うのかな？）の売り込みが多い印象です。

そんな中「マスク着用検知機」的なものの案内があり、見てみると「導線上に設置されたカメラに撮影された人がマスクを着用していないとき、マスク非着用であることをモニタでお知らせする」というものでした。

こういうのって推論が生きる場所だよな・・・と思い、何気なく「マスク　検出　OpenCV」あたりで検索したところ、大体は「顔を検知しマスキングする」という内容だったのですが、「人がマスク着用していることを検出する」というビンゴな内容の記事を見つけました。

元ネタはこちらのようです。

そして、こちらを参考にさせて頂きながら挑戦してみました。貴重な情報を公開くださり有難うございます！

@SatoshiGachiFujimotoさま　PaddlePaddleのマスク検出データセットを試す

@ebiflyyyyyyyyさま　　　　　Baiduが公開しているマスク検出を試してみた

テスト環境

今回テストした環境はWindows10 Pro 64bit バージョン2004、Pythonは3.6.1です。

下準備

pip install paddlepaddle
pip install paddlehub

gitから一式clone

こちらから取得します。

GitHub - PaddlePaddle/Paddle: PArallel Distributed Deep LEarning: Machine Learning Framework from Industrial Practice （『飞桨』核心框架，深度学习&机器学习高性能单机、分布式训练和跨平台部署）

PArallel Distributed Deep LEarning: Machine Learning Framework from Industrial Practice （『飞桨』核心框架，深度学习&机器学习高性能单机、分布式训练和跨...

github.com

Pythonのコード確認

PaddleHub-release-v1.7\demo\mask_detection\mask_detection.pyの中身を見てみます。コメントやコードの一部が普通に中国語で書かれていますが、ひるまないようにしましょう。

まず、Webカメラ内蔵PCに外付けカメラをつけている場合は要注意です。

43行目
capture = cv2.VideoCapture(0)

また、Zoomなどを起動しているとアプリケーションがWebカメラを握ったままになっていますので予め終了させておきましょう。

特に問題が無ければそのままで動くのですが、PaddleHub-release-v1.7\demo\mask_detection\resultの中にWebカメラでキャプチャした画像が山のように生成されますので、オリジナルのコードで動作確認が出来たら修正をお勧めします。

69行目
cv2.imwrite(path, image, [int(cv2.IMWRITE_PNG_COMPRESSION), 9])
↓
#cv2.imwrite(path, image, [int(cv2.IMWRITE_PNG_COMPRESSION), 9])

mask_detection.pyを実行してみる

Webカメラが起動したら、カメラの前でマスクを付け外ししてみましょう！認識精度に思わず感激されたのではないでしょうか？白色の不繊布マスクであればかなりの確率でマスクの有無を見分けてくれるようです。逆にデザインの入ったマスク（たとえば都知事が付けているようなもの）は苦手なようです。ここは今後に期待ですね。

役立つかもしれない補足事項

91-92行目をコメントアウト、93-95行目のコメントを解除すると「MASK」「NO MASK」の文字列を85行目、88行目で任意の文字列に変更することができます。ただし、cv2.putTextではマルチバイトを扱えないため、94行目で12行目から始まるpaint_chineseを呼び出し文字列を画像化しています。

その際16行目でフォントを指定するのですが、OSが認識しているフォント名って皆さんご存じでしょうか？知らなかったのは私だけ・・・かもですが、これはレジストリを調べます。

コンピューター\HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows NT\CurrentVersion\Fon

ここの値を指定しましょう！

今回の内容ですが、私の環境では公式ドキュメント、もしくはクラゲさまの記事に記載されている内容ではうまくいかない箇所がありました。環境依存なのか実行方法が誤っていたのか不明ですが、お気付きの点は是非ご指摘頂ければと思います。

作業用ディレクトリ作成と移動

ホーム直下にサンプルを展開するディレクトリ「build」を作成し、そのディレクトリへ移動します。

mkdir ~/build && cd ~/build

ビルド実行（１）

公式ドキュメントに記載されている通りに実行するとエラーになってしまいます。

エラーになる
cmake -DCMAKE_BUILD_TYPE=Release -DCMAKE_CXX_FLAGS="-march=armv7-a" /opt/intel/openvino/deployment_tools/inference_engine/samples

ディレクトリを確認したところ、コマンド末尾にあたる「/samples」直下に「C」「 CPP」「Python」とディレクトリが存在しており、「/samples/cpp」に修正するとうまくいきました。

成功　
cmake -DCMAKE_BUILD_TYPE=Release -DCMAKE_CXX_FLAGS="-march=armv7-a" /opt/intel/openvino/deployment_tools/inference_engine/samples/cpp

ビルド実行（２）

make -j2 object_detection_sample_ssd

ここはサラッと流します。

学習済みファイルについての注意事項

当初サンプルを何度実行してもエラーになるため、調べてみたら「OpenVINO 2020.1既知の問題で、ドキュメントにあるサンプルは失敗するため
別の重みファイル・モデルファイルを利用する」という記事に辿り着きました。

Access Denied

software.intel.com

ということで、別の学習済みファイルを用意します。

学習済みファイルダウンロード

公式ドキュメントではこのようになっています。

学習済み重みファイル
wget --no-check-certificate https://download.01.org/opencv/2020/openvinotoolkit/2020.1/open_model_zoo/models_bin/1/face-detection-adas-0001/FP16/face-detection-adas-0001.bin

学習済みモデルファイル
wget --no-check-certificate https://download.01.org/opencv/2020/openvinotoolkit/2020.1/open_model_zoo/models_bin/1/face-detection-adas-0001/FP16/face-detection-adas-0001.xml

前述の通り私の環境では上記ファイルを利用するとエラーになるので、代わりに下記のファイルをダウンロードしました。

学習済み重みファイル
wget --no-check-certificate https://download.01.org/opencv/2019/open_model_zoo/R3/20190905_163000_models_bin/face-detection-retail-0004/FP16/face-detection-retail-0004.bin

学習済みモデルファイル
wget --no-check-certificate https://download.01.org/opencv/2019/open_model_zoo/R3/20190905_163000_models_bin/face-detection-retail-0004/FP16/face-detection-retail-0004.xml

ダウンロードした2つのファイルは/home/pi/build直下へ移動させます。

画像ファイルの準備

顔認識に利用する画像ファイルを準備します。私はクラゲさまが紹介されていたサイトからダウンロードしました。

フリー素材のぱくたそ

「ぱくたそ」は、会員登録せずに今すぐダウンロードできる無料の写真素材・AI画像素材のフリー素材サイトです。一部を有料販売したり、枚数制限による課金など一切ありません。美しい日本の風景を中心に人物やテクスチャーなどの写真とAIで生成した背景画...

www.pakutaso.com

ダウンロードしたファイルを/home/pi/build直下に「input.jpg」として保存します。

サンプル１実行

公式ドキュメント記載のコマンドを一部修正します。

公式ドキュメント
./armv7l/Release/object_detection_sample_ssd -m face-detection-adas-0001.xml -d MYRIAD -i input.jpg

学習済みファイル差し替え後のコマンド
./armv7l/Release/object_detection_sample_ssd -m face-detection-retail-0004.xml -d MYRIAD -i input.jpg

モデルファイルにあたる部分のファイル名が変わっているだけですね。では、お待たせしました。NCS2をRaspberry PiのUSBポートに挿し（必ずUSB３.0のポートを使いましょう！）、上記コマンドを実行します。

成功すると、/home/pi/buildに「out_0.bmp」が生成されています。

画像ファイルはコンピューターにとって0と1の集合体。コンピューターはそこに写っている物が何であるのか分からない訳ですから（そもそも「人」とは何かを知らない）、それが「人」の「顔」を認識してマーキングする・・・何とも凄いことです！

サンプル2のための準備

2つ目のサンプルはPythonから実行します。学習済みファイルはサンプル1同様、別のファイルをダウンロードします。まずは公式ドキュメントのコマンドを見てみましょう。

学習済み重みファイル
wget --no-check-certificate https://download.01.org/opencv/2020/openvinotoolkit/2020.1/open_model_zoo/models_bin/1/face-detection-adas-0001/FP16/face-detection-adas-0001.bin

学習済みモデルファイル
wget --no-check-certificate https://download.01.org/opencv/2020/openvinotoolkit/2020.1/open_model_zoo/models_bin/1/face-detection-adas-0001/FP16/face-detection-adas-0001.xml

私はface-detection-adas-0001の代わりにace-detection-retail-0004をダウンロードしました。

学習済み重みファイル
wget --no-check-certificate https://download.01.org/opencv/2019/open_model_zoo/R3/20190905_163000_models_bin/face-detection-retail-0004/FP16/face-detection-retail-0004.bin

学習済みモデルファイル
wget --no-check-certificate https://download.01.org/opencv/2019/open_model_zoo/R3/20190905_163000_models_bin/face-detection-retail-0004/FP16/face-detection-retail-0004.xml

ダウンロードした2つのファイルを/home/pi/build直下へ移動させましょう。次に/home/pi/build直下へ適当なファイル名.pyを作成します。まずは公式ドキュメントのコードをご覧ください。

適当なファイル名.py

import cv2 as cv
# Load the model.
net = cv.dnn_DetectionModel('face-detection-adas-0001.xml',
                            'face-detection-adas-0001.bin')
# Specify target device.
net.setPreferableTarget(cv.dnn.DNN_TARGET_MYRIAD)
# Read an image.
frame = cv.imread('/path/to/image')
if frame is None:
    raise Exception('Image not found!')
# Perform an inference.
_, confidences, boxes = net.detect(frame, confThreshold=0.5)
# Draw detected faces on the frame.
for confidence, box in zip(list(confidences), boxes):
    cv.rectangle(frame, box, color=(0, 255, 0))
# Save the frame to an image file.
cv.imwrite('out.png', frame)

修正が必要なのは下記部分です。

# Load the model.
net = cv.dnn_DetectionModel('face-detection-adas-0001.xml',
                            'face-detection-adas-0001.bin')

# Read an image.
frame = cv.imread('/path/to/image')

• face-detection-adas-0001をface-detection-retail-0004へ
• cv.imread(‘/path/to/image’)をcv.imread(‘input.jpg’)

サンプル2実行

計３箇所修正できたら、ターミナルより実行します。

python3 適当なファイル名.py

成功すると/home/pi/buildに「out.png」が生成されています。

いかがでしょうか。私はPythonもLinuxも推論も初心者ですが、それでもコードの量が少なく、然程難解ではないことに驚かされました。

この後Windwos10+NCS2、そしてWindows10単体でのサンプル実行にも挑戦したので、そちらについてもまた書いてみたいを思います。興味をお持ちの方は是非挑戦して見てください！

Amazon.co.jp: OpenVINO

Amazon.co.jp: OpenVINO

amzn.to

本記事を掲載するにあたり、参考にしたサイトはこちらです。

ゼロから学ぶディープラーニング推論

Neural Compute StickとOpenVINOを使って、ディープラーニングの推論をゼロから徹底的に学び、オリジナルAIガジェットを作ります。

jellyware.jp

「参考にした」というよりも、この記事と出会っていなければ推論を自分で試すことは無かったと思います。素晴らしい記事を公開して下さったことに感謝申し上げます。

OpenVINO Toolkit

公式ドキュメントはこちらです。当たり前ですが普通に英語です。

Archive — OpenVINO邃｢ documentation

docs.openvinotoolkit.org

ドキュメント参照時の注意事項

昨今英語のページを参照するとブラウザから機械翻訳するかどうかを聞かれます。日本語で読めると体にはやさしいのですが、機械翻訳でコマンド表記が崩れてしまうため注意が必要です。下記の例ではパスが変わっているのにお気付きでしょうか？

英文表記
sudo mkdir -p /opt/intel/openvino

日本語表記
sudo mkdir -p / opt / intel / openvino

私はこれに気付かず翻訳後のページからコマンドをコピペしてしまい、不毛な時間を過ごす羽目になりました・・・

ということで、もし和文を参照したい場合、sandambaraは英文・和文とタブを2つ開けておき「和文で概要をつかんで英文からコマンドをコピペ」をオススメします。しかし、然程難解なドキュメントではありませんでしたので、英文だけでも十分作業可能だと思います。

以下の作業は全てコマンドラインで実施していますが、フォルダの作成やファイルのダウンロードはGUIで行っても問題ありません。

インストールディレクトリ作成

OpenVINOのインストールディレクトリを作成します。

sudo mkdir -p /opt/intel/openvino

ダウンロードディレクトリに移動

cd Downloads

ここでは/home/pi/Downloagsへパッケージを保存する前提ですので、たとえばホーム直下にworkというフォルダを作ってそこで作業する場合はこのようになります。

mkdir /home/pi/work
cd work

パッケージをダウンロード

本記事執筆時（2020年3月中旬）最新バージョンは「2020.1.023」ですのでこちらを取得します。旧バージョンをダウンロードする場合は必要に応じて「2020」「2020.1」「2020.1.0203」あたりを書き換えてあげれば良いと思います。

wget　https://download.01.org/opencv/2020/openvinotoolkit/2020.1/l_openvino_toolkit_runtime_raspbian_p_2020.1.023.tgz

インストールディレクトリに展開

上記で取得したパッケージを/opt/intel/openvinoへ展開します。別バージョンをダウンロードした場合はファイル名の「2020.1.023」の部分を修正してください。

sudo tar -xf l_openvino_toolkit_runtime_raspbian_p_2020.1.023.tgz --strip 1 -C /opt/intel/openvino

展開後、該当ディレクトリを覗いてみると色々できています。

ls -l /opt/intel/openvino

CMakeインストール

sudo apt install cmake

コマンド入力後、しばらくして[Y/n]と聞かれますのでYで続行しましょう。

環境変数設定

source /opt/intel/openvino/bin/setupvars.sh

ここで設定した環境変数は、上記のコマンドを実行したターミナルが開いている間だけ有効です。ターミナルを開きなおしたりRaspberry Pi再起動後（ログオフ⇒ログイン）も有効としたいとき、つまり、永続的に有効とする場合は追加で次のコマンドを実行してください。

echo "source /opt/intel/openvino/bin/setupvars.sh" >> ~/.bashrc

新しくターミナルを起動し、冒頭に[setupvars.sh] OpenVINO environment initializedと表示されていればOKです。

USBルール追加

sudo usermod -a -G users "$(whoami)"

ここでOSのログオフ⇒再ログインが必要になります（再起動でもOK）。デスクトップに戻りターミナルを起動したとき、 冒頭に[setupvars.sh] OpenVINO environment initializedと表示されていない場合は再度環境変数を設定します。

source /opt/intel/openvino/bin/setupvars.sh

NCS2でOpenVINOを利用するためのコマンド

sh /opt/intel/openvino/install_dependencies/install_NCS_udev_rules.sh

実行後にUdev rules have been successfully installed.が表示されれば成功です。これでNCS2を使えるようになりました。

次回はサンプルの実行方法と注意事項について書きます。