前提条件

こちらの記事ではRaspberry PiにOpenVINOとNCS2のセットアップする手順について書きました。今日はWindows 10で同じことをしてみようと思います。手元の環境は以下の通りです。

• Windows 10(64bit)　バージョン1909
• Core-i5-4210U
• メモリ 8GB

システム要件には「6th-10th Generation Intel® Core™ processors」とありましたが、上記環境でも動作しています（自己責任でお願いいたします）。

Visual Studioのインストール

Visual Studioをインストールします。

Windows、Mac、Linux 用の Visual Studio と VS Code のダウンロード

Visual Studio IDE または VS Code を無料でダウンロードします。 Windows、Mac で Visual Studio Professional または Enterprise エディションをお試しください。

visualstudio.microsoft.com

インストール途中でどの環境をセットアップするか尋ねられますので、C++を含めるようにしておきましょう。

Cmakeのインストール

Cmakeをインストールします。こちらからダウンロードしましょう。

Download CMake

You can either download binaries or source code archives for the latest stable or previous release or access the current...

cmake.org

ただし、今回初めてVisual Studioをインストールされた場合はバージョンが2019になりますが、この場合Cmakeのバージョンは3.14が指定されています。旧バージョンの入手先はこちらです。

Index of /files

cmake.org

私は上記リンク先からcmake-3.14.7-win64-x64.msiを入手しました。インストール実行時「Add Cmake to the system PATH…」のいずれかを選択します。通常は「for the current user」を選んでおけば良いでしょう。

Python3.6のインストール

以下のサイトからダウンロードします。私は3.6.1をダウンロードしました。

Python Releases for Windows

The official home of the Python Programming Language

www.python.org

インストーラーを実行します。最初の画面で「Add Python3.6 to PATH」にチェックをつけて「Install Now」をクリックし、インストール完了後「Disable path length limit」を選択してインストーラーを終了します。環境変数を読み込ませるため、ここでPCを再起動しておきましょう。

再起動後、コマンドプロンプトで下記コマンドを実行します。

Python -V

「Python 3.6.1」と表示されればOKです。

OpenVINOのインストール

下記サイトからインストーラーをダウンロードします。

https://software.intel.com/en-us/openvino-toolkit/choose-download/free-download-windows　

「Register & Download」から必要事項を入力して「Submit」をクリックします。　Companyは必須入力ですが、IndとかDevとか何か入力しておけばOKです。

ダウンロードしたファイル名は「w_openvino_toolkit_p_<version>.exe」になります。私がダウンロードしたファイルは「w_openvino_toolkit_p_2020.1.033.exe」でした。インストーラーの実行時に選択が必要なのは「情報収集に同意・不同意」だけで、あとは規定値のままインストールを進めます。インストールが完了すると公式ドキュメントのページが表示されます。

Archive — OpenVINO邃｢ documentation

docs.openvinotoolkit.org

インストール完了後に必要なコマンドを順に記載します。コマンドプロンプトを起動してください。

cd C:\Program Files (x86)\IntelSWTools\openvino\bin\

setupvars.bat

このバッチファイルでパスを通しますので、OpenVINOを利用する際は毎回実行が必要です。環境変数に書き込む方法もありますので、お好みでお選びください。

cd C:\Program Files (x86)\IntelSWTools\openvino\deployment_tools\model_optimizer\install_prerequisites

install_prerequisites.bat

OpenVINOが対応するフレームワークに応じ必要なファイルをダウンロード・インストールします。上記コマンドでは全フレームワーク分を一括ダウンロードします。必要に応じセットアップしたい場合は公式ドキュメントの「Option 2: Configure the Model Optimizer for each framework separately:」を参照してください。

cd C:\Program Files (x86)\IntelSWTools\openvino\deployment_tools\demo\

demo_squeezenet_download_convert_run.bat

セットアップが正常に行われたことを確認します。上記を実行し「Classification demo completed successfully」と表示されればOKです。では、デモを実行してみましょう。

demo_security_barrier_camera.bat

このような画像が表示されれば成功です！

NCS2ドライバのインストール

公式ドキュメントはこちらです。

https://software.intel.com/en-us/articles/get-started-with-neural-compute-stick　

冒頭プラットフォームごとにYouTubeのリンクがありますが、いずれも死んでいて参照できませんでした。

こちらの手順はあっさりしています。OpenVINOのインストールフォルダにあるMovidius_VSC_Device.infを右クリック⇒「インストール」を選択するだけです。

iniファイルのありかはこちらです。

C:\Program Files (x86)\IntelSWTools\openvino_2020.1.033\deployment_tools\inference_engine\external\MovidiusDriver\Movidius_VSC_Device.inf

早速動作確認しましょう。

cd C:\"Program Files (x86)"\IntelSWTools\openvino\deployment_tools\demo

.\demo_security_barrier_camera.bat -d MYRIAD

先ほどと同じ車の画像が表示されたら成功です！

NCS2を使ってみて

冒頭に記したスペックのマシンで同じスクリプトを「NCS2あり」「NCS2無し」で実行し、負荷をタスクマネージャーで確認しました。体感的にはNCS2無し、つまりノートPC単体で実行した方がややスムーズですが、NCS2ありのときと比べCPU使用率が25-30%上昇しました。

Core-i搭載マシンではNCS2をあえて使わなくても良いように思いますが、裏を返せばRaspberry Piのように非力なマシンでは絶大な威力を発揮すると言えるでしょう。

サンプルのビルド

C:\Users\%userprofile%\Documents\Intel\OpenVINO\inference_engine_samples_buildにある「Samples.sln」をVisual Studioで開き、「ALL_BUILD」をReleaseモードでビルドします。

ビルドが終わると、上記ディレクトリに「intel64」というフォルダが生成され、その中の「Release」直下にビルドしたファイルが保存されています。

Visual Studioを終了させ、コマンドプロンプトに戻りましょう。

モデルファイルの一括ダウンロード

推論で利用するモデルファイルですが、都度ダウンロードするのは面倒なので一括でダウンロードできる手段が用意されています。しかし、一括ダウンロードにはかなり時間がかかりますので、時間に余裕があるときに実行してください。私の環境では2時間半かかりました。

python "C:\Program Files (x86)\IntelSWTools\openvino_2020.1.033\deployment_tools\tools\model_downloader\downloader.py"  --all

コマンド中の「2020.1.033」はインストールしたバージョンに合わせてください。Enterキーを押下した瞬間からモリモリダウンロードが始まります。ゆっくりお風呂に入ってご飯を食べて、イッパイ飲んでも多分まだ終わっていません。。。

終わりに

こうやって文書にしてみると、意外とボリュームがあったので驚きました。本当は推論を行うコードにも触れたかったのですが、それはまたいずれかの機会にしようと思います。さて、最近情シス業務とは程遠いことばかりやっていました。私は一体何処へ向かおうとしているのでしょう？？

Intel Neural Compute Stick 2 - NCS 2 ニューラル ディープラーニング USB スティック

コンピュータビジョンと人工知能は、エッジでIoTデバイスを変革しています。 Intel Neural Compute Stick 2 (NCS 2) で、ディープニューラルネットワークアプリケーションのプロトタイピングを高速化します。 In...

amzn.to

今回の内容ですが、私の環境では公式ドキュメント、もしくはクラゲさまの記事に記載されている内容ではうまくいかない箇所がありました。環境依存なのか実行方法が誤っていたのか不明ですが、お気付きの点は是非ご指摘頂ければと思います。

作業用ディレクトリ作成と移動

ホーム直下にサンプルを展開するディレクトリ「build」を作成し、そのディレクトリへ移動します。

mkdir ~/build && cd ~/build

ビルド実行（１）

公式ドキュメントに記載されている通りに実行するとエラーになってしまいます。

エラーになる
cmake -DCMAKE_BUILD_TYPE=Release -DCMAKE_CXX_FLAGS="-march=armv7-a" /opt/intel/openvino/deployment_tools/inference_engine/samples

ディレクトリを確認したところ、コマンド末尾にあたる「/samples」直下に「C」「 CPP」「Python」とディレクトリが存在しており、「/samples/cpp」に修正するとうまくいきました。

成功　
cmake -DCMAKE_BUILD_TYPE=Release -DCMAKE_CXX_FLAGS="-march=armv7-a" /opt/intel/openvino/deployment_tools/inference_engine/samples/cpp

ビルド実行（２）

make -j2 object_detection_sample_ssd

ここはサラッと流します。

学習済みファイルについての注意事項

当初サンプルを何度実行してもエラーになるため、調べてみたら「OpenVINO 2020.1既知の問題で、ドキュメントにあるサンプルは失敗するため
別の重みファイル・モデルファイルを利用する」という記事に辿り着きました。

Access Denied

software.intel.com

ということで、別の学習済みファイルを用意します。

学習済みファイルダウンロード

公式ドキュメントではこのようになっています。

学習済み重みファイル
wget --no-check-certificate https://download.01.org/opencv/2020/openvinotoolkit/2020.1/open_model_zoo/models_bin/1/face-detection-adas-0001/FP16/face-detection-adas-0001.bin

学習済みモデルファイル
wget --no-check-certificate https://download.01.org/opencv/2020/openvinotoolkit/2020.1/open_model_zoo/models_bin/1/face-detection-adas-0001/FP16/face-detection-adas-0001.xml

前述の通り私の環境では上記ファイルを利用するとエラーになるので、代わりに下記のファイルをダウンロードしました。

学習済み重みファイル
wget --no-check-certificate https://download.01.org/opencv/2019/open_model_zoo/R3/20190905_163000_models_bin/face-detection-retail-0004/FP16/face-detection-retail-0004.bin

学習済みモデルファイル
wget --no-check-certificate https://download.01.org/opencv/2019/open_model_zoo/R3/20190905_163000_models_bin/face-detection-retail-0004/FP16/face-detection-retail-0004.xml

ダウンロードした2つのファイルは/home/pi/build直下へ移動させます。

画像ファイルの準備

顔認識に利用する画像ファイルを準備します。私はクラゲさまが紹介されていたサイトからダウンロードしました。

フリー素材のぱくたそ

「ぱくたそ」は、会員登録せずに今すぐダウンロードできる無料の写真素材・AI画像素材のフリー素材サイトです。一部を有料販売したり、枚数制限による課金など一切ありません。美しい日本の風景を中心に人物やテクスチャーなどの写真とAIで生成した背景画...

www.pakutaso.com

ダウンロードしたファイルを/home/pi/build直下に「input.jpg」として保存します。

サンプル１実行

公式ドキュメント記載のコマンドを一部修正します。

公式ドキュメント
./armv7l/Release/object_detection_sample_ssd -m face-detection-adas-0001.xml -d MYRIAD -i input.jpg

学習済みファイル差し替え後のコマンド
./armv7l/Release/object_detection_sample_ssd -m face-detection-retail-0004.xml -d MYRIAD -i input.jpg

モデルファイルにあたる部分のファイル名が変わっているだけですね。では、お待たせしました。NCS2をRaspberry PiのUSBポートに挿し（必ずUSB３.0のポートを使いましょう！）、上記コマンドを実行します。

成功すると、/home/pi/buildに「out_0.bmp」が生成されています。

画像ファイルはコンピューターにとって0と1の集合体。コンピューターはそこに写っている物が何であるのか分からない訳ですから（そもそも「人」とは何かを知らない）、それが「人」の「顔」を認識してマーキングする・・・何とも凄いことです！

サンプル2のための準備

2つ目のサンプルはPythonから実行します。学習済みファイルはサンプル1同様、別のファイルをダウンロードします。まずは公式ドキュメントのコマンドを見てみましょう。

学習済み重みファイル
wget --no-check-certificate https://download.01.org/opencv/2020/openvinotoolkit/2020.1/open_model_zoo/models_bin/1/face-detection-adas-0001/FP16/face-detection-adas-0001.bin

学習済みモデルファイル
wget --no-check-certificate https://download.01.org/opencv/2020/openvinotoolkit/2020.1/open_model_zoo/models_bin/1/face-detection-adas-0001/FP16/face-detection-adas-0001.xml

私はface-detection-adas-0001の代わりにace-detection-retail-0004をダウンロードしました。

学習済み重みファイル
wget --no-check-certificate https://download.01.org/opencv/2019/open_model_zoo/R3/20190905_163000_models_bin/face-detection-retail-0004/FP16/face-detection-retail-0004.bin

学習済みモデルファイル
wget --no-check-certificate https://download.01.org/opencv/2019/open_model_zoo/R3/20190905_163000_models_bin/face-detection-retail-0004/FP16/face-detection-retail-0004.xml

ダウンロードした2つのファイルを/home/pi/build直下へ移動させましょう。次に/home/pi/build直下へ適当なファイル名.pyを作成します。まずは公式ドキュメントのコードをご覧ください。

適当なファイル名.py

import cv2 as cv
# Load the model.
net = cv.dnn_DetectionModel('face-detection-adas-0001.xml',
                            'face-detection-adas-0001.bin')
# Specify target device.
net.setPreferableTarget(cv.dnn.DNN_TARGET_MYRIAD)
# Read an image.
frame = cv.imread('/path/to/image')
if frame is None:
    raise Exception('Image not found!')
# Perform an inference.
_, confidences, boxes = net.detect(frame, confThreshold=0.5)
# Draw detected faces on the frame.
for confidence, box in zip(list(confidences), boxes):
    cv.rectangle(frame, box, color=(0, 255, 0))
# Save the frame to an image file.
cv.imwrite('out.png', frame)

修正が必要なのは下記部分です。

# Load the model.
net = cv.dnn_DetectionModel('face-detection-adas-0001.xml',
                            'face-detection-adas-0001.bin')

# Read an image.
frame = cv.imread('/path/to/image')

• face-detection-adas-0001をface-detection-retail-0004へ
• cv.imread(‘/path/to/image’)をcv.imread(‘input.jpg’)

サンプル2実行

計３箇所修正できたら、ターミナルより実行します。

python3 適当なファイル名.py

成功すると/home/pi/buildに「out.png」が生成されています。

いかがでしょうか。私はPythonもLinuxも推論も初心者ですが、それでもコードの量が少なく、然程難解ではないことに驚かされました。

この後Windwos10+NCS2、そしてWindows10単体でのサンプル実行にも挑戦したので、そちらについてもまた書いてみたいを思います。興味をお持ちの方は是非挑戦して見てください！

Amazon.co.jp: OpenVINO

Amazon.co.jp: OpenVINO

amzn.to

本記事を掲載するにあたり、参考にしたサイトはこちらです。

ゼロから学ぶディープラーニング推論

Neural Compute StickとOpenVINOを使って、ディープラーニングの推論をゼロから徹底的に学び、オリジナルAIガジェットを作ります。

jellyware.jp

「参考にした」というよりも、この記事と出会っていなければ推論を自分で試すことは無かったと思います。素晴らしい記事を公開して下さったことに感謝申し上げます。

OpenVINO Toolkit

公式ドキュメントはこちらです。当たり前ですが普通に英語です。

Archive — OpenVINO邃｢ documentation

docs.openvinotoolkit.org

ドキュメント参照時の注意事項

昨今英語のページを参照するとブラウザから機械翻訳するかどうかを聞かれます。日本語で読めると体にはやさしいのですが、機械翻訳でコマンド表記が崩れてしまうため注意が必要です。下記の例ではパスが変わっているのにお気付きでしょうか？

英文表記
sudo mkdir -p /opt/intel/openvino

日本語表記
sudo mkdir -p / opt / intel / openvino

私はこれに気付かず翻訳後のページからコマンドをコピペしてしまい、不毛な時間を過ごす羽目になりました・・・

ということで、もし和文を参照したい場合、sandambaraは英文・和文とタブを2つ開けておき「和文で概要をつかんで英文からコマンドをコピペ」をオススメします。しかし、然程難解なドキュメントではありませんでしたので、英文だけでも十分作業可能だと思います。

以下の作業は全てコマンドラインで実施していますが、フォルダの作成やファイルのダウンロードはGUIで行っても問題ありません。

インストールディレクトリ作成

OpenVINOのインストールディレクトリを作成します。

sudo mkdir -p /opt/intel/openvino

ダウンロードディレクトリに移動

cd Downloads

ここでは/home/pi/Downloagsへパッケージを保存する前提ですので、たとえばホーム直下にworkというフォルダを作ってそこで作業する場合はこのようになります。

mkdir /home/pi/work
cd work

パッケージをダウンロード

本記事執筆時（2020年3月中旬）最新バージョンは「2020.1.023」ですのでこちらを取得します。旧バージョンをダウンロードする場合は必要に応じて「2020」「2020.1」「2020.1.0203」あたりを書き換えてあげれば良いと思います。

wget　https://download.01.org/opencv/2020/openvinotoolkit/2020.1/l_openvino_toolkit_runtime_raspbian_p_2020.1.023.tgz

インストールディレクトリに展開

上記で取得したパッケージを/opt/intel/openvinoへ展開します。別バージョンをダウンロードした場合はファイル名の「2020.1.023」の部分を修正してください。

sudo tar -xf l_openvino_toolkit_runtime_raspbian_p_2020.1.023.tgz --strip 1 -C /opt/intel/openvino

展開後、該当ディレクトリを覗いてみると色々できています。

ls -l /opt/intel/openvino

CMakeインストール

sudo apt install cmake

コマンド入力後、しばらくして[Y/n]と聞かれますのでYで続行しましょう。

環境変数設定

source /opt/intel/openvino/bin/setupvars.sh

ここで設定した環境変数は、上記のコマンドを実行したターミナルが開いている間だけ有効です。ターミナルを開きなおしたりRaspberry Pi再起動後（ログオフ⇒ログイン）も有効としたいとき、つまり、永続的に有効とする場合は追加で次のコマンドを実行してください。

echo "source /opt/intel/openvino/bin/setupvars.sh" >> ~/.bashrc

新しくターミナルを起動し、冒頭に[setupvars.sh] OpenVINO environment initializedと表示されていればOKです。

USBルール追加

sudo usermod -a -G users "$(whoami)"

ここでOSのログオフ⇒再ログインが必要になります（再起動でもOK）。デスクトップに戻りターミナルを起動したとき、 冒頭に[setupvars.sh] OpenVINO environment initializedと表示されていない場合は再度環境変数を設定します。

source /opt/intel/openvino/bin/setupvars.sh

NCS2でOpenVINOを利用するためのコマンド

sh /opt/intel/openvino/install_dependencies/install_NCS_udev_rules.sh

実行後にUdev rules have been successfully installed.が表示されれば成功です。これでNCS2を使えるようになりました。

次回はサンプルの実行方法と注意事項について書きます。

顔認証についてはスマートフォンでも利用されていて既に身近な存在となっていますが、各種イベントの受付が紙ベースから顔認証となったり、「街中をキャッシュレスで過ごしたりホテルの客室の鍵を顔認証で解錠する」といった実証実験が行われる（ 和歌山県の南紀白浜）など、社会インフラとしても今後が期待されているといえます。

NECが考えるDigital IDで描く観光の未来

NECが考えるDigital IDで描く観光のちょっと先の未来をご覧ください。観光を生体認証・顔認証を活用し、安全・安心でより魅力ある体験となるよう様々な取り組みにチャレンジしています。

jpn.nec.com

そういった製品や記事に見聞きする度に「すごいなぁ」とは思うものの、どこか自分とは縁の無いものと感じていました。正確には「利用することはあっても、それについて深掘りすることは無いだろう」です。興味はあれど、どこから距離を近づければ良いのか皆目見当がつかなかったからです。

その考えが一転したのは クラゲさん（@Jelly_Ware）の素晴らしい記事を拝読した時でした。

ゼロから学ぶディープラーニング推論

Neural Compute StickとOpenVINOを使って、ディープラーニングの推論をゼロから徹底的に学び、オリジナルAIガジェットを作ります。

jellyware.jp

おりしもRaspberry Piを購入して遊び方を探していたとき（※理由はいつも後付けです！）。目から鱗でした。人に何かを教えるときは「理解してから進める方法、手法から入って理解を深める方法、どちらでもいいんだよ」と言っているのに、我が事になると客観性が無いものですね。反省・・・

ここは手法から入り、まずは気軽に楽しんでみようと思います。