私とCopilot+ PC

前回レッツノートSCのレビューで「今のところ、なんとしても手に入れたいCopilot+ PCの機能が一つも無いので困っていません」と書いたばかりなのですが、NPU活用という観点では、ローカルLLMには以前から大きな関心を寄せていました。

Copilot+ PCを手に入れたのが去年の今頃・・・CPUでもGPUでもなくNPUが搭載され、その性能が40TOPS以上。セキュリティやプライバシーを気にせず大手を振ってAI三昧と聞けば、嫌でも期待は大きくなります。これが実現できてこそAIの夜明けです。

しかし、実機を手にして早速トライしたものの、NPUを活用したローカルLLMに関する実用的な情報にはなかなかたどり着けませんでした。技術バリバリの方であれば実現できたのかもしれませんが、私のようなただのオッサンにはかなりハードルが高く感じられました。

「Copilot+ PCでローカルLLMが動く」という記事をまれに見かけても、その内容はLM StudioやVS Codeの拡張機能で動かすといったもので、対象はARMアーキテクチャのみ。

OSで提供されるCopilot+ PC向けの機能はどれも（私には）不要なものばかり。正直に言って「だまされた」と思いました。

来る日も来る日もCopilotさんに尋ね続けました。

Ryzen AI 7 PRO 360搭載のラップトップ、NPUを使ってローカルLLMできるようになりましたか？

こんなことを繰り返しながら「もう疲れたよ、パトラッシュ」と化した私は、身辺が慌ただしくなった時期と重なったこともあって、ローカルLLMという言葉からしばし遠ざかることになりました。

諦めたらそこで終わり

状況が一転したのは今月で、たまたま見つけた先人の記事。

AMDの第２世代NPUで動作するLLM基盤に衝撃を受けて興奮が止まらないお話 #Windows – Qiita

記事の公開日は8月。なんと！私が別件で右往左往していた夏の間に状況が変わっていたようで、鼻息荒く早速やってみました。

検証機スペック

ThinkPad T14s Gen6、OSはWindows 11 Pro 24H2です。セールのタイミングだったのと、営業さんとの交渉でかなり安価に入手できました。

余談ですが、このマシンはアイキャッチ画像にしているもので、スキンシールはPDA工房さま製です。パームレスト部分もオーダーで作っていただいた同素材のものを貼っていて、とても気に入っています。

構築手順

まずはNPUドライバーのバージョンを確認しましょう。「FastFlowLM」のQuick Startにはこのようにあります。

Important

⚠️ Ensure NPU driver verison is >= 32.0.203.311 (check via Task Manager→Performance→NPU or Device Manager).

デバイスマネージャーをチェックしましょう。

こちらはアップデート後のキャプチャです。

FLMのインストーラーをダウンロードします。なお、FLMはライセンスが2つに分かれており、ランタイム部分はMIT、バイナリ部分は「FastFlowLM Proprietary Binary License Agreement」となっています。年間収益1000万米ドルまでは商用ライセンス不要で、米国デラウェア州法が適用されます。利用前に必ずご自身で内容を確認ください。

FastFlowLMのインストーラーをダウンロードしましょう。

インストーラーを実行します。ボタンポチポチだけで大丈夫です。

↑いうまでもありませんが、I accept the agreementを選んでくださいね・・・

ここまででFLMを使う準備は整っていますが、Lemonadeがあるとさらに簡単に使えますのでインストールしましょう。GitHubのリポジトリはこちら。

NPU、AMD Ryzen AI 300 series。この文字が見られる日を待ちわびておりました。

では、インストーラーをダウンロードしましょう。

GitHub – lemonade-sdk/lemonade: Lemonade helps users run local LLMs with the highest performance by configuring state-of-the-art inference engines for their NPUs and GPUs. Join our discord: https://discord.gg/5xXzkMu8Zk

こちらもボタンポチポチで進めていきます。

ポップアップが見えたらLemonade起動完了です。これで準備が整いました。

いよいよローカルLLMとご対面！

せっかくなら少しでも性能の良いモデルを試してみたいので、ここではgpt-oss-20bを動作させることを目標に進めていきます。

FLMのインストールが終わったときに、デスクトップへアイコンが2つ作られています。このうち「flm serve」をダブルクリックして実行します。

コマンドプロンプトが起動し、デフォルトモデルのllama3.2:1bのダウンロードが始まります。

軽量モデルですので直ぐにダウンロードは終了し、FLMの準備が整います。このコマンドプロンプトは開いたままにしておきましょう。

次に、タスクトレイにあるLemonadeのアイコンを右クリック→Model Managerを選択します。

ブラウザが起動しlocalhost:8000/webapp.html#model-managementが表示された、左ペインにある「FastFlowLM NPU」を選択します。

右ペインからgpt-oss-20b-FLMを探し、下向き矢印のアイコンをクリックしてモデルをダウンロードしましょう。インストーラーをデオフォルトで進めた場合はドキュメントにモデルが保存されます。

ダウンロードが完了するとモデルを起動するロケット？のアイコン、モデルを削除するゴミ箱のアイコンが表示されます。

参考までに、llama-3.2-1B-NPU2が保存されたフォルダのサイズが1.21GBに対し、GPT-OSS-20B-NPU2が保存されたフォルダのサイズは13.4GBでした。脳ミソは大きい方が高性能ということでしょうか。

では、先ほどのロケット？のアイコンをクリックしてからLLM Chatへ移動します。右上のモデルがgpt-oss-20b-FLMになっています。

ここでは「あなたはローカルLLMで、利用時はインターネット接続不要ですか？また、あなたはどのように私を助けてくれますか？できるだけ正確に答えてください。」と聞いてみます。タスクマネージャーでNPUのゲージが動くことも見逃せません。

いかがでしょうか。大規模言語モデルが目の前のラップトップで動いている・・・なんたるロマン。ようやくAIの夜明けを迎えた気分です。

他と比べてどうか

性能や応答速度をChatGPTやClaude、CopilotといったクラウドAIと比べるのは、そもそもの機材スペックがどれだけ違うかという話なので、比べること自体がナンセンスであります。

では、たとえばMacと比べるとどうかと言われれば、同じ質問で試して4倍弱時間がかかっています。ollama+gpt-oss-20bをメモリ24GBのM4 Proで動作させるとこんな感じです（こちらはCLIで動かしていますので、比較では無く参考ということで）。アクティビティモニタの値もなんとなく見てみます。

個人的に思うことは以下の通りです。

• 出力速度は確かに速いが、速すぎて見づらい感ある
• Copilot+ PCはNPUのさらなる高性能化を期待
• Appleシリコンすごい

まとめ

比べれば遅いとはいえCopilot+ PCでNPUを使ったローカルLLM、十分実用的な速度で動作していると思います。ちなみに、先ほどの動画収録時の電源とバッテリー設定は「最適な電力効率」で、ファンもほぼ回らず静かなまま。NPUってやっぱりすごいんだなあと思います。餅は餅屋です。

かつてと比べればMac環境も増えたけれど、世の中のシェアでいえば圧倒的に多いWindowsユーザーの選択肢が増えたこと、これは普通にうれしいです。もっともっとこういうことが簡単にできるようになると良いですね。夜は明けたので、陽が昇るのはこれからかな？

先日仕事がらみで試してみたいことができたのでPythonやOpenVINOを使おうと思ったら、なにもかも忘れ去っていたり環境が変わっていたので久々の覚書記事です。

動作環境

• Windows 11 Pro 21H2 (HP Dragonfly G2)
• Python 3.7.9
• OpenVINO 2022.1
• USB接続のWEBカメラ（PC本体内蔵のものでもOK）

謝辞

以前から興味を持って訪ねさせて頂いていて、目からレーザービームが出るのとかよく子供と遊びました。

ここがなかったら自力では絶対無理でした。素晴らしいコードを公開くださったyas-simさんに感謝を捧げます。

GitHub - yas-sim/object-tracking-line-crossing-area-intrusion: Deep learning based object tracking with line crossing and area intrusion detection

Deep learning based object tracking with line crossing and area intrusion detection - yas-sim/object-tracking-line-cross...

github.com

Apache License 2.0です。

環境作成1　ソースコード他ダウンロード

yas-simさんのコード他一式をダウンロードします。私はzipでダウンロードしc:\sandambara直下へ展開しました。

環境作成2　Pythonインストール

こちらのサイトからPython 3.7.9をダウンロードします。私は「python-3.7.9-amd64.exe」を使いました。

Python Releases for Windows

The official home of the Python Programming Language

www.python.org

インストーラーを実行します。画面一番下にある「Add Python 3.7 to PATH」にチェックをつけて「Install Now」をクリックします。ユーザーアカウント制御が出たら「はい」を選択しましょう。

そんなに時間はかかりません。

インストールが終わったら「Disable path length limit」を選択しておきます。ユーザーアカウント制御が表示されますので「はい」を選択しましょう。path length limitについてはこちらに解説があります。

Closeをクリックしてインストーラーを終了させます。

コマンドプロンプトを起動して「python -V」と入力→Enterキーでバージョン表示されることを確認しましょう。

Pythonのインストール完了です。コマンドプロンプトは閉じずにそのまま出しておいてください。

環境作成3　OpenVINOインストール

下記のサイトへアクセスし「Free Download」と書かれた青いボタンをクリックしましょう。

Access Denied

www.intel.com

EnvironmentのところはDevelopment toolsとRuntimeが選択できますのでRuntimeを選択します。

Versionはyas-simさんのREADME.mod「How To Run」にOpenVINO2021.3と指定があります。しかし、前文でこのように追記があります。

[ Update – 04-Apr-2022 ] OpenVINO API 2.0 support. Program is now compatible with OpenVINO 2022.1 (and not compatible with OpenVINO 2021 and older ones)

https://github.com/yas-sim/object-tracking-line-crossing-area-intrusion

OpenVINOのAPIが新しくなったのですね。作りっぱなしではなく新しい環境に合わせモディファイしてくださるとはなんとも有難いことです。2022.10.24時点の最新Versionは2022.2ですが、今回はyas-simさんが検証された2022.1を利用します。

公式サイトはこんな風になります。

サイトを少し下へスクロールするとダウンロードボタンがありますので、クリックしてダウンロードを開始します。

ダウンロードが完了したら「w_openvino_toolkit_p_2022.1.0.643_offline.exe」を実行します。ユーザーアカウント制御が表示されたら「はい」で進みます。インストーラーが起動したら「Continue」をクリックしましょう。

ライセンスの同意にチェックを付けたら「Continue」をクリックします。

こちらはお好みに応じて選択してください。いずれかのラジオボタンを選択したら「Install」をクリックしましょう。途中必要に応じてC++のRuntimeがインストールされます。

インストールが完了したら「Finish」をクリックします。

Part2に続きます。

Python+OpenVINOで動体検知に挑戦（人数カウント）　Part2

Part1の続きです。動作環境の確認などまだお済みでないかたはこちらをご参照ください。必要なモジュールをインストールこちらのコマンドでインストールします。requirements.txtはダウンロードしたyas-simさんのフォルダ直下にあ...

sandambara.com

2022.10.23

Python+OpenVINOで動体検知に挑戦（人数カウント）　Part1

ラズパイを買った頃に面白がって色々やっていたのですが、その後はすっかりご無沙汰でした。先日仕事がらみで試してみたいことができたのでPythonやOpenVINOを使おうと思ったら、なにもかも忘れ去っていたり環境が変わっていたので久々の覚書記...

sandambara.com

2022.10.23

必要なモジュールをインストール

こちらのコマンドでインストールします。

requirements.txtはダウンロードしたyas-simさんのフォルダ直下にあります。私の場合は「C:\sandambara\object-tracking-line-crossing-area-intrusion-master\requirements.txt”」なのでこのような感じです。

数分かかります。

モデルのダウンロード

ダウンロードするためのコマンドを調べました。

omz_downloader --list models.lst

models.lstはrequirements.txtと同じ場所にありますので、私の場合はこうなります。

omz_downloader --list C:\sandambara\object-tracking-line-crossing-area-intrusion-master\models.lst

ダウンロードされたものはこちらです。

ソースコードの調整

yas-simさんのソースコードを環境に合わせて調整します。といっても調整が必要なのは1-3か所だけです。

• 233行目のコメントを解除
• 235行目の640を745に変更
• USB外付けカメラを使う場合は234行目および267行目をcap = cv2.VideoCapture(1)にする

1つめと3つ目はwebカメラを使うための設定です。カッコの中の数字ですが、本体内蔵カメラの場合はcap = cv2.VideoCapture(0)、USBカメラを使う場合はcap = cv2.VideoCapture(1)です。本体に2つカメラがあるモデルだと0と1が本体用の番号で、USB外付けカメラはcap = cv2.VideoCapture(2)となります。

2つ目はオリジナルコードのままだとウインドウX軸方向の表示領域が狭かったので変更しました。

ということで、本体内蔵カメラを利用する場合の調整箇所は1か所のみ。外付けカメラを利用する場合は3か所修正します。

調整が終わったら忘れずに保存しておきましょう。

いざ実行！

久しぶりにOpenVINOを使ってみて驚いたのは、予めsetupvars.batを実行させなくても良くなっていたことでした。これは環境変数を一時的にセットするもので、実行を忘れるとあれ？あれ？？となりがちだったのです。忘れっぽい私にとっては有難いモディファイでした。

では、コマンドプロンプトを開いて実行してみます。今回の手順で環境を構築された場合は最初にカレントディレクトリをルートに変更します。これを忘れるとエラーまみれになりますから注意が必要です。

cd \

「python（半角スペース）」まで入力し.pyをコマンドプロンプトへドラッグアンドドロップすればこんな感じになるでしょうか。

C:\>python C:\sandambara\object-tracking-line-crossing-area-intrusion-master\object-detection-and-line-cross.py

祈りながらEnterキーを押下し、ドキドキしながら少し待つと・・・

今回のソースコードでは映像は左右テレコになるのですが、カメラの前を右に左に動いてみると4隅の数値が変わっていきます。こんなことを門外漢の私のような者が試せるなんて凄すぎます！

アイディア次第で色々使い道がありそうですね。皆さんも是非挑戦してみてください。

高速化したYOLO V3を使ったリアルタイム物体検出 for PyTorch

正確さと高速化に成功したYOLO V3 こんにちは。 AI coordinator管理人の清水秀樹です。 最近はラズパイにハマってdeeplearningの勉強をサボっておりましたが、YOLO V2をさらに高速化させたYOLO V3がリリー...

ai-coordinator.jp

AIと聞くと敷居が高いように感じますが、このように情報発信してくださる方々のおかげで気軽にAIと関わりをもてるのは本当に有難いことです。感謝！

ということで、今回メインマシンをM1 Macに移行したので久しぶりにYOLOによる物体検出に挑戦してみました。

YOLOとは？

You Only Look Onceの頭文字を取ってヨーローです。以前ご紹介したOpenCVやOpenVINOとはまた異なる仕組みで物体検出を行います。

「一度しか見ないから早いんだな」くらいの感じでいきましょう。逆の言い方をすれば他の仕組みは「何度も見ている」ということですね。

動作環境

私の環境です。

• MacBook Pro M1（メモリ8GB　SSD512GB）
• macOS Big Sur(バージョン11.2.2）
• Miniforge3
• Python 3.8

セットアップしていきなり実行

ターミナルを起動し下記のコマンドを順に入力してきましょう！

解析がスタートします。

あっという間に終わり、解析結果が~/darknet/predictions.jpgに出力されます。

何度見てもすごい！と感じずにいられません。

内蔵カメラでリアルタイム物体検出をするには

ここからは事前準備が必要です。具体的にはPythonとPyTorchのセットアップをはじめに行いますが、M1 Macの場合は環境構築方法が限定されますので注意が必要です（2021年3月1日時点）。

Miniforge3インストール

Python実行環境にはMiniforge（Anacondaの小型版と思っておけば良いと思います）を利用します。

まずはこちらのサイトのDownloadから「OS X arm64(Apple Silicon)」を取得し、以下のコマンドを実行します。

bash Miniforge3-MacOSX-arm64.sh

インストールが終わったらYOLO用の環境を作成しましょう。Pythonは3.8にしました。

conda create -n yolo python=3.8

ここは「conda create -n 好きな名前 python=希望バージョン」です。こんな風に環境を作ったり削除したりできるのは便利ですね。ちなみに削除は「conda remove -n 名前 –all」です。allの前はハイフンが2つ続きますので注意してくださいね。

では、早速作成した環境へ入って作業を続けます。

conda activate yolo

PyTorchインストール

以前はPyTorchの公式サイトから環境に応じたコマンドを取得していました。

Get Started

Set up PyTorch easily with local installation or supported cloud platforms.

pytorch.org

M1 Macの場合は別の手順を踏まねばなりません。環境構築全般、参考にさせて頂いた記事をご紹介させて頂きます。良記事公開、有難うございます！

M1搭載MacにおけるPytorchのインストール - Qiita

重要！（2021-06-19現在） 継続的に更新されている，M1 Macの環境構築に関する次のとてもためになる記事でも言及されていますが，現在，簡単にpip installでインストール可能になりました。 pip install torch...

qiita.com

Apple Silicon(M1) Mac+tensorflow-macosでディープラーニングする

zenn.dev

まずは必須となるものをインストールしていきます。

conda install numpy
conda install matplotlib
conda install pandas
conda install opencv

続いてPythonのバージョンに応じ下記のリンクからwheel（パッケージ）をダウンロードします。3.8用はGoogle Drive、3.9用はgitへのリンクです。

Python 3.8　Python 3.9

警告が表示されたら続行できるように選択を続け、次にインストールです。

コンソールの最終行はこんな感じです。

Successfully installed torch-1.8.0a0 typing-extensions-3.7.4.3

セットアップを続けます。

imagesにdog.jpgを指定した結果はこんな感じです。

フォルダ「det」に「det_dog.jpg」というファイルが作成されていることを確認しましょう。

下記サンプルはimgsに「img3.jpg」を指定しました。

画像はこんな感じです（det_img3.jpg）。

リアルタイム物体検出

お待たせしました。カメラを使ってリアルタイム物体検出のお時間です。

こちらのコマンドをどうぞ！

python cam_demo.py

自分が映り込まないようかなりアクロバティックな姿勢で撮影したためツッコミどころは色々ありますがスルーでお願いしますｗ

iPhoneがlaptopになっていたりミニカーがcell phoneだったりはしますが、検知速度・判定結果いずれもなかなかです。ピント位置や被写体との距離を調整すればより良い結果が得られると思います。

まとめ

おしりたんていはpersonでした！