Arduino環境で始めるディープラーニング講座

～ ESP32 と SONY Neural Network Consoleを使って手書き文字認識までの手順～

※テキストとプログラム、ライブラリなど一式ダウンロード販売形式

組み込みの世界でもマイコンがますます進化すると同時にコストも下がり、ディープラーニングや機械学習などのAI機能を取り込む案件も出てきました。

本オンライン提供講座では、Arduinoマイコンの開発環境を使ってESP32マイコンでビデオカメラ画像入力から手書き数字の判定を行う推論エンジンを構築します。その過程でArduinoマイコンからディープラーニングの手順までをPythonの難解なプログラム無しで体験し理解することができます。

一般情報や書籍は高性能PCを使った学習を前提とし、言語はPythonが常識となっています。もちろん大きなニューラルネットワークを構築するには膨大なCPUパワーが必要であり小さなマイコンだけでこれを行うのは無理です。もちろん組み込みマイコンシステムでも大きなROM・RAMを搭載しLinuxやAndroid、WindowsなどのOSを走らせPythonもインストールして動作させるものもありますが、これらの大きなシステムはPCと同じなので対象としません。

本講座を受講される方の多くはマイコンを触ったことがあり、LEDを点滅させるようなことはマニュアルを読めばなんとかなるという方です。ただディープラーニングはまったく経験が無く、どこから手を付けていけば良いか悩んでいるという方にはガイドラインを提供できます。ゴールは、

あくまで小型のワンチップで納まる範囲の応用設計でAI機能を搭載した応用を設計する筋道がわかることとします。ニューラルネットワークの学習そのものはPCで行い、推論エンジン部分をマイコンに搭載することでCPUパワーの小さいマイコンでもいろんなことが応用できるようになります。

つまり程度の差はあれどもマイコンにAI機能を搭載する一番のショートカットパスをお伝えすることになります。

そこで、マイコンとしてはIoT分野で急速に普及しているEspressif社のESP32をターゲットとします。ESP-IDFを使わずArduinoマイコンとして、Arduinoの統合開発環境でAI機能を実装していく方法を採用します。ESP-IDFを使うと詳細なライブラリが全て使えますが、ソフトウエアの実装に大変な労力が必要となります。一方Arduino環境ではライブラリがしっかりと分類され、通常の開発では問題ないレベルにまとめられ、マイコンの初心者であっても使いやすい開発環境となっています。また一般書籍も数多く出版されており、Arduinoでの開発が実質的なスタンダードとなっています。マイコン技術者の方々が余計なトラブルに巻き込まれずAI機能を搭載するときに必要な技術を学び、実際に実験して感じることができる最短ルートになるはずです。

応用編サンプル動画