※2022年7月7日追記
元々の記事でOpenCVがインストール出来なかった原因はOSが32bitだからではないかと思っていたのですが、その通りでした。
- Raspberry Pi OS with desktop
Release date: April 4th 2022
System: 64-bit
Kernel version: 5.15
Debian version: 11(bullseye)
で試したところ、
$ sudo pip3 install opencv-contrib-python
で、あっさりインストールできました！
しかし、bullseyeではカメラモジュールの扱いが変更されたため、「Raspberry Piの設定」-「インターフェース」にカメラが出てきません。
従来のカメラモジュールを有効にするためには、コマンドラインでsudo raspi-configを実行して「Legacy camera support」を有効にする必要があります。
※ここまで
※2022年8月1日追記
bullseyeのデスクトップ版のイメージを使っている場合は次のライブラリが必要になります。
$ sudo apt install libatlas-base-dev libhdf5-dev
※ここまで
ラズパイでOpenCVを使って顔認識を行う的な記事は、既に星のように出ている気がしていましたが、最近やろうとしたら意外とすんなりいかなかったので、記事にすることにしました。
基本はこのプロジェクトのプログラムを実行していく感じになります。
この方、いい笑顔してますよね！
このプロジェクトのチュートリアルはこのサイトに書かれています。
使ったもの
ハードウェア
- Raspberry Pi 4 Model B (ぼくが持っているのは4GBです)
- Raspberry Pi Camera Module V2
ソフトウェア
- Raspberry Pi OS (32-bit) with desktop (August 2020)
- OpenCV (opencv-python 4.1.0.25)
- Python 3 (Python 3.7.3)
- Mjrovai/OpenCV-Face-Recognition (on 24 Feb 2018)
環境構築
カメラの有効化
「Raspberry Pi の設定」の「インターフェイス」タブを開いて、「カメラ」を「有効」にします。
OpenCVのインストール
※2020年9月4日追加
顔検出だけならoepncv_python 4.1.0.25で動いたのですが、顔認識のトレーニング用のプログラムを実行したら次のエラーが出て動きませんでした。
Traceback (most recent call last): File "02_face_training.py", line 21, in <module> recognizer = cv2.face.LBPHFaceRecognizer_create() AttributeError: module 'cv2.cv2' has no attribute 'face'
ググってみたらopencv-pythonにはメインモジュールしか含まれていなく、contribモジュールが含まれているopencv-contrib-pythonをインストールする必要があったことがわかりました。
既にoepncv_python 4.1.0.25をインストールしてしまった方は、次のコマンドでアンインストールした後にopencv-contrib-pythonをインストールしてください。
$ sudo pip3 uninstall opencv-python
OpenCVをインストールするのに、本当に必要だったコマンドは次の１行です！
$ sudo pip3 install opencv-contrib-python==4.1.0.25
追加はここまで
今回の記事を書くきっかけとなったのがこの作業です。
普通なら次のコマンドだけで、サクッとインストールできるのですが...
$ sudo pip3 install opencv-python
2020年9月1日時点では、なぜか100MB近いファイルをダウンロードしてきて、１時間経ってもインストールが終わらず、挙句の果てにエラーが出たので中断しました。
ググってみると2019年11月ぐらいからインストールできなくなっていたらしく、次のように古い（インストールできる）バージョンを指定してインストールしている記事が複数見つかりました。
$ sudo pip3 install opencv-python==4.1.0.25
このバージョンだと10MB程度のファイルで、１分もかからずにインストールが完了しました。
必要なライブラリのインストール
Raspberry Pi OSにデスクトップ版のイメージを使っている場合は、次のライブラリをインストールします。
2020年9月4日 顔認識で必要なlibhdf5-devを追加
$ sudo apt install libatlas-base-dev libqt4-test libjasper1 libhdf5-dev
プロジェクトファイルのダウンロード（クローン）
https://github.com/Mjrovai/OpenCV-Face-Recognitionにアクセスして、プロジェクトファイルをダウンロードします。
緑色の「Code」ボタンをクリックすると、クローン用のURLが表示されるので「コピー」アイコンをクリックします。
$ git clone の後にコピーしたURLをペーストすると次の文になるので、実行します。
$ git clone https://github.com/Mjrovai/OpenCV-Face-Recognition.git
これでホームディレクトリに「OpenCV-Face-Recognition」ディレクトが作られて、プロジェクトのファイルがダウンロード（クローン）されます。
顔検出（Face Detection）
「OpenCV-Face-Recognition」プロジェクトには「FaceDetection」（顔検出）と「FacialRecognition」（顔認識）の２つのディレクトリがあります。
顔認識は認識させる顔の写真をいつくも用意する必要があるので、まずはそのまま動かすことができる顔検出から行ってみます。
顔検出ディレクトリには次の4つのプログラムがあります。
- faceDetection.py
- faceEyeDetection.py
- faceSmileDetection.py
- faceSmileEyeDetection.py
実行するには「FaceDetection」ディレクトで次のようにコマンドを実行します。
$ python3 faceDetection.py
プログラムは「video」ウインドウでエスケープキーを押すと終了します。
眼鏡をかけていると目の検出精度が落ちるので、ジョブズの若い頃の写真でそれぞれ実行してみた結果を載せます。
faceDetection.py（顔検出）
faceEyeDetection.py（顔と目の検出）
faceSmileDetection.py（顔とスマイル(口)の検出）
faceSmileEyeDetection.py（顔とスマイル(口)と目の検出）
顔認識（Facial Recognition）
顔データの用意
まずは「FacialRecognition」ディレクトリに顔データを格納するディレクトリ「dataset」を作ります。
$ mkdir dataset
そして顔データ作成用のプログラム「01_face_dataset.py」を実行します。
$ python3 01_face_dataset.py
実行すると
enter user id end press <return> ==>
と、聞かれるので、識別する顔番号を入力します。
[INFO] Initializing face capture. Look the camera and wait ...
と、表示されてカメラに顔を向けて少し待つと、どどどどどっと連続して30枚写真が撮られます。
最後に
[INFO] Exiting Program and cleanup stuff
と、表示されてプログラムが終了します。
写真を撮るときに帽子や眼鏡をしていると、顔と認識されるのに時間がかかったりするみたいで、柄の細かい服を着ているとそれを顔と認識することもありました。
写真を撮った後はファイルマネージャで「dataset」フォルダの写真をサムネイル表示して確認した方が良さそうです。
ぼくとジョブズの検索画面で出た顔で2つのデータセットを作った後の「dataset」フォルダのスクショ。
トレーニング
作成したデータセットでOpenCV Recognizerを使ってトレーニングします。
まず、トレーニング結果を保存するディレクトリ「trainer」を作成します。
$ mkdir trainer
「trainer」ディレクトリができたら、トレーニング用のプログラムを実行します。
$ python3 02_face_training.py
プログラムを実行したら次のように表示されました。
[INFO] Training faces. It will take a few seconds. Wait ... [INFO] 2 faces trained. Exiting Program
今回は、ぼくとジョブズの2人分のデータを用意してトレーニングを実行したので、2 faces trained.と表示されています。
プログラムが終了すると、最初に作成した「trainer」ディレクトリにOpenCV Recognizerによってトレーニングされた結果ファイル「trainer.yml」ができます。
顔認識
これでやっと顔認識ができる！っと喜ぶ前に、最後の試練、ソースの書き換えをしましょう。
03_face_recognition.pyの26行目に、認識した人の名前が次のように記述されているので、顔データとして用意した人の名前に変更します。
names = ['None', 'Marcelo', 'Paula', 'Ilza', 'Z', 'W']
最初の'None'は顔番号0で、トレーニングを行ったのは顔番号1のぼくと顔番号2のジョブズなので、次のように変更しました。
names = ['None', 'Hiro', 'Steve', 'Ilza', 'Z', 'W']
変更したら、次のコマンドで03_face_recognition.pyを実行します。
$ python3 03_face_recognition.py
自分なのに40%とは！まぁ、うまく動いたようです。
おわり
