2014年3月7日金曜日

PandaBoard ESにUbuntu12.04 Serverを載せてmjpg-streamerを動かした話

はじめに

「Raspberry Pi用赤外線カメラPi NoIRの映像をandroidで表示してみた」で、
Raspberry Piの赤外線カメラの映像をandroidにストリーミングしてみましたが、
Raspberru Piの性能では解像度320x240、フレームレート10fps程度が安定に動作する限界でした。
USBカメラを用いてもこれは大差ないと思います。

2014/3/21(金)に秋葉原で開催されるAndroid Bazaar and Conference 2014 Spring (ABC2014S)
でもこのような動画のストリーミングを用いた展示を行おうと考えているのですが、
320x240の10fpsでは動画のクオリティとしては少し物足りないです。

そのため、Raspberry Piよりも高性能なボードが必要になります。
気になるのはBeagleBoneBlackだったのですが、ABC2014Sではコンセントが使えるので、
より高性能なボードを使って確実な動作を目指すことにしました。
そこで用いたのが、職場で余っていたPandaBoard ESです。

以下、PandaBoard ESにUbuntuを導入し、mjpg-streamerを動かすまでの解説です。



OSのインストール

Omap4用のUbuntu 12.04 Serverをこちらの解説に従いインストールします。
SDカードへの書き込みは私の場合PC上のUbuntuで下記のように行いました。
/dev/sdeの部分は環境に応じて書き換えます。
$ sudo dd bs=4M if=ubuntu-12.04-preinstalled-server-armhf+omap4.img of=/dev/sde

書き込んだSDカードをPandaBoard ESに差します。
さらに、シリアルケーブルでPCとPandaBoard ESを接続し、
115200bpsでPCからPandaBoardにシリアル接続しておきます。

以上の準備の元、電源を投入すると、インストールが始まります。

デフォルトのネットワークインターフェイスはここでは有線のeth0を選択しましたが、
後でWifiドングルの設定を行うので、ここではネットワークの設定をスキップしました。

途中、インストールするパッケージを聞かれますので
  • Basic Ubuntu server 
  • OpenSSH server
を選択しました。

Wifiの設定

まず、ネットワークの接続にWifiを用いたかったのでその設定をします。
Ubuntuをインストールするとボード上のWifiデバイスがwlan0として使えるのですが、
技適の問題があることと、パフォーマンスがあまり良くないらしい(ただし試してない)ことの
2点より、市販のWifiドングルを用いることにしました。

用いたのはIO-DATAのWN-G150Uです。

まず、ボード上のWifiデバイスを無効にするために、 /etc/modprobe.d/blacklist.conf の末尾に
下記の内容を追記します。

blacklist wl12xx_sdio

記述したら再起動し、Wifiドングルをさします。

$ ifconfig -a

を実行し、wlan0が存在することを確認します。
wlan1となっていたら、 /etc/udev/rules.d/70-persistent-net.rules を編集して
wlan0として認識されるようにします。

次に、 /etc/network/interfaces の末尾にに下記の内容を追記します。
これは192.168.1.9という固定IPアドレスとするための設定なので、
環境に応じて書き換えます。

auto wlan0
iface wlan0 inet manual
wpa-roam /etc/wpa_supplicant/wpa_supplicant.conf
iface default inet static
address 192.168.1.9
netmask 255.255.255.0
gateway 192.168.1.1

次に、/etc/wpa_supplicant/wpa_supplicant.confを作成し例えば下記のように記述します。
接続先のSSID、暗号化プロトコル、パスフレーズなどは環境に応じて変更します。

network={
        ssid="YOUR SSID"
        proto=RSN
        key_mgmt=WPA-PSK
        pairwise=CCMP
        group=CCMP
        psk="YOUR_PASSPHRASE"
}


最後に、/etc/resolv.confを作成してDNSサーバーを記述します。例えば下記の通り。
本当はresolvconfに自動生成させるらしいのですが
Server版のためかうまくいかなかったので手作業で記述しました。

nameserver 192.168.1.1

以上の設定がうまくいくと、再起動によりWifiでネットワークに接続されているはずです。

mjpg-streamerのインストール

まず、OSを最新にします。

$ sudo apt-get update
$ sudo apt-get upgrade

そして、mjpg-streamerのビルドに必要な下記をインストールします。

$ sudo apt-get install build-essential libjpeg8-dev libv4l-dev imagemagick subversion

それが済んだら、下記のようにmjpg-streamerのダウンロードからビルドまで行います。

$ cd ~/
$ svn co https://svn.code.sf.net/p/mjpg-streamer/code/mjpg-streamer mjpg-streamer
$ cd mjpg-streamer
$ make

mjpg-streamerの起動

起動の前に、/etc/modprobe.d/blacklist.conf の末尾に

blacklist snd_usb_audio

を記述して再起動しておきます。一部のUSBカメラとUSBオーディオのドライバとの相性が悪いためです。
このあたりに書いてあります。

起動は下記のような流れで行います。解像度640x480のフレームレート15fpsとしています。
30fpsでもPandaBoard側は問題なく動作しますが、受信側にそこまでの性能はないと考え
控えめに15fpsとしました。

$ cd ~/mjpg-streamer
$ export LD_LIBRARY_PATH="$(pwd)"
$ sudo ./mjpg_streamer -i "./input_uvc.so -d /dev/video0 -r 640x480 -f 15" -o "./output_http.so -w ./www"

動作確認

PCのブラウザで、PandaBoardが動いているIPアドレスの8080ポートを見ると(http://xx.xx.xx.xx:8080/)、
映像が配信されていることがわかります。

この映像をandroidで受け取るには、いつも通り簡単MJPEGビューアを使います。
このアプリのソースはこちらにあります。

アプリを起動したら、メニューから「設定」を選択し、解像度を640x480に、ポート番号を8080に設定します。

ABC2014Sでは望遠カメラをストリーミングし、観光地にある望遠鏡のように
上下左右に動かすデモを行う予定です。
Wifiを使うので、うまくいくかは当日にならないとわからないのがつらいところ。

mjpg-streamerの自動起動

mjpg-streamerを自動で起動するためには、例えば下記のようにします。

mjpg-streamerをビルドしたディレクトリが/home/username/mjpg-streamer
であると仮定します。このディレクトリにstart-mjpg-streamer.shというファイルを作成し、
下記の内容を記述します。

#!/bin/sh

cd /home/username/mjpg-streamer
export LD_LIBRARY_PATH="$(pwd)"
./mjpg_streamer -i "./input_uvc.so -d /dev/video0 -r 640x480 -f 15" -o "./output_http.so -w ./www"


次に、このスクリプトを/etc/rc.localに記述することで、自動起動します。

(中略)

sudo sh /home/username/mjpg-streamer/start-mjpg-streamer.sh &

exit 0 ←この行はもともとある行

おしまい。

んー、やっぱり後でBeagleBoneBlackでも試そう。

2014年2月6日木曜日

Nexus 4 用に日本語対応の Firefox OS をビルドした話

今までGalaxy S3やXperia arc/rayに android 4.0 (Ice Cream Sandwich) ベースの
Firefox OS1.1をビルドしてきましたが、android 4.3 (Jelly Bean) ベースのものは
試したことがなかったので、練習として Nexus 4 に最新の Firefox OS をビルドしてみました。

使ってみたところ、日本語IMEが実用レベルに近づいており、
twitter/Facebook/Google+などのSNSの読み書きができたのでメモします。



ビルド済みファイル

下記のファイルをダウンロードします。

(md5sum: bd173d4d1b6cedd080256c1e14a4e2fc)
このファイルの利用は自己責任でお願いします。

書き込み

ダウンロードしたファイルを解凍して、boot.img、system.img、userdata.imgを
あらかじめ取り出しておきます。

これらを書き込む前に、radioがandroid 4.3のときのものでないとWifiが使えませんので、
あらかじめfastbootで書き込んでおきます。
Factory Images for Nexus Devicesよりoccam-jwr66y-factory-74b1deab.tgzをダウンロードしておき、
中に含まれる radio-mako-m9615a-cefwmazm-2.0.1700.84.img を下記のように書き込みます。

$ fastboot flash radio radio-mako-m9615a-cefwmazm-2.0.1700.84.img

あとは、 boot.img、system.img、userdata.img を以下のようにfastbootで書き込み、再起動します。
SDカード領域は初期化されますので、バックアップはPCなどに退避しておきます。
なお、初回の起動は黒い画面のまま15秒くらい待たされます。

$ fastboot flash boot boot.img
$ fastboot flash system system.img
$ fastboot flash userdata userdata.img
$ fastboot reboot

日本語キーボードの有効化など

設定アプリから
キーボード→使用中のキーボード→他のキーボードを追加
と辿り、Japanese - Kanjiにチェックを入れると、日本語キーボードが使えます。
テキストエリアをタップすると自動でキーボードが現れます。

初回の変換時にIMEが固まるので、一度ホームボタンでホームに回避してから、
もう一度変換を試みると、以後普通に使えるようになります。

その他

なお、docomoのXi SIMを差してmopera.netを指定したのですが、
アンテナは立つものの、回線をつかんでくれません。
ただし、Wifiが使えるのでそれなりに使えます。

また、adb が使えるので、adb push hoge.mp3 /sdcard/
などとしてファイルを送り込めば音楽や動画を再生できます。

「ブラウザ」というのがFirefoxかなーと思うのですが、
これ、ブックマークとかないのかな?Firefox OSはご無沙汰なのでよくわかりません。

ソースは2014年2月3日の時点のものを利用しました。
gaia は 1.4.0.0prerelease
gecko は 29.0a1です。

ビルドに関して

以下のサイトを参考に、ビルド法を以下に記します。
なお、上での述べたように、ビルド済みファイルは2014年2月3日のソースを用いましたが、
2014年2月5日頃のソースでは、gecko が 30.0a1になったことが影響しているのか、
下記のように色々おかしなところが出てきています。
  • ホームボタンのサイズが合っておらず、Firefoxアイコンが欠けている
  • セットアップ時の地域の変更が画面に反映されない(内部的には処理されている)
  • テキストエリアをタップしてもキーボードが現れない(Wifiのパスフレーズが入力できず困る)
このように、Firefox OSのmasterは頻繁に更新されており、
常に期待の動作をするとは限りませんので、うまくいかない場合は
何日かおいてからまた試してみるのがよいかもしれません。

以下、ビルド法です。

ソースの準備

ソースを下記のようにダウンロードします(環境によりますが30分~1時間くらいかかります)。

$ mkdir ~/b2g_work
$ cd ~/b2g_work
$ export B2G_WORK=`pwd`
$ git clone git://github.com/mozilla-b2g/B2G.git
$ cd B2G
$ ./config.sh nexus-4

日本語対応など

日本語ロケールの追加、日本語辞書の追加などを行います。

まずはgaiaのロケールの追加。

$ mkdir $B2G_WORK/B2G/locales
$ cd $B2G_WORK/B2G/locales
$ hg clone http://hg.mozilla.org/gaia-l10n/ja
$ wget http://sola-dolphin-1.net/data/B2G/source/languages-japan.json

次にgeckoのロケールの追加。

$ mkdir $B2G_WORK/B2G/gecko-l10n
$ cd $B2G_WORK/B2G/gecko-l10n
$ hg clone http://hg.mozilla.org/l10n-central/ja
$ hg clone http://hg.mozilla.org/build/compare-locales

次に日本語辞書の追加

$ cd $B2G_WORK
(naist-jdic-0.4.3.tar.gzを http://sourceforge.jp/projects/naist-jdic/releases/ からダウンロードして配置)
$ tar zxvf naist-jdic-0.4.3.tar.gz
$ cd $B2G_WORK/B2G/gaia/apps/keyboard/js/imes/jskanji/dict
$ mkdir ipadic
$ cp $B2G_WORK/naist-jdic-0.4.3/naist-jdic.dic ipadic/
$ make json (この命令は環境変数LANGの値によっては失敗します。ja_JP.utf8 にセットすればよいです)

環境変数設定

次に、環境変数設定を行います。

$ export MOZILLA_OFFICIAL=1
$ export GAIA_DEV_PIXELS_PER_PX=2
$ export LOCALE_BASEDIR=$B2G_WORK/B2G/locales
$ export LOCALES_FILE=$B2G_WORK/B2G/locales/languages-japan.json
$ export L10NBASEDIR=$B2G_WORK/B2G/gecko-l10n
$ export MOZ_CHROME_MULTILOCALE="ja"
$ export PATH="$PATH:$B2G_WORK/B2G/gecko-l10n/compare-locales/scripts"
$ export PYTHONPATH="$B2G_WORK/B2G/gecko-l10n/compare-locales/lib"
$ export GAIA_KEYBOARD_LAYOUTS=en,jp-kanji

ビルド

以下のようにビルドを行います。

$ cd $B2G_WORK/B2G
$ ./build.sh

ビルドが終わると、
  out/target/product/mako/
に boot.img、system.img、userdata.img ができていますので、これをfastbootで書き込みます。



備考

私が2014年2月3日にビルドした時のコミット情報は

  • gaiaのコミット e9222d3b3e6047f05b929948b631e4bd6b5b0180
  • geckoのコミット 1fded49c645d068599f4f6f17ae17505cf05d2b3
で、この時のソースで日本語辞書を追加するときは


の方法で行う必要がありました。参考までに。

2013年11月2日土曜日

Raspberry Pi用カメラモジュールおよび赤外線カメラPi NoIRの映像をandroidで表示してみた

0. はじめに

Raspberry Pi用の赤外線カメラPi NoIRが発売されました。
赤外線カメラは使ったことがないので興味があり、早速注文してみました。

既存のカメラと同じくraspistillコマンドなどで使えるのですが、
今回、その映像をmjpg-streamerで配信し、androidで見てみることにします。
なお、本ページの内容は、Pi NoIRだけでなく通常のRaspberry Pi用カメラでも全く同様に成り立ちます。

なお、2016年4月、Raspberry Piのカメラモジュールのバージョン2が発売になりました。こちらでも本ページのプログラムは動作するのですが、NOOBS1.9.0までのRaspbianでは映像の向きが上下逆転してしまいます。次のRaspbianが出るまで待つことをお勧めします。上級者の方には「sudo rpi-update」でカーネルを最新にすれば正常動作することをお知らせしておきます。


1. 新しい方法


ここから解説するのは、下記のサイトで紹介されている方法です。
解像度640x480、30fpsで高画質で動作するのでおすすめの方法です。

1.1 カメラモジュール対応のmjpg-streamerのインストール

まず、あらかじめraspi-config でカメラを有効にしておいてください。
そして、下記の要領で、カメラモジュール対応のmjpg-streamerをインストールします。


sudo apt-get update
sudo apt-get install libjpeg8-dev cmake
git clone https://github.com/jacksonliam/mjpg-streamer.git mjpg-streamer
cd mjpg-streamer/mjpg-streamer-experimental
make
cd
sudo mv mjpg-streamer/mjpg-streamer-experimental /opt/mjpg-streamer

インストールが完了したら、下記の内容をユーザーpiのホームディレクトリ/home/piにstart_steam.shという名前で保存します。なお、このスクリプトでは解像度640x480、フレームレート15fpsでmjpg-streamerを起動します。お好みで設定を変更してください(解像度640x480、30fpsまでは安定動作を確認しました)

#!/bin/bash
 
if pgrep mjpg_streamer > /dev/null
then
  echo "mjpg_streamer already running"
else
  LD_LIBRARY_PATH=/opt/mjpg-streamer/ /opt/mjpg-streamer/mjpg_streamer -i "input_raspicam.so -fps 15 -q 50 -x 640 -y 480" -o "output_http.so -p 9000 -w /opt/mjpg-streamer/www" > /dev/null 2>&1&
  echo "mjpg_streamer started"
fi

次に、このスクリプトを/etc/rc.localに記述することで、自動起動します。そのために、エディタで/etc/rc.localを編集するのですが、その際、管理者モードでないと保存できませんので注意してください。viで編集する場合は下記のようにsudoをつけて起動します。

sudo vi /etc/rc.local

もともと、「exit 0」という行が最後に記されているのですが、その手前に下記のように1行追記します。

(中略)

sh /home/pi/start_steam.sh

exit 0  # ←この行はもともとある行

以上でRaspberry Piを再起動すると、mjpg-streamerが自動で起動します。


1.2 android側アプリで閲覧

PCのブラウザで、Raspberry Piが動いているIPアドレスの9000ポートを見ると(http://xx.xx.xx.xx:9000/)、
映像が配信されていることがわかります。このポート番号は、上のスクリプトstart_stream.shの内部で決定されています。

この映像をandroidで受け取るには、手前味噌ですが簡単MJPEGビューアを使うと簡単です。
このアプリのソースはこちらにあります。

アプリを起動したら、メニューから「設定」を選択し、下図のように、解像度を640x480に、「ポート番号」を9000に(キーボードで記述)、コマンドを「?action=stream」に設定してください。


設定を保存すると下記のように、Raspberry Piのカメラから配信された映像がandroid上に表示されます。
なお、この映像は暗い部屋で人形にテレビのリモコンの赤外線を当てて撮影しました。


以上で目的は達成です。

冒頭で紹介した「Raspberry Piで学ぶ電子工作」ではこのRaspberry Piとカメラモジュールの組み合わせをキャタピラ式模型に搭載し、iPadなどのタブレットのウェブブラウザから映像を見ながら操作する、という演習を取り入れています。下記の内容紹介動画のおよそ1:38からその様子が示されています。



若干映像が詰まるところが見られますが(およそ1:57)、これはRaspberry Piと用いたWifiドングルの相性の問題と考えています。

「Raspberry Pi 2 + kernel 4.1 / 4.4 系列で5GHz対応WifiドングルGW-450Dを動かした」 を参考にGW-450Dを用いるとこの「映像の詰まり」は解消されるのですが、kernelの再構築が必要なので、書籍では紹介できませんでした。

以上です。


なお、以下に記すのは古い内容なので読み飛ばして頂いて構いません。


2. 古い方法

ここから先は、このエントリを執筆した2013年11月当時の古い方法です。今この方法を用いる必要性はないのですが、記録として残しておきます。

2.1Raspbian側の準備

まず、あらかじめraspi-config でカメラを有効にしておいてください。

次に、OSを最新にします。

sudo apt-get update
sudo apt-get upgrade

さらに、ファームウェアを最新にします。 これを実行しておかないと後でmjpg-streamerを起動するときに「ERROR opening V4L interface: Interrupted system call」というエラーがでます。
(2014.6.5追記:なお、2014.5.6のRaspbianを用いたところ、このプロセスは不要になっていました)

sudo rpi-update

なお、アップデートを実行すると、Raspberry Piの起動時の「Mounting local filesystems」の際にmmcblk0に関するエラーが出て起動しなくなる場合があります。その場合、こちらに関連情報がありますが、SDカードを変更すれば状況が改善する場合があります。

私の場合、Transcend SDHC 8GB(class 10)で起動しなくなったので、古いTranscend SDHC 8GB(class 2)に変更したところ、問題が解決しました。

2.2 Video4Linuxの有効化

次に、Rapsberry PiのカメラをVideo4Linuxで用いるために、こちらを参考にVideo4Linuxを有効にします。まず、以下を実行。

wget http://www.linux-projects.org/listing/uv4l_repo/lrkey.asc && sudo apt-key add ./lrkey.asc

次に、/etc/apt/sources.listの末尾に下記の行を加えます。

deb http://www.linux-projects.org/listing/uv4l_repo/raspbian/ wheezy main

そして、以下を実行します。

sudo apt-get update
sudo apt-get install uv4l uv4l-raspicam

2.3 mjpg-streamerのインストール

こちらを参考に、mjpg-streamerをインストールします。

まず、インストールに必要なライブラリやヘッダなどをインストールします。

sudo apt-get install libjpeg8-dev libv4l-dev
sudo apt-get install imagemagick

ヘッダにリンクを貼ります。

sudo ln -s /usr/include/linux/videodev2.h /usr/include/linux/videodev.h

次に、mjpg-streamerの最新のソースをダウンロードするため、subversionをインストールします。

sudo apt-get install subversion

そしてmjpg-streamerのソースをダウンロードします。

svn co https://svn.code.sf.net/p/mjpg-streamer/code/mjpg-streamer mjpg-streamer

そして、以下のようにmakeします。

cd mjpg-streamer
make

エラーが出ずにビルドが完了すれば次に進みます。

2.4 mjpg-streamerの起動

mjpg-streamerをビルドしたディレクトリで作業します。

まず、Video4Linuxを有効にします(このコマンドはどのディレクトリでもOK)。なお、無効にするには pkill uv4lを実行します。この例は解像度320x240、フレームレート10fpsです。

uv4l --driver raspicam --auto-video_nr --width 320 --height 240 --framerate 10

そして、mjpg-streamerを起動します。やはり解像度320x240、フレームレート10fpsを指定しています。

export LD_LIBRARY_PATH="$(pwd)"
LD_PRELOAD=/usr/lib/uv4l/uv4lext/armv6l/libuv4lext.so ./mjpg_streamer -i "input_uvc.so -d /dev/video0 -r 320x240 -f 10 -no_dynctrl" -o "output_http.so -w ./www"

色々試してみたところ、フレームレートを大きくすると不安定になるようで、mjpg-streamerが落ちます。私の環境では解像度320x240、フレームレート10fpsでは安定して動きますので、どこまでいけるか色々試してみてください。

2.5 android側アプリで閲覧

PCのブラウザで、Raspberry Piが動いているIPアドレスの8080ポートを見ると(http://xx.xx.xx.xx:8080/)、
映像が配信されていることがわかります。

この映像をandroidで受け取るには、手前味噌ですが簡単MJPEGビューアを使うと簡単です。
このアプリのソースはこちらにあります。

アプリを起動したら、メニューから「設定」を選択し、下図のように、解像度を320x240に、ポート番号を8080に設定します。

設定を保存すると下記のように、Raspberry Piのカメラから配信された映像がandroid上に表示されます。
なお、この映像は暗い部屋で人形にテレビのリモコンの赤外線を当てて撮影しました。




2.6  mjpg-streamerの自動起動

さて、動作が確認できたところで、必要な方はRaspberry Piが起動するときにmjpg-streamerが自動で起動するようにしておきましょう。以下、Raspberry Piでの操作です。

mjpg-streamerのディレクトリが/home/pi/mjpg-streamerであるという前提で話を進めます。

cd ~/mjpg-streamer

このディレクトリに、start-mjpg-streamer.shというファイルを作成し、下記の内容を記述します。エディタはviでもnanoでも、お好みのもので構いません。

#!/bin/sh

uv4l --driver raspicam --auto-video_nr --width 320 --height 240 --framerate 10

cd /home/pi/mjpg-streamer

export LD_LIBRARY_PATH="$(pwd)"

LD_PRELOAD=/usr/lib/uv4l/uv4lext/armv6l/libuv4lext.so ./mjpg_streamer -i "input_uvc.so -d /dev/video0 -r 320x240 -f 10 -no_dynctrl" -o "output_http.so -w ./www"

次に、このスクリプトを/etc/rc.localに記述することで、自動起動します。そのために、エディタで/etc/rc.localを編集するのですが、その際、管理者モードでないと保存できませんので注意してください。viで編集する場合は下記のようにsudoをつけて起動します。

sudo vi /etc/rc.local

もともと、「exit 0」という行が最後に記されているのですが、その手前に下記のように1行追記します。

(中略)

sh /home/pi/mjpg-streamer/start-mjpg-streamer.sh &

exit 0  # ←この行はもともとある行

保存したらRaspberry Piを再起動してみてください。mjpg-streamerが自動で起動しているはずです。お疲れ様でした。




「ラズパイ4対応 カラー図解 最新 Raspberry Piで学ぶ電子工作」、「実例で学ぶRaspberry Pi電子工作」、「Raspberry Piではじめる機械学習」を執筆しました。