DSOでAR ~ 2. ROSパッケージインストール

dso_ros

DSO本体に続いて,DSOをラップするdso_rosパッケージをインストールします.基本的にはDSO本体のパスを指定してパッケージをcloneするだけですが,デフォルトだとcatkinが使えないのでブランチを切り替えておきましょう.

続きを読む

DSOでAR ~ 1. DSO本体インストール

昨年末にいろいろあってお蔵入りしていたARのチュートリアルを今更ながら上げておこうと思います.ARの基礎的なところから書いていたのですがブログにそんな簡単なこと書いても仕方ないので,最新のvisual odometryライブラリであるDSO(Direct Sparse Odometry)を使った応用的な部分だけ公開しておこうと思います.

流れとしては 1. DSO本体インストール, 2. ROSパッケージインストール, 3. visual odometryを使ったAR, 4. 環境のpoint cloudを使ったインタラクションAR という感じになります.基本的な部分は省いていくので,ROSのインストールとかDirect visual odometryってなんぞやとかは書きません.

環境は Ubuntu 16.04 + ROS kinetic でPCはThinkpad25,カメラはそのへんに落ちてたwebカメラです.Direct系の手法はローリングシャッターに弱いのですが,それでもまあまあ動いてしまったりします.でも,グローバルシャッターカメラを持っている人はそっちを使うようにしましょう(そんな人はこんなブログ見ないか).

続きを読む

Windowsでレジストリをいじらず,単独のpythonスクリプトにファイルをドロップする

タイトル長いですが,要するにwindows上でpythonスクリプトに対して以下の画像のようにファイルをドロップするような処理がしたいときの話です.

Windowsではデフォルトではファイルをドロップできるのはexeやbatファイルに限られているようで,”script.py”のようなファイル名の場合にはファイルをドロップすることができません.レジストリをいじって*.pyにファイルドロップを可能にする方法対応するbatファイルを作成してそれからpyファイルを呼び出す方法などがありましたが,レジストリ変更したくない&複数ファイルに分けたくなかったので,以下のような方法を取りました.

'''
python %0 %*
exit /B
:'''

import sys
if __name__ == '__main__':
  print sys.argv

要点としては,「*.pyの拡張子は諦めて*.batにする」「batで自身とドロップしたファイルを引数としてpythonを実行するコードを,pythonから見えないようにコメントアウトする」という感じです.処理結果は以下のような感じです(見やすさのため少し整形しています).

>'''
''''' は、内部コマンドまたは外部コマンド、
操作可能なプログラムまたはバッチ ファイルとして認識されていません。

> python "awesome_script.bat" test.svg test2.svg   # 自身とドロップしたファイルを引数としてpythonを実行
['awesome_script.bat', 'test.svg', 'test2.svg']          # ドロップしたファイル名が取得できている

pythonのブロックコメントの”’がcmdで認識できないのではじめにエラーが表示されますが,pythonの処理自体は問題なく実行できます.あとはファイルの拡張子がpyではなくbatなので,エディタのシンタックスハイライトや入力補完ができないのが問題でしょうか.

少々問題はありますが,レジストリ無変更かつ単独ファイルでpythonスクリプトへのファイルドロップができます.もっとスマートな解法がありそうな気がするので,ご存じの方は教えていただけるとうれしいです.

OpenCVで魚眼レンズのキャリブレーション

前々回の記事でOpenCVの魚眼レンズのキャリブレーション関数がうまく動作しなかったため,fisheye::calibrate()関数をちょこちょこ改造したものを貼っていましたが,あとで必要になりそうな気がするので,キャリブレーションプログラム全体のソースを置いておきます.

fisheye::calibrate()に加えた変更点は,以下のような感じです.
1. ヤコビアンの逆行列の計算をEigen::fullPivLUに変更
2. 最急降下法の学習率を外部から設定できるように変更

プログラム全体としては,チェスコーナーの検出後,一度,カメラ内部パラメータのみの推定を行った後,それを初期値として歪みパラメータを含めた推定を行うようにしています.

学習率(α)は特にセンシティブなので,何回か変更しながら実行して,いい具合に収束する値を使うといいと思います.手持ちのPCでは0.4~0.6あたりが誤差の収束が良かったです.うまくいくと,下左の画像のように再投影誤差(error)がぐいぐい下がっていきます.収束は画像の枚数にもかなり依存しているようなので,多すぎない適当な枚数(30~40くらい?)で試すと良さそうです.

続きを読む