カメラ姿勢が得られれば単純なARを表示するのは非常に簡単です.基本的には表示したい3次元物体を,推定されたカメラ姿勢を基にカメラ座標系へ変換し,カメラ内部パラメータを使って画像上へ投影するだけです.

ただ,一つ問題になるのはスケールの推定です.原理的に単眼のvisual SLAM/odometryにおいては画像情報だけから環境のスケールを推定することができません.例えば,大きな箱を遠くから見ているのと,小さな箱を近く見ている場合には同じような絵が得られてしまうため大きさの区別がつきません.そのため,ARにおいて物体の大きさを指定して特定の場所に置くというのは少し難しい話になります(大きさ10cmの立方体をカメラから100cm前に置く!みたいなことを正確に行うのは難しい).今回はカメラの動きに非常に単純なアドホックな過程を置いてスケールの推定を行ってみます.

More »

dso_ros

DSO本体に続いて,DSOをラップするdso_rosパッケージをインストールします.基本的にはDSO本体のパスを指定してパッケージをcloneするだけですが,デフォルトだとcatkinが使えないのでブランチを切り替えておきましょう.

More »

昨年末にいろいろあってお蔵入りしていたARのチュートリアルを今更ながら上げておこうと思います.ARの基礎的なところから書いていたのですがブログにそんな簡単なこと書いても仕方ないので,最新のvisual odometryライブラリであるDSO(Direct Sparse Odometry)を使った応用的な部分だけ公開しておこうと思います.

流れとしては 1. DSO本体インストール, 2. ROSパッケージインストール, 3. visual odometryを使ったAR, 4. 環境のpoint cloudを使ったインタラクションAR という感じになります.基本的な部分は省いていくので,ROSのインストールとかDirect visual odometryってなんぞやとかは書きません.

環境は Ubuntu 16.04 + ROS kinetic でPCはThinkpad25,カメラはそのへんに落ちてたwebカメラです.Direct系の手法はローリングシャッターに弱いのですが,それでもまあまあ動いてしまったりします.でも,グローバルシャッターカメラを持っている人はそっちを使うようにしましょう(そんな人はこんなブログ見ないか).

More »

タイトル長いですが,要するにwindows上でpythonスクリプトに対して以下の画像のようにファイルをドロップするような処理がしたいときの話です.

Windowsではデフォルトではファイルをドロップできるのはexeやbatファイルに限られているようで,”script.py”のようなファイル名の場合にはファイルをドロップすることができません.レジストリをいじって*.pyにファイルドロップを可能にする方法対応するbatファイルを作成してそれからpyファイルを呼び出す方法などがありましたが,レジストリ変更したくない&複数ファイルに分けたくなかったので,以下のような方法を取りました.

'''
python %0 %*
exit /B
:'''

import sys
if __name__ == '__main__':
  print sys.argv

要点としては,「*.pyの拡張子は諦めて*.batにする」「batで自身とドロップしたファイルを引数としてpythonを実行するコードを,pythonから見えないようにコメントアウトする」という感じです.処理結果は以下のような感じです(見やすさのため少し整形しています).

>'''
''''' は、内部コマンドまたは外部コマンド、
操作可能なプログラムまたはバッチ ファイルとして認識されていません。

> python "awesome_script.bat" test.svg test2.svg   # 自身とドロップしたファイルを引数としてpythonを実行
['awesome_script.bat', 'test.svg', 'test2.svg']          # ドロップしたファイル名が取得できている

pythonのブロックコメントの”’がcmdで認識できないのではじめにエラーが表示されますが,pythonの処理自体は問題なく実行できます.あとはファイルの拡張子がpyではなくbatなので,エディタのシンタックスハイライトや入力補完ができないのが問題でしょうか.

少々問題はありますが,レジストリ無変更かつ単独ファイルでpythonスクリプトへのファイルドロップができます.もっとスマートな解法がありそうな気がするので,ご存じの方は教えていただけるとうれしいです.