概要
現在、 日本では、 夏に国産タマネギの供給量が減るため、この時期は輸入に頼っています. この輸入依存問題を解決するために、夏に収穫タイミングが来る東北地方のタマネギ栽培の拡大が期待されています. しかし、東北地方のタマネギ農家は、 指導者が少なかったり、 現場に行くために移動コストがかかるせいで、 迅速に技術指導を受けられないことが大きな問題となっています。この問題を解決するために、「的確」で「リアルタイム」に技術指導が受けられるAR遠隔指導が求められています。
AR遠隔指導とは、 ARグラスを装着した作業者と遠隔地にいる指導者との間で、リアルタイムで映像や音声を共有したり、 アノテーションと呼ばれる「絵」を使ってやり取りするシステムです。このシステムによって指導者は移動コストを削減でき、 より多くの農家に指導を行うことができるようになります。
HoloLens2というARグラスの公式アプリRemote Assistでは、 例えば、 左の写真のように、アノテーションを正面から見たときは、どれを指しているのかちゃんと認識できますが、右の写真のように、正面以外から見たときは、アノテーションが変形してしまい、 対象物が分かりづらくなるという問題があります。
農業分野では、病気の特定などの目的で対象物をあらゆる角度から見ることがあるため、既存の表示手法だと作業者とのコミュニケーションに支障が出る可能性があります。
本研究では、AR遠隔指導アプリにおいて、正面以外から見ても対象物を認識しやすい3Dアノテーション表示手法を開発し、作業者に作業対象物を「正確」かつ「分かりやすく」伝えられるようにします。
提案手法
提案手法では、以下の4ステップを実装することで目的を達成しました。
- 2Dアノテーションの描画
- 代表デプスの計算
- 2Dアノテーションを代表デプスの情報を使って3D座標系に変換
- 3Dアノテーションをユーザの位置に応じて回転させる
