スマートグラスを用いた3Dぶどうモデルの生成

背景

摘粒は高品質なぶどうを生産するための重要な工程である。房の形や粒の大きさといった視覚的要素や各粒の味に影響を与えるため、欠かすことのできない作業である。摘粒作業は、房にある粒の数が重要な情報となるが、人間にとって粒数の数えあげは困難である。加えて、どの粒を取り除くかの判断に専門的な知識を要する。日本の農家は深刻な労働力不足と後継者不足に直面しており、この問題を解決できる新規就農者が摘粒を効率的に行うことを可能とするために、経験豊富な農家の専門知識をディープニューラルネットワークに学習させる研究が行われてきた。従来の手法は1枚の2D画像に基づいており、画像から見えない粒が影響し、粒数推定や摘果指示の精度に限界がある。この問題を解決するためには、ぶどうを複数視点から撮影し、房の3Dモデルを再構築することが必要である。

手法

手法は以下の流れである。

1. 画像をHMD(ヘッドマウンドディスプレイ)を用いて撮影する。
2. 画像から深層学習モデルを用いてぶどうの粒を検出する。
3. ぶどうの2次元での位置情報とHMDの位置情報を用いて、3次元上にぶどうの推定位置に表示する。
4. これを複数視点から繰り返す。

以上の手法によって、3次元上でのぶどうの粒の位置情報を推定して、3次元のぶどうのモデルを作るという手法である。