はじめに
イチゴの観光農園では、2つの問題を抱えている。1つは、来場者が必ずしも完熟したイチゴを選ばないことである。これは、完熟したイチゴが輸送中に容易に損傷するため、顧客が通常店頭などで目にするのは完熟前のイチゴであるためである。その結果、来場者は最も美味しいイチゴを味わう機会を逸し、また、農家にとってはイチゴを廃棄することにつながる。2つ目の問題は、来場者の不適切な摘み方により枝を傷つけてしまうことがあることである。
本研究では、これらの問題を解決するため、AR（拡張現実）によるイチゴ狩り支援システムBerryScopeを提案する。来場者は、光学シースルー型Head-Mounted Display(HMD)を装着し、イチゴ狩りを行う。システムは、HMDのカメラが撮影した映像を基に、Deep Neural Network (DNN)技術を用いてイチゴの熟度を判定し、完熟したイチゴに収穫指示をARで重畳表示する。また、2つ目の問題については、ARを用いた収穫開始前のトレーニングと収穫中の誤った摘み方に対する指摘により解決を図る。
評価のため、20歳から65歳までのイチゴ狩り経験のない15名を対象に、実際のイチゴ農園で実験を行った。その結果、提案システムを利用することで、ユーザがより熟したイチゴを選ぶことが可能であることを確認した。
「図 1 ARによるイチゴ狩り支援システムBerryScopeを使ったイチゴ収穫」
手法
本研究で提案するイチゴ狩り支援システムは以下の機能を備えている。
- HMDのカメラで撮影した画像からイチゴの成熟度を判別
- 成熟したイチゴに対する収穫指示を重畳表示
- 仮想オブジェクトを用いたイチゴ摘み練習
- 誤った摘み方の判定と指摘
本システムは光学的シースルーHMDとして、Microsoft Hololens2を使用する。下に、熟したイチゴの収穫指示を提示するまでの処理の流れを示す。はじめに、HoloLens2を用いてイチゴを撮影し、その画像をサーバーに転送する。サーバー上では、QueryInstというインスタンスセグメンテーションモデルを利用してイチゴを検出し、画像からイチゴの部分を切り出す。次に、ResNet18を分類器として使用しイチゴの成熟度を判別する。その結果を基に、熟していると判別されたイチゴの位置情報をサーバーからHoloLens2に送信する。続いて、HoloLens2の深度センサーを使用してイチゴまでの距離を測定する。その距離とサーバーから送られてきたイチゴの位置情報と組み合わせ、3次元空間上でイチゴのバウンディングボックスを表示する。
発表文献
S.Tamura, P. Buayai, X. Mao, “BerryScope: AR Strawberry Picking Aid,” in 2023 IEEE International Symposium on Mixed and Augmented Reality Adjunct (ISMAR-Adjunct), Sydney, Australia, 2023pp.118-121, doi: 10.1109/ISMAR-Adjunct60411.2023.00032.