2D画像からの3Dぶどう房モデルの再構築

Abstract

ぶどうの生産における重要な作業は摘粒です。ぶどう農家は作業房の粒の数を数え、どの粒を除去すべきかを決める必要があります。しかし、粒数推定と摘果対象の特定のために2D画像を使用することには限界があり、見える粒の数は作業者の視点によって大きく異なります。さらに、将来的なロボットの自動化を考慮する際には、房の3D構造を理解することが非常に重要です。これらの理由から、現場で適用可能な3Dぶどう房モデルを得ることが必要です。この研究では、実際のぶどう畑環境で撮影された2D画像から、ぶどう房の3Dモデルを再構築します。

ハイライト

  • 実際のぶどう畑で動画から、ぶどうの房の3Dモデルを再構築する。
  • 新しいクラスタリングとニューラルネットワークベースで、3D点群中の粒を識別し、ビデオフレームで精細化する。
  • 2DインスタンスセグメンテーションDNNでは、3D点群生成から背景を除外するための前処理を行う。

発表文献

  1. Y. S. Woo, P. Buayai, H. Nishizaki, K. Makino, L. M. Kamarudin, X. Mao, “End-to-end lightweight berry number prediction for supporting table grape cultivation,” Computers and Electronics in Agriculture, vol. 213, p. 108203, 2023, doi: https://doi.org/10.1016/j.compag.2023.108203

参考文献

[1] P. Buayai, K. R. Saikaew, and X. Mao, “End-to-end automatic berry counting for table grape thinning,” IEEE Access, vol. 9, pp. 4829-4842, 2020, doi:  https://doi.org/10.1109/ACCESS.2020.3048374.