Smart agriculture

Abstract

Bunch shape and berry size indicate the quality of table grapes and crucially affect their market value. Berry thinning is one of the most important tasks in grape cultivation to achieve an ideal bunch shape and to make sufficient space for individual berries. A successful practice by skilled grape farmers in Japan is using the number of berries in a bunch to guide the thinning process; hence, a technique for automatically counting the number of berries in a working bunch has been long desired by farmers to improve the efficiency of the thinning task. This research presents a novel end-to-end berry-counting technique based on a deep neural network (DNN), and its contributions are as follows. First, because a DNN requires massive training data, a novel data augmentation technique simulating the thinning process is proposed. Second, a new location-sensitive object detection model that integrates explicit location information and supplementary classification loss into a state-of-the-art instance segmentation model was proposed for detecting the number of berries in a working bunch with a high accuracy. Third, a set of features, together with their extraction algorithms, is designed for predicting the number of berries in a bunch (3D counting) using the berries detected on a single 2D image. Experiments using data collected from farmers’ grape-thinning process have been conducted to validate the accuracy and effectiveness of the proposed methods.

Publications

  1. Prawit Buayai, Kabin Yok-In, Daisuke Inoue, Chee Siang Leow, Hiromitsu Nishizaki, Koji Makino, Xiaoyang Mao, “End-to-End Inflorescence Measurement for Supporting Table Grape Trimming with Augmented Reality,” Cyberworlds, 2021-9. https://doi.org/10.1109/CW52790.2021.00022.
  2. Daisuke Inoue, Prawit Buayai, Hiromitsu Nishizaki, Koji Makino, Xiaoyang Mao, “Supporting Vine Vegetation Status Observation Using AR” Cyberworlds, 2021-9. https://doi.org/10.1109/CW52790.2021.00033.
  3. Prawit Buayai, Kanda Runapongsa Saikaew, and Xiaoyang Mao. 2020. “End-to-End Automatic Berry Counting for Table Grape Thinning.” IEEE Access. https://doi.org/10.1109/ACCESS.2020.3048374.

Patents

  1. 摘粒案件(P22-001、特願2022-003201 2022/1/12出願)
    【発明の名称】情報処理装置、システム、プログラム、及び情報処理方法
    茅 暁陽、 ブアヤイ プラウィット、横澤 浩樹、根本 陽平
  2. 房づくり案件(P21-031 特願2021-203363 2021/12/15出願)
    【発明の名称】情報処理装置、プログラム、システム、及び情報処理方法
    茅 暁陽、 ブアヤイ プラウィット、横澤 浩樹、根本 陽平

Media Coverage

  1. Professor Xiaoyang Mao gave an interview with Miraicolabo about Smart Agriculture project, 2021 November 19
  2. 果樹農家AIが救う、西日本新聞、on page 1, 2021 Novemver 18
  3. 果樹栽培AIがお助け、北海道新聞、on page 1, 2021 Novermber 18
  4. 開発進むスマートグラス 摘粒・摘果を支援、初心者も熟練農家並みに ブドウの摘粒や梨の摘果は熟練の技術とスピードが求められ、初心者にとっては難しい。初心者を熟練農家に変身させる「スマートグラス」の開発が進む。National Agricultural News, 2021 September 17
  5. Insights: Famers Tap Help From AI, Tech gives advice on the best time to harvest on page 4, The Japan Times, 2021 November 8, NO. 43,533
  6. DX旋風 食農にも AIと人間 紡ぐ協奏曲, The Japan Agricultural News, 2021 September 17
  7. Grape thinning support technology was introduced in NHK’s 「ためしてガッテン」program, 2021 September 15
  8. ブドウの粒数を自動測定するAI技術開発, The Japan Agricultural News, 2021 September 11
  9. ポプラ社, 『未来をつくる! 日本の産業2巻 59ページ 農作業を助けるAIのはたらき”, 2021年2月
  10. 「地上」農業技術最前線 “ぶどうの摘粒を賢くアシスト 作業対象の房の粒数をAIが推定する”, 2021年2月
  11. マイナビ農業, “スマートグラスでブドウの粒数を数える! 人工知能(AI)が摘粒作業を強力バックアップ!”, 2020年09月08日
  12. SMART AGRI, “ぶどうの摘粒作業をAIで効率化 山梨大学とドリームファームが開発”, 2020年8月26日
  13. Ledge.ai, “ぶどうの粒数を自動判定して効率的な摘粒作業を実現へ、山梨大学開発のAI技術”, 2020年8月25日
  14. 科学新聞, “ブドウの粒数 AIで簡単計測”, 2020年08月21日
  15. 日本農業新聞1面, “眼鏡”に予測表示 ブドウ粒数AIが判断 山梨大が開発”, 2020年08月18日
  16. Open Inovation Madia HAUS, “「ぶどうの粒いくつある?」を自動判定するAI来夏実用化へ〜山梨大学と農業生産法人が共同開発”, 2020年8月17日
  17. Excite ニュース, “山梨大学がぶどうの摘粒作業を効率化する粒数の自動判定 AI 技術を開発”, 2020年8月15日
  18. TECHABLE, “山梨大学がぶどうの摘粒作業を効率化する粒数の自動判定 AI 技術を開発”, 2020年8月15日
  19. 山梨大学工学部, “ぶどうの摘粒作業を効率化する粒数の自動判定 AI 技術を開発”, 2020年7月31日
  20. 山梨日日新聞, “ブドウ粒 AIが数えます”, 2020年07月30日
  21. 日本の研究, “ぶどうの摘粒作業を効率化する粒数の自動判定AI技術を開発”, 2020年07月30日