04 — 論文 / やさしい解説
ふつうのカメラを搭載したドローンとAIで、
イネの葉面積を推定する
イネの葉面積を推定する
葉面積指数(LAI)を推定する4つの方法を比べました
イネがどれだけ葉を広げているかは、受け止める日光の割合を左右し、収量を予測する手がかりにもなります。その目安が葉面積指数(LAI)ですが、正確に測るにはイネを刈り取る必要があり、手間がかかります。私たちは、ドローンに積んだふつうのカラーカメラの画像を、ディープラーニングというAIの方法で解析し、LAIを推定しました。その精度は、高価なカメラを使う方法とほぼ同じで、地上で広く使われてきた測定装置を上回りました。
この研究のポイント
- ドローンで撮ったふつうのカラー(RGB)画像を、ディープラーニングにそのまま学ばせ、イネの葉面積指数(LAI)を推定しました。
- 推定の精度は、近赤外線を測る高価なカメラを使う方法とほぼ同じでした。色の数値から計算する方法や、地上の測定装置よりも正確でした。
- ただし、データは東京都府中市の1か所の水田で、2019年に育てた3品種に限られます。ほかの条件で使えるかは、これから確かめる必要があります。
葉の面積を、刈り取らずに知りたい
葉面積指数(LAI)は、地面の面積に対して、その上にある緑の葉の面積が何倍あるかを表す数値です(図1)。葉は片面だけを数えます。LAIが3なら、1 m²の地面の上に、3 m²分の葉が広がっていることになります。
イネが受け止める日光の割合は、主にこの葉の広がりで決まります。そのためLAIは、生育の様子をつかみ、収量を予測するうえで欠かせない情報です。
LAIを最も確実に測る方法は、イネを刈り取り、葉の面積を機械で測ることです。けれども、これには多くの人手と時間がかかります。しかも刈り取れるのは区画のごく一部なので、区画全体を代表する値を得にくいという問題もあります。
そこで、刈り取らずに測る方法が工夫されてきました。代表的なのが、プラントキャノピーアナライザー(PCA)という測定装置です。イネの群落の上と株元の両方で光を測って、群落が受け止めた光の量を求め、それをもとにLAIを推定します。
カメラで撮った画像からLAIを推定する方法も、研究されてきました。ただし、手持ちや固定のカメラでは、田んぼのごく一部しか写せません。ドローンなら、広い範囲を撮れるうえ、人工衛星よりも細かく、頻繁に観測できます。
ドローンに積むカメラは、主に2種類です。1つは、ふつうのデジタルカメラと同じく、赤・緑・青の3色で写すRGBカメラです。もう1つは、目に見えない近赤外線などの反射も測れるマルチスペクトルカメラです。近赤外線を使うほうがLAIを正確に推定できることが知られていますが、マルチスペクトルカメラは一般に高価です。
ここで期待されるのが、AIの一種であるディープラーニング(深層学習)です。脳の神経回路をまねた計算のしくみを何層も重ね、画像の中から手がかりを自分で見つけ出します。これまでの機械学習が扱えたのは、画像から取り出した単純な数値だけでした。ディープラーニングなら、画像そのものを手がかりにできます。
安価なRGBカメラの画像とディープラーニングで、イネのLAIをどこまで正確に推定できるのでしょうか。この点はまだ十分に調べられていなかったため、私たちはほかの方法と並べて精度を確かめました。
3品種のイネを、ドローンと地上の測定で追いました
田んぼとイネ
実験は2019年に、東京農工大学フィールドミュージアム本町(東京都府中市)の水田で行いました。品種は、あきたこまちとコシヒカリ(どちらもジャポニカ)、タカナリ(インディカ)の3つです。それぞれに、窒素肥料を与える区画と与えない区画を設け、同じ組み合わせの区画を3つずつ用意しました。田植えは5月22日でした。
ドローンでの撮影と、答え合わせ用の測定
撮影には、RGBカメラとマルチスペクトルカメラを積んだドローン(DJI社のInspire 2)を使いました。イネの上空、高度30 mを秒速3 mで飛ばし、前後左右の写真が80%ずつ重なるように撮りました。重なり合う写真をつなぎ合わせて、田んぼ全体を真上から見た1枚の画像を作りました。1画素が写す大きさは、RGBカメラで9 mm、マルチスペクトルカメラで12 mmです。
撮影の翌日、各区画の8株(60 cm四方)について、群落の上での測定とあわせて、株元の10か所でPCAの測定をしました。続けてその8株を刈り取り、葉の面積を自動の面積計で測りました。この葉の面積を、8株が占める地面の面積(0.36 m²)で割った値が、答え合わせに使うLAIです。この調査を、田植えから穂が出るまで、2週間ごとにくり返しました(図2)。
比べた4つの方法
答え合わせ用のLAIに、次の4つの方法がどれだけ近い値を出せるかを比べました(図3)。
- 測定装置(PCA)。群落の上と株元で測った光から、群落が受け止めた光の量を求め、装置がLAIを計算します。
- RGBカメラと色の指数。画像の赤・緑・青の明るさを組み合わせて、「色の指数」という数値を計算します。9種類の指数を試し、それぞれLAIに換算する式を作りました。
- マルチスペクトルカメラと植生指数。近赤外線などの反射の強さから「植生指数」を計算し、同じように式を作りました。試した指数は12種類です。
- RGBカメラとディープラーニング。8株を写した100 × 100画素の小さな画像を、そのままAIに学ばせました。
参考として、ディープラーニング以外の機械学習も4種類試しました。ランダムフォレスト(RF)などに、ディープラーニングと同じデータを与えてLAIを推定させました。
AIの学ばせ方
AIに学習させたのは、各区画の8株を写した画像です(図4)。6月の苗が小さいころから、7月下旬に葉が茂るまで、生育のいろいろな段階が含まれています。
3つずつ用意した区画のうち、2つ分のデータ(48点)を学習に使いました。残る1つ分(24点)は、答え合わせ専用にとっておきました。AIがまったく見ていないデータで、実力を確かめるためです。
学習用の画像は、左右や上下を反転させたり、明るさを0.7倍や1.4倍に変えたりして、12倍の576枚に増やしました(図5)。AIのしくみには、画像の認識で実績のあるResNeXtを、このデータに合わせて手直ししたものを使いました。
ふつうのカメラでも、高価なカメラとほぼ同じ精度
答え合わせ用のLAIは、生育が進むにつれて増え、0.135から6.71まで大きく変わりました。
精度の比べ方
精度は、2つの数値で比べました。RMSE(二乗平均平方根誤差)は、推定した値と実際の値のずれの大きさの目安で、0に近いほど正確です。決定係数(R²)は、推定した値が実際の値とどれだけそろっているかを示し、1に近いほど正確です。
4つの方法の結果
マルチスペクトルカメラの植生指数では、近赤外線と赤の比をとるSRという指数の式が最もよく、R²は0.976、RMSEは0.332でした。全体としても、植生指数のほうが色の指数より正確でした。近赤外線の反射が、目に見える光の反射よりも、葉の面積の増加に敏感に反応するためと考えられます。
RGBカメラの色の指数では、VEGという指数の式が最もよく、R²は0.947、RMSEは0.401でした。ディープラーニング以外の機械学習では、RFに色の指数と画像の両方を与えたときが最もよく、R²は0.957、RMSEは0.342でした。
そして、RGB画像をディープラーニングに学ばせた方法は、R²が0.963、RMSEが0.334でした。ずれの大きさは、植生指数で最もよかったSR(0.332)とほぼ同じです。ふつうのカメラでも、ディープラーニングと組み合わせれば、高価なカメラとほぼ同じ精度が出せたことになります。
地上の測定装置(PCA)は、R²が0.934、RMSEが0.555で、図6の5つの方法の中ではずれが最も大きくなりました。実際のLAIより12%低めに出る傾向もありました。
画像そのものを見せることが大切
ディープラーニングに何を渡すかも比べました(図7)。9種類の色の指数だけを渡すと、R²は0.946、RMSEは0.434で、LAIを低めに見積もりました。VEGの式1本の成績(RMSE 0.401)にも届きませんでした。画像を渡すとRMSEは0.334まで下がりました。指数と画像の両方を渡すと0.322で、さらに少しだけ小さくなりました。
色の指数を使う方法では、画像を1つの数値にまとめてから推定します。ディープラーニングは、100 × 100画素の画像をまるごと見て、何が手がかりになるかを自分で探します。画像には、指数よりはるかに多くの情報があります。株や葉の形まで細かく捉えられたことが、精度の高さにつながったと考えています。
一方、ほかの機械学習では、画像だけを渡すと、色の指数を渡したときより精度が下がりました。たとえばRFでは、R²が0.939から0.851に下がっています。
測定装置のずれの理由
PCAのずれが大きかった理由の1つは、刈り取った8株以外のイネも、センサーの視野に入ってしまったことです。視野をしぼる覆いを付けても、防ぎきれませんでした。
低めに出たのは、PCAが「葉は空間の中にランダムに散らばっている」と仮定して計算するためです。実際のイネでは、葉が重なり合い、茎もまとまって立っています。この偏りが、主な原因と考えられます。これまでの研究でも、PCAはイネのLAIを低く見積もると報告されています。
それでもPCAは、刈り取らずにすばやく測れる、役に立つ道具です。刈り取って測った値との対応を、よく確かめて使うことが大切です。
ふつうのドローンで、葉の育ちを見守るために
この結果が意味すること
RGBカメラを積んだドローンとディープラーニングを組み合わせれば、イネのLAIを精度よく推定できることがわかりました。PCAやマルチスペクトルカメラを使う方法の、代わりになりえます。RGBカメラを積んだドローンは、一般に安く手に入ります。
ドローンで広い範囲のLAIを測れれば、田んぼの中の生育のむらを調べる作業に役立つ可能性があります。たくさんの育種系統(品種の候補)を見比べる作業にも、役立つかもしれません。
まだわかっていないこと
今回のモデルは、1か所の水田で、1年分、3品種のデータから作りました。対象も、田植えから穂が出るまでの時期に限られます。ほかの地域や品種、栽培のしかたでも同じ精度が出るかは、まだ確かめていません。
また、今回は1画素が9 mmという細かい画像を使いました。画像をどこまで粗くしても精度を保てるかは、これから調べる必要があります。
これから
ディープラーニングは、多くのデータを学ぶことで、さまざまな条件に対応できる可能性があります。今後は、栽培や撮影の条件が違うデータを集め、より広く使えるモデルを作りたいと考えています。画像の増やし方の工夫や、マルチスペクトル画像の追加でも、精度が上がる見込みがあります。固定翼のドローンや高解像度の人工衛星と組み合わせれば、さらに広い範囲に応用できるかもしれません。
用語の解説
- 株
- 田植えで1か所に植えた苗が育った、イネのまとまりです。
- 葉面積指数(LAI)
- 緑の葉の面積(片面)の合計が、地面の面積の何倍あるかを表す値です。イネが受け止める日光の割合は、主にこの値で決まります。
- プラントキャノピーアナライザー(PCA)
- 群落の上と株元で光を測り、群落が受け止めた光の量からLAIを求める測定装置です。この研究ではLAI-2200(LI-COR社)を使いました。
- RGBカメラ
- 赤(R)・緑(G)・青(B)の3色で写す、ふつうのデジタルカメラです。
- マルチスペクトルカメラ
- 光を波長ごとに分けて、反射の強さを測るカメラです。この研究のカメラは、青・緑・赤・レッドエッジ(赤と近赤外線の境目)・近赤外線の5つを測ります。
- 近赤外線
- 赤よりも少し波長の長い、人の目には見えない光です。
- 色の指数・植生指数
- 画像の色や光の反射の強さを組み合わせて、植物の状態を1つの数値で表したものです。この研究では、RGBカメラから計算するものを色の指数、近赤外線なども使うものを植生指数と呼んでいます。
- ディープラーニング(深層学習)
- 脳の神経回路をまねた計算のしくみを何層も重ねた機械学習です。画像から、手がかりになる特徴を自動で見つけ出します。
- 決定係数(R²)
- 推定した値と実際の値が、どれだけそろっているかを示す数値です。1に近いほど、よく一致しています。
- RMSE(二乗平均平方根誤差)
- 推定した値と実際の値のずれの大きさの目安です。単位はLAIと同じで、0に近いほど正確です。
論文の情報
Tomoaki Yamaguchi, Yukie Tanaka, Yuto Imachi, Megumi Yamashita & Keisuke Katsura (2021). Feasibility of Combining Deep Learning and RGB Images Obtained by Unmanned Aerial Vehicle for Leaf Area Index Estimation in Rice. Remote Sensing, 13(1), 84. https://doi.org/10.3390/rs13010084
オープンアクセスの論文で、誰でも無料で読めます。ライセンスはCC BY 4.0(クリエイティブ・コモンズ 表示 4.0 国際)です。このページの一部の図は、このライセンスにもとづいて、論文の図をもとに作成しました。