04 — 論文 / やさしい解説

ふつうのカメラを搭載したドローンとAIで、
イネの葉面積を推定する

葉面積指数(LAI)を推定する4つの方法を比べました

ドローンで真上から撮った試験田です。イネの区画が、土の通路をはさんで並んでいます。
2019年7月9日の試験田を、ドローンの写真をつなぎ合わせて真上から見た画像です。Yamaguchi et al.(2021)の図2をもとに作成(CC BY 4.0)

イネがどれだけ葉を広げているかは、受け止める日光の割合を左右し、収量を予測する手がかりにもなります。その目安が葉面積指数(LAI)ですが、正確に測るにはイネを刈り取る必要があり、手間がかかります。私たちは、ドローンに積んだふつうのカラーカメラの画像を、ディープラーニングというAIの方法で解析し、LAIを推定しました。その精度は、高価なカメラを使う方法とほぼ同じで、地上で広く使われてきた測定装置を上回りました。

この研究のポイント

  1. ドローンで撮ったふつうのカラー(RGB)画像を、ディープラーニングにそのまま学ばせ、イネの葉面積指数(LAI)を推定しました。
  2. 推定の精度は、近赤外線を測る高価なカメラを使う方法とほぼ同じでした。色の数値から計算する方法や、地上の測定装置よりも正確でした。
  3. ただし、データは東京都府中市の1か所の水田で、2019年に育てた3品種に限られます。ほかの条件で使えるかは、これから確かめる必要があります。
先生、ふつうのカメラで、葉の面積までわかるの?
わかるんだ。高いカメラとほぼ同じくらい、正確にね。どうやって確かめたのか、順に見ていこう。
01

葉の面積を、刈り取らずに知りたい

葉面積指数(LAI)は、地面の面積に対して、その上にある緑の葉の面積が何倍あるかを表す数値です(図1)。葉は片面だけを数えます。LAIが3なら、1 m²の地面の上に、3 m²分の葉が広がっていることになります。

イネが受け止める日光の割合は、主にこの葉の広がりで決まります。そのためLAIは、生育の様子をつかみ、収量を予測するうえで欠かせない情報です。

左は、1 m²の地面に生えたイネです。右は、その葉を切って平らに並べた様子で、同じ1 m²の地面の上に、1 m²分の葉が3層に重なります。LAIは葉の面積を地面の面積で割った値で、この例では3です。
図1 葉面積指数(LAI)の考え方です。地面1 m²の上にある葉をすべて切って平らに並べ、葉が3 m²分あれば、LAIは3です。この研究のイネのLAIは、0.135〜6.71でした。
葉の面積って、ふだんはどうやって測るの?
いちばん確かなのは、イネを刈り取って測る方法なんだ。でも、手間も時間もかかる。だから、刈らずに測る方法が探されてきたんだよ。

LAIを最も確実に測る方法は、イネを刈り取り、葉の面積を機械で測ることです。けれども、これには多くの人手と時間がかかります。しかも刈り取れるのは区画のごく一部なので、区画全体を代表する値を得にくいという問題もあります。

そこで、刈り取らずに測る方法が工夫されてきました。代表的なのが、プラントキャノピーアナライザー(PCA)という測定装置です。イネの群落の上と株元の両方で光を測って、群落が受け止めた光の量を求め、それをもとにLAIを推定します。

カメラで撮った画像からLAIを推定する方法も、研究されてきました。ただし、手持ちや固定のカメラでは、田んぼのごく一部しか写せません。ドローンなら、広い範囲を撮れるうえ、人工衛星よりも細かく、頻繁に観測できます。

ドローンに積むカメラは、主に2種類です。1つは、ふつうのデジタルカメラと同じく、赤・緑・青の3色で写すRGBカメラです。もう1つは、目に見えない近赤外線などの反射も測れるマルチスペクトルカメラです。近赤外線を使うほうがLAIを正確に推定できることが知られていますが、マルチスペクトルカメラは一般に高価です。

ここで期待されるのが、AIの一種であるディープラーニング(深層学習)です。脳の神経回路をまねた計算のしくみを何層も重ね、画像の中から手がかりを自分で見つけ出します。これまでの機械学習が扱えたのは、画像から取り出した単純な数値だけでした。ディープラーニングなら、画像そのものを手がかりにできます。

安価なRGBカメラの画像とディープラーニングで、イネのLAIをどこまで正確に推定できるのでしょうか。この点はまだ十分に調べられていなかったため、私たちはほかの方法と並べて精度を確かめました。

02

3品種のイネを、ドローンと地上の測定で追いました

4つの方法は、どうやって比べたの?
ドローンで撮った翌日に、8株を刈り取って、答え合わせ用のLAIを測ったんだ。その値に、どの方法がいちばん近づけるかを比べたんだよ。

田んぼとイネ

実験は2019年に、東京農工大学フィールドミュージアム本町(東京都府中市)の水田で行いました。品種は、あきたこまちとコシヒカリ(どちらもジャポニカ)、タカナリ(インディカ)の3つです。それぞれに、窒素肥料を与える区画と与えない区画を設け、同じ組み合わせの区画を3つずつ用意しました。田植えは5月22日でした。

ドローンでの撮影と、答え合わせ用の測定

撮影には、RGBカメラとマルチスペクトルカメラを積んだドローン(DJI社のInspire 2)を使いました。イネの上空、高度30 mを秒速3 mで飛ばし、前後左右の写真が80%ずつ重なるように撮りました。重なり合う写真をつなぎ合わせて、田んぼ全体を真上から見た1枚の画像を作りました。1画素が写す大きさは、RGBカメラで9 mm、マルチスペクトルカメラで12 mmです。

撮影の翌日、各区画の8株(60 cm四方)について、群落の上での測定とあわせて、株元の10か所でPCAの測定をしました。続けてその8株を刈り取り、葉の面積を自動の面積計で測りました。この葉の面積を、8株が占める地面の面積(0.36 m²)で割った値が、答え合わせに使うLAIです。この調査を、田植えから穂が出るまで、2週間ごとにくり返しました(図2)。

調査の3つの手順を示した図です。ドローンで高度30 mから撮影し、翌日に群落の上と株元で光を測り(PCA)、8株を刈り取って葉の面積を測ります。答え合わせ用のLAIは、葉の面積を0.36 m²で割って求めます。
図2 1回の調査で行ったことです。PCAの測定を済ませてから、同じ8株を刈り取りました。刈り取って測ったLAIを、すべての方法の答え合わせに使います。

比べた4つの方法

答え合わせ用のLAIに、次の4つの方法がどれだけ近い値を出せるかを比べました(図3)。

  1. 測定装置(PCA)。群落の上と株元で測った光から、群落が受け止めた光の量を求め、装置がLAIを計算します。
  2. RGBカメラと色の指数。画像の赤・緑・青の明るさを組み合わせて、「色の指数」という数値を計算します。9種類の指数を試し、それぞれLAIに換算する式を作りました。
  3. マルチスペクトルカメラと植生指数。近赤外線などの反射の強さから「植生指数」を計算し、同じように式を作りました。試した指数は12種類です。
  4. RGBカメラとディープラーニング。8株を写した100 × 100画素の小さな画像を、そのままAIに学ばせました。

参考として、ディープラーニング以外の機械学習も4種類試しました。ランダムフォレスト(RF)などに、ディープラーニングと同じデータを与えてLAIを推定させました。

比べた4つの方法を示した図です。1は測定装置(PCA)、2はRGBカメラと色の指数、3はマルチスペクトルカメラと植生指数、4はRGBカメラとディープラーニングです。
図3 比べた4つの方法です。②と③は、画像を指数という1つの数値にまとめてから、式でLAIに換算します。④のディープラーニングは、画像をまるごと手がかりにします。

AIの学ばせ方

AIに学習させたのは、各区画の8株を写した画像です(図4)。6月の苗が小さいころから、7月下旬に葉が茂るまで、生育のいろいろな段階が含まれています。

同じ区画の8株を、6月11日、6月26日、7月9日、7月24日に撮った画像です。日を追うごとに葉が茂っていきます。
図4 AIに学習させた画像の例です(コシヒカリ、窒素肥料あり)。どれも同じ8株を写したもので、日を追うごとに葉が茂っていきます。Yamaguchi et al.(2021)の図4をもとに作成(CC BY 4.0)

3つずつ用意した区画のうち、2つ分のデータ(48点)を学習に使いました。残る1つ分(24点)は、答え合わせ専用にとっておきました。AIがまったく見ていないデータで、実力を確かめるためです。

学習用の画像は、左右や上下を反転させたり、明るさを0.7倍や1.4倍に変えたりして、12倍の576枚に増やしました(図5)。AIのしくみには、画像の認識で実績のあるResNeXtを、このデータに合わせて手直ししたものを使いました。

1枚の画像を、左右や上下の反転で4通り、明るさの変更で3通りに変え、合わせて12通りにする様子です。学習用の画像は48枚から576枚になります。
図5 学習用の画像の増やし方です。向きを4通り、明るさを3通りに変えて、1枚から12通りの画像を作りました。Yamaguchi et al.(2021)の図5をもとに作成(CC BY 4.0)
03

ふつうのカメラでも、高価なカメラとほぼ同じ精度

結果は、どうだったの?
ふつうのカメラとAIの組み合わせが、高いカメラとほぼ同じ精度だったんだ。ずれの大きさは0.334と0.332。ほとんど差がないね。

答え合わせ用のLAIは、生育が進むにつれて増え、0.135から6.71まで大きく変わりました。

精度の比べ方

精度は、2つの数値で比べました。RMSE(二乗平均平方根誤差)は、推定した値と実際の値のずれの大きさの目安で、0に近いほど正確です。決定係数(R²)は、推定した値が実際の値とどれだけそろっているかを示し、1に近いほど正確です。

4つの方法の結果

マルチスペクトルカメラの植生指数では、近赤外線と赤の比をとるSRという指数の式が最もよく、R²は0.976、RMSEは0.332でした。全体としても、植生指数のほうが色の指数より正確でした。近赤外線の反射が、目に見える光の反射よりも、葉の面積の増加に敏感に反応するためと考えられます。

RGBカメラの色の指数では、VEGという指数の式が最もよく、R²は0.947、RMSEは0.401でした。ディープラーニング以外の機械学習では、RFに色の指数と画像の両方を与えたときが最もよく、R²は0.957、RMSEは0.342でした。

そして、RGB画像をディープラーニングに学ばせた方法は、R²が0.963、RMSEが0.334でした。ずれの大きさは、植生指数で最もよかったSR(0.332)とほぼ同じです。ふつうのカメラでも、ディープラーニングと組み合わせれば、高価なカメラとほぼ同じ精度が出せたことになります。

地上の測定装置(PCA)は、R²が0.934、RMSEが0.555で、図6の5つの方法の中ではずれが最も大きくなりました。実際のLAIより12%低めに出る傾向もありました。

5つの方法のRMSEを比べた横棒グラフです。植生指数SRが0.332、ディープラーニングが0.334、ほかの機械学習RFが0.342、色の指数VEGが0.401、測定装置PCAが0.555です。R²はそれぞれ0.976、0.963、0.957、0.947、0.934です。
図6 5つの方法の推定のずれ(RMSE)です。指数とほかの機械学習は、それぞれ最もよかったものを示しています。ディープラーニング(金色)のずれは、高価なカメラを使う植生指数SRとほぼ同じでした。Yamaguchi et al.(2021)の数値をもとに作成

画像そのものを見せることが大切

どうして、色の指数より画像のほうがいいの?
指数は、画像を数字1つにまとめたものなんだ。画像のままなら、株や葉の形まで手がかりにできる。この差が効いたみたいだね。

ディープラーニングに何を渡すかも比べました(図7)。9種類の色の指数だけを渡すと、R²は0.946、RMSEは0.434で、LAIを低めに見積もりました。VEGの式1本の成績(RMSE 0.401)にも届きませんでした。画像を渡すとRMSEは0.334まで下がりました。指数と画像の両方を渡すと0.322で、さらに少しだけ小さくなりました。

色の指数を使う方法では、画像を1つの数値にまとめてから推定します。ディープラーニングは、100 × 100画素の画像をまるごと見て、何が手がかりになるかを自分で探します。画像には、指数よりはるかに多くの情報があります。株や葉の形まで細かく捉えられたことが、精度の高さにつながったと考えています。

一方、ほかの機械学習では、画像だけを渡すと、色の指数を渡したときより精度が下がりました。たとえばRFでは、R²が0.939から0.851に下がっています。

ディープラーニングに渡したデータごとのRMSEの棒グラフです。色の指数だけが0.434、画像だけが0.334、指数と画像の両方が0.322です。色の指数VEGの式の0.401を赤い点線で示しています。
図7 ディープラーニングに渡すデータを変えたときの、推定のずれ(RMSE)です。赤い点線は、色の指数VEGの式で推定したときの値です。画像を渡すと、ずれが小さくなりました。Yamaguchi et al.(2021)の数値をもとに作成

測定装置のずれの理由

PCAのずれが大きかった理由の1つは、刈り取った8株以外のイネも、センサーの視野に入ってしまったことです。視野をしぼる覆いを付けても、防ぎきれませんでした。

低めに出たのは、PCAが「葉は空間の中にランダムに散らばっている」と仮定して計算するためです。実際のイネでは、葉が重なり合い、茎もまとまって立っています。この偏りが、主な原因と考えられます。これまでの研究でも、PCAはイネのLAIを低く見積もると報告されています。

それでもPCAは、刈り取らずにすばやく測れる、役に立つ道具です。刈り取って測った値との対応を、よく確かめて使うことが大切です。

ドローンのRGB画像とディープラーニングで葉面積指数(LAI)を推定し、ほかの方法と精度を比べた図です。
図8 研究の流れと結果を、1枚にまとめた図です(図中は英語)。ドローンの画像を増やしてディープラーニングに学ばせ、5つの方法の精度を比べました。グラフィカルアブストラクト(Yamaguchi et al., 2021, CC BY 4.0)
04

ふつうのドローンで、葉の育ちを見守るために

これで、なにができるようになるの?
安いドローンで、広い田んぼの葉の育ちを見守れるかもしれない。生育のむらを探したり、品種の候補を見比べたりね。

この結果が意味すること

RGBカメラを積んだドローンとディープラーニングを組み合わせれば、イネのLAIを精度よく推定できることがわかりました。PCAやマルチスペクトルカメラを使う方法の、代わりになりえます。RGBカメラを積んだドローンは、一般に安く手に入ります。

ドローンで広い範囲のLAIを測れれば、田んぼの中の生育のむらを調べる作業に役立つ可能性があります。たくさんの育種系統(品種の候補)を見比べる作業にも、役立つかもしれません。

まだわかっていないこと

どこの田んぼでも、同じように使えるの?
それは、まだわからないんだ。1か所の田んぼの、1年分のデータで作ったモデルだからね。ほかの土地や品種で確かめるのは、これからだよ。

今回のモデルは、1か所の水田で、1年分、3品種のデータから作りました。対象も、田植えから穂が出るまでの時期に限られます。ほかの地域や品種、栽培のしかたでも同じ精度が出るかは、まだ確かめていません。

また、今回は1画素が9 mmという細かい画像を使いました。画像をどこまで粗くしても精度を保てるかは、これから調べる必要があります。

これから

ディープラーニングは、多くのデータを学ぶことで、さまざまな条件に対応できる可能性があります。今後は、栽培や撮影の条件が違うデータを集め、より広く使えるモデルを作りたいと考えています。画像の増やし方の工夫や、マルチスペクトル画像の追加でも、精度が上がる見込みがあります。固定翼のドローンや高解像度の人工衛星と組み合わせれば、さらに広い範囲に応用できるかもしれません。

ふつうのカメラでも、AIと組み合わせれば、葉の広がりまでわかるんだね。
うん、いいまとめだね。今日はここまで。

用語の解説

株
田植えで1か所に植えた苗が育った、イネのまとまりです。
葉面積指数(LAI)
緑の葉の面積(片面)の合計が、地面の面積の何倍あるかを表す値です。イネが受け止める日光の割合は、主にこの値で決まります。
プラントキャノピーアナライザー(PCA)
群落の上と株元で光を測り、群落が受け止めた光の量からLAIを求める測定装置です。この研究ではLAI-2200(LI-COR社)を使いました。
RGBカメラ
赤(R)・緑(G)・青(B)の3色で写す、ふつうのデジタルカメラです。
マルチスペクトルカメラ
光を波長ごとに分けて、反射の強さを測るカメラです。この研究のカメラは、青・緑・赤・レッドエッジ(赤と近赤外線の境目)・近赤外線の5つを測ります。
近赤外線
赤よりも少し波長の長い、人の目には見えない光です。
色の指数・植生指数
画像の色や光の反射の強さを組み合わせて、植物の状態を1つの数値で表したものです。この研究では、RGBカメラから計算するものを色の指数、近赤外線なども使うものを植生指数と呼んでいます。
ディープラーニング(深層学習)
脳の神経回路をまねた計算のしくみを何層も重ねた機械学習です。画像から、手がかりになる特徴を自動で見つけ出します。
決定係数(R²)
推定した値と実際の値が、どれだけそろっているかを示す数値です。1に近いほど、よく一致しています。
RMSE(二乗平均平方根誤差)
推定した値と実際の値のずれの大きさの目安です。単位はLAIと同じで、0に近いほど正確です。

論文の情報

Tomoaki Yamaguchi, Yukie Tanaka, Yuto Imachi, Megumi Yamashita & Keisuke Katsura (2021). Feasibility of Combining Deep Learning and RGB Images Obtained by Unmanned Aerial Vehicle for Leaf Area Index Estimation in Rice. Remote Sensing, 13(1), 84. https://doi.org/10.3390/rs13010084

オープンアクセスの論文で、誰でも無料で読めます。ライセンスはCC BY 4.0(クリエイティブ・コモンズ 表示 4.0 国際)です。このページの一部の図は、このライセンスにもとづいて、論文の図をもとに作成しました。