04 — 論文 / やさしい解説
収穫のころ、AIは
イネの穂に注目して収量を予測していた
時期に合った光と画像の広さを選ぶと、予測はより正確になりました
私たちは、ドローンで撮った水田の画像から、AIでイネの収量を予測する研究を進めています。今回は、撮影の時期、光の種類、画像を切り出す範囲を変えて、予測が最も正確になる組み合わせを探しました。収穫のころの画像では、レッドエッジという光を含む組み合わせと、収穫した範囲より少し広い切り出しが効果的でした。AIが注目した場所を地図にすると、収穫のころはイネの穂に注目しており、この結果の理由も説明できました。
この研究のポイント
- 予測が最も正確になる光の組み合わせは、撮影の時期によって違いました。収穫のころは、緑・近赤外・レッドエッジの組み合わせで、最もよい結果が出ました。
- 画像を、実際に収穫した範囲より少し広く切り出すと、予測が正確になりました。この効果は、収穫のころの画像で特に大きく表れました。
- AIが注目した場所を地図にすると、登熟中期(穂が出て約3週間後)は株全体に、収穫のころは穂に注目していました。この違いで、上の2つの結果の理由を説明できました。
ドローンとAIで、収穫の前に収量を知るには
米は、世界で最も多く食べられている主食の作物です。田んぼでどれだけの米がとれるか(収量)を知ることは、農家の判断にも、国の計画にも欠かせません。
収量を見積もる方法として、ドローンによる空撮が広がっています。必要なときに細かく撮れるため、田んぼが小さく、曇りや雨の多い日本では特に役立ちます。
画像から収量を予測するAIとしては、畳み込みニューラルネットワーク(CNN)がよく使われます。CNNはディープラーニング(深層学習)と呼ばれるAIの一種で、予測に役立つ画像の特徴を自分で見つけ出せるのが強みです。
実りの時期には、イネの姿が日ごとに変わる
穂が出る(出穂)と、米粒に養分がたまっていきます。この期間を登熟期と呼びます。ドローンとCNNを使った予測では、登熟期の半ば(登熟中期)より後の画像を使うと、結果が正確で安定することが報告されています。
ただし、収穫が近づくにつれて、イネの姿は刻々と変わります。米粒が実って穂が色づき、葉は枯れ始めます。重くなった穂は垂れて、株と株の間や外側へ広がります(図1)。
そのため、撮影の時期によって、予測に役立つ光の種類や、画像に入れるべき範囲も変わるかもしれません。ところが、こうした「AIに見せる画像の条件」は、これまで詳しく調べられていませんでした。
もう1つの課題は、AIがなぜその答えを出したのかが見えにくいことです。その根拠を人にわかる形で示す技術を、説明可能なAI(XAI)と呼びます。収量のような数値を予測するCNNにXAIを使った例は、農学ではほとんどありませんでした。
そこで私たちは、AIに見せる画像の条件を比べ、XAIでその理由を確かめることにしました。登熟中期のAIは株全体を、収穫のころのAIは穂を手がかりにしているのではないか、と考えたのです。
3年分の画像と収量で、条件を変えて比べました
田んぼと収量のデータ
試験は、2021年から2023年まで、福島県双葉郡富岡町の農家の水田で行いました。37枚の田んぼ(合わせて約0.9 ha)で、この地域で育てられている5品種を栽培しました。ふくひびき、福乃香、五百川、さくらふくひめ、天のつぶです。
収量は、田んぼの中の小さな区画(2列 × 3株、60 cm × 54 cm)ごとに、刈り取って量りました。刈ったイネはビニールハウスで乾かしてから脱穀し、粒の重さを面積で割って収量を求めました。
こうして、3年間で2,184区画分の収量が集まりました。区画ごとの収量は、1 haあたり1.3〜13.4 t(10 aあたり130〜1,340 kg)と、幅の広いものでした。
ドローンで撮った画像
ドローンには、マルチスペクトルカメラを積みました。光を色(波長)ごとに分けて記録するカメラで、人の目には見えない近赤外の光も写せます。使ったのは、緑、赤、レッドエッジ、近赤外の4種類の光です。レッドエッジは、赤と近赤外の境目にあたる光です。
撮影は、登熟中期(出穂の約3週間後、収穫の約2週間前)と、成熟期(収穫のころ)の2回です。晴れた日に高さ30 mまたは50 mから撮り、写真をつなぎ合わせて、位置のずれのない1枚の画像(オルソ画像)にしました。画像の細かさは、1画素あたり約2 cmです。
AIに見せた画像
収穫した区画の位置は、刈り取りの直後にドローンで撮った写真で確かめました。その区画の中心に合わせて、ドローン画像から正方形を切り出し、AIに見せました(図2)。
1枚の画像には、4種類の光のうち3つを重ねて入れました。ふつうのカラー写真が、赤・緑・青の3色を重ねてできているのと同じしくみです。
収量を予測するAI
予測にはCNNを使いました。CNNは、画像を小さな枠でなぞりながら模様を拾い、それを何段も組み合わせて、最後に収量という1つの数字を出します(図3)。
学ばせるときは、画像と実測の収量の組をたくさん見せます。CNNは、予測と実測のずれが小さくなるよう、自分の中の値を少しずつ調整します。CNNの型は、3つを試して、最も正確だったXceptionを選びました。
予測の正確さは、学習に使っていない区画で確かめました。データをいくつかの組に分け、1組を確認用にとっておき、ほかの組で学ばせます。組を替えてこれをくり返し、結果を平均しました。この方法を交差検証と呼びます。
比べた4つの条件
AIに見せる画像について、4つの条件を変えて比べました(図4)。1つめは撮影の時期で、登熟中期と成熟期の2通りです。2つめは光の組み合わせで、4種類の光から3つを選ぶ4通りです。
3つめは切り出す範囲です。収穫した範囲(60 cm × 54 cm)より小さい40 cm四方、ほぼ同じ60 cm四方、大きい80 cm四方の3通りを用意しました。広く切り出せば、垂れた穂などの情報を多く取りこめるかもしれません。一方で、となりの株が入りこみ、予測を乱すおそれもあります。
4つめは、位置をずらした画像を足すかどうかです。切り出す位置を10 cmずらした画像に、もとと同じ収量の値を付けて、学習用に加えました(論文ではバッファー抽出と呼びます)。ずらす向きは上下左右の4方向と、斜めを含む8方向で、データはそれぞれ5倍と9倍になります。
比べ方は2段階です。まず、時期ごとに光の組み合わせを比べました。次に、それぞれの時期で最もよかった組み合わせを使い、切り出す範囲と、ずらした画像の数を比べました。
なお、五百川は2021年に田んぼのほぼ全面で倒れたため、その年のデータを除きました。ほかの年にも五百川の登熟中期の画像はないため、登熟中期の比較は残りの4品種で行いました。
AIがどこを見ていたかを調べる
それぞれの時期で最も正確だった条件のAIについて、画像のどこを手がかりにしたのかを、2つの方法で地図にしました。こうした、値の大小を色で表した地図を、ヒートマップと呼びます。
1つは遮蔽感度法です。画像の1点を消して(値を0にして)予測し直し、もとの予測からどれだけ変わったかを調べます。大きく変わった点ほど、AIが重く見ていた場所です。これを、画像のすべての点でくり返します(図5)。
もう1つは勾配法です。画像の各点の値をわずかに変えたとき、予測がどれだけ動くかを、計算でまとめて求めます。どちらの方法も、品種ごとに、それぞれの時期の画像1枚ずつで調べました。
役立つ光と画像の広さは、時期によって違いました
光の組み合わせ
正確さは、主に決定係数(R²)で比べました。予測が実測にどれだけ合っているかを表す値で、1に近いほど正確です。
登熟中期では、緑・赤・近赤外の組み合わせが最も正確でした(R²=0.401)。成熟期では、緑・近赤外・レッドエッジの組み合わせが最も正確でした(R²=0.441)。
どちらの時期も、近赤外を含まない緑・赤・レッドエッジの組み合わせが、最も低い値になりました(図6)。近赤外の光は、葉の量や株の大きさをよくとらえることが知られています。収量の予測にも、近赤外が大切だと考えられます。また、レッドエッジは、成熟期の画像でより役に立ちました。
切り出す範囲と、ずらした画像
どちらの時期も、切り出す範囲を広げるほど、また、ずらした画像を増やすほど、予測は正確になる傾向がありました(図7)。
成熟期では、最も広い80 cm四方で切り出し、8方向にずらした画像を足したときに、最も正確になりました。R²は0.492で、この研究で最も高い値です。予測のずれの大きさは、平均の収量の約15%でした(相対二乗平均平方根誤差、RRMSE=0.148)。
登熟中期では、60 cmか80 cm四方で切り出し、4方向か8方向にずらした画像を足したときに、最もよい結果になりました。R²は、いずれも0.455です。広く切り出す効果は、成熟期のほうが大きく表れました。
実際のイネは、刈り取った範囲よりも外まで、葉や穂を広げています。少し広く切り出すことで、その区画のイネの姿を、画像にうまく収められたと考えられます。これまでは、収穫した範囲と同じ大きさで画像を切り出すのがふつうでした。少し広めに切り出すと予測が正確になると示したことが、この研究の新しい点です。
AIが注目した場所
ヒートマップを見ると、登熟中期のAIは、株のある場所全体にまんべんなく注目していました。一方、成熟期のAIは、穂のあたりに強く注目していました。葉のあたりには、注目した所と、ほとんど注目しなかった所が混じっていました(図8)。
この傾向は、2つの方法のどちらでも同じでした。撮影日は品種や年によって数日ずれましたが、傾向はどの品種にも共通していました。また、収穫した範囲の外にある穂にも、AIは注目していました。
成熟期に穂が手がかりになっていたことは、ここまでの2つの結果とよく合います。レッドエッジの光は、出穂後に色や形が大きく変わる穂によく反応することが、これまでの研究で報告されています。また、少し広く切り出すと、垂れて外へ広がった穂も画像に収まります。これが、正確さを高めたと考えられます。
より正確で、信頼できる収量予測に向けて
この研究は、ドローンとCNNでイネの収量を予測するとき、時期に合わせて画像の条件を選ぶとよいことを示しました。収穫のころなら、レッドエッジを含む光と、収穫した範囲より少し広い画像が役に立ちます。
予測が正確になれば、田んぼのどこで収量が多く、どこで少ないかを表す「収量の地図」も、より正確に作れると期待しています。収量を前もって知ることは、農家の判断を助けます。
XAIの結果にも意味があります。AIの注目した場所が、イネの育ち方から見て筋が通っていれば、その予測をより信頼できるからです。
予測の正確さについて
今回のR²(0.347〜0.492)は、ドローンとCNNでダイズやコムギの収量を予測した研究より低い値です。一方で、これまでのイネの研究とは同じくらいです。植生指数(光の反射から計算する、茂り具合の目安)を使った予測よりは、ずっと高い値です。3年間・5品種の幅広いデータで確かめており、画像の条件を比べるには十分な正確さだと考えています。
まだわかっていないこと
今回の結果は、イネで得られたものです。トウモロコシやコムギでも同じ条件がよいかは、まだ確かめていません。トウモロコシやコムギは、イネほど穂が垂れず、色の変わり方も違います。そのため、よい条件も変わる可能性があります。
また、撮影したのは2つの時期だけです。より多くの時期の画像を組み合わせると予測が正確になるという報告もありますが、撮影が増えるほど手間と費用がかかります。そのつり合いは、これからの課題です。
これから
AIが見ている場所を確かめる方法は、いまのモデルの弱点を見つけ、正確さを高める手がかりにもなります。今後は、AIが農学的に正しい場所を見ていることを確かめながら、より信頼できるモデルを作っていきたいと考えています。
用語の解説
- マルチスペクトルカメラ
- 光を色(波長)ごとに分けて記録するカメラです。人の目には見えない近赤外の光も写せます。
- 近赤外・レッドエッジ
- 近赤外は、赤よりも波長が長く、人の目には見えない光です。葉の量や株の大きさをよく反映します。レッドエッジは、赤と近赤外の境目にあたる光です。
- 畳み込みニューラルネットワーク(CNN)
- 画像を小さな枠でなぞって模様を拾い、それを何段も組み合わせて答えを出すAIです。ディープラーニング(深層学習)と呼ばれる手法の1つです。
- 説明可能なAI(XAI)
- AIがなぜその答えを出したのかを、人にわかる形で示す技術です。この研究では、AIが画像のどこに注目したかを地図にしました。
- ヒートマップ
- 値の大小を、色の明るさや濃さで表した地図です。この研究では、AIが強く注目した場所ほど、明るく(または赤く)表しています。
- 遮蔽感度法・勾配法
- AIが注目した場所を調べる方法です。遮蔽感度法は、画像の点を1つずつ消して、予測の変化を見ます。勾配法は、各点の値の変化に予測がどれだけ敏感かを、計算で求めます。
- 登熟中期・成熟期
- 穂が出たあと、米粒に養分がたまっていく期間を登熟期と呼びます。この研究の登熟中期は穂が出て約3週間後、成熟期は収穫のころです。
- 決定係数(R²)
- 予測が実測にどれだけ合っているかを表す値です。1に近いほど正確で、0は平均値をいつも答えるのと同じ程度です。
- 交差検証
- データをいくつかの組に分け、学習に使わなかった組で正確さを確かめる方法です。組を替えてくり返し、結果を平均します。
論文の情報
Tomoaki Yamaguchi, Taiga Takamura, Takashi S.T. Tanaka, Taiichiro Ookawa & Keisuke Katsura (2025). A study on optimal input images for rice yield prediction models using CNN with UAV imagery and its reasoning using explainable AI. European Journal of Agronomy, 164, 127512. https://doi.org/10.1016/j.eja.2025.127512
この論文はオープンアクセスで、誰でも無料で読めます。ライセンスはCC BY-NC 4.0で、出典を示せば、営利を目的としない範囲で自由に使えます。このページの図の一部は、このライセンスにしたがって論文の図から作りました。