04 — Publicaciones / Explicación

Medir el área foliar del arroz con IA
y un dron con una cámara común

Comparamos cuatro formas de estimar el índice de área foliar (LAI)

Vista cenital del arrozal de ensayo tomada con dron, con parcelas de arroz separadas por caminos de tierra
El arrozal de ensayo el 9 de julio de 2019, visto desde arriba en una imagen compuesta con fotos del dron.Adaptado de la figura 2 de Yamaguchi et al. (2021), CC BY 4.0

Cuánto extiende sus hojas un cultivo de arroz determina en gran parte qué proporción de la luz solar capta, y conocerlo ayuda a predecir la cosecha. Esto se expresa con el índice de área foliar (LAI), pero medirlo bien exige cortar las plantas y medir sus hojas. Nosotros tomamos imágenes con una cámara común en color montada en un dron y las analizamos con aprendizaje profundo, un tipo de inteligencia artificial (IA). Las estimaciones fueron casi tan precisas como las de una cámara especial y costosa, y más precisas que las de un instrumento de campo muy utilizado.

Puntos clave

  1. Entrenamos un modelo de aprendizaje profundo directamente con imágenes en color (RGB) tomadas por un dron para estimar el índice de área foliar (LAI) del arroz.
  2. Su precisión fue casi igual a la de un método con una cámara costosa que capta el infrarrojo cercano. Superó a los métodos basados en índices de color y a un instrumento de campo.
  3. Los datos proceden de un solo arrozal en Fuchu (Tokio) y de tres variedades cultivadas en 2019. Aún falta comprobar si el método funciona en otras condiciones.
Dr. Hoo, ¿de verdad una cámara común puede medir el área de las hojas?
Sí, y casi con la misma precisión que una cámara costosa. Veamos paso a paso cómo se comprobó.
01

Conocer el área de las hojas sin cortar las plantas

El índice de área foliar (LAI) indica cuántas veces mayor es la superficie de hojas verdes que la del suelo que hay debajo (figura 1). Solo se cuenta una cara de cada hoja. Un LAI de 3 significa que sobre 1 m² de suelo hay 3 m² de hojas.

La extensión de las hojas determina en gran parte qué proporción de la luz solar capta el arroz. Por eso el LAI es un dato clave para conocer el crecimiento del cultivo y predecir su rendimiento.

A la izquierda, arroz que crece sobre 1 m² de suelo. A la derecha, sus hojas cortadas y extendidas forman tres capas de 1 m² sobre el mismo suelo. El LAI es el área de hojas dividida entre el área de suelo, 3 en este ejemplo
Figura 1 La idea del índice de área foliar (LAI). Si se cortaran todas las hojas que hay sobre 1 m² de suelo y, extendidas, cubrieran 3 m², el LAI sería 3. En este estudio, el LAI del arroz varió entre 0,135 y 6,71.
¿Cómo se mide normalmente el área de las hojas?
La forma más fiable es cortar el arroz y medir sus hojas. Pero exige mucho trabajo y tiempo, así que desde hace años se buscan formas de medir sin cortar.

La forma más fiable de medir el LAI es cortar las plantas y medir sus hojas con una máquina. Pero esto exige mucho trabajo y tiempo. Además, solo se puede cortar una pequeña parte de cada parcela, así que cuesta obtener un valor que represente la parcela entera.

Por eso se han ideado formas de medir sin cortar. Una de las más comunes es el analizador de dosel (PCA, por sus siglas en inglés), un instrumento que mide la luz por encima del dosel y en la base de las plantas. Con las dos lecturas calcula cuánta luz ha interceptado el dosel y, a partir de ahí, estima el LAI.

Otra opción es estimar el LAI a partir de imágenes tomadas con una cámara. Pero las cámaras de mano o fijas solo captan una pequeña parte del campo. Un dron, en cambio, cubre una zona amplia y observa con más detalle y más a menudo que un satélite.

Los drones suelen llevar dos tipos de cámaras. La cámara RGB registra la luz roja, verde y azul, igual que una cámara digital común. La cámara multiespectral mide además luz que el ojo no ve, como el infrarrojo cercano. Se sabe que el infrarrojo cercano permite estimar el LAI con más precisión, pero las cámaras multiespectrales suelen ser más caras.

Aquí entra en juego el aprendizaje profundo, un tipo de IA. Apila muchas capas de cálculo inspiradas en los circuitos nerviosos del cerebro y encuentra por sí mismo las pistas útiles en las imágenes. Los métodos anteriores de aprendizaje automático solo podían usar números sencillos extraídos de las imágenes. El aprendizaje profundo puede aprender de las imágenes mismas.

¿Con qué precisión puede el aprendizaje profundo estimar el LAI del arroz a partir de imágenes de una cámara RGB económica? Como esto no se había estudiado lo suficiente, medimos esa precisión junto a la de otros métodos.

02

Seguimos tres variedades de arroz desde el aire y en el campo

¿Cómo se compararon los cuatro métodos?
Al día siguiente de cada vuelo, se cortaron 8 matas para medir el LAI de referencia. Luego se vio qué método se acercaba más a ese valor.

El arrozal y las plantas

Hicimos el experimento en 2019 en un arrozal del Field Museum Honmachi de la Universidad de Agricultura y Tecnología de Tokio, en Fuchu (Tokio). Cultivamos tres variedades, Akitakomachi y Koshihikari (ambas de tipo japónica) y Takanari (de tipo índica). Cada variedad se cultivó con y sin fertilizante nitrogenado, y cada combinación tuvo tres parcelas. Trasplantamos las plántulas el 22 de mayo, en pequeños grupos de tres plantas que aquí llamamos matas.

Vuelos del dron y mediciones de referencia

El dron, un DJI Inspire 2, llevaba una cámara RGB y una cámara multiespectral. Voló sobre el arroz a 30 m de altura y a 3 m por segundo. Sus fotos se solapaban un 80 % hacia delante y hacia los lados. Con esas fotos compusimos una sola imagen del campo entero vista desde arriba. Cada píxel cubría 9 mm de suelo con la cámara RGB y 12 mm con la multiespectral.

Al día siguiente de cada vuelo, tomamos lecturas con el PCA por encima del dosel y en 10 puntos bajo 8 matas (60 × 60 cm) de cada parcela. Después cortamos esas 8 matas y medimos el área de sus hojas con un medidor automático. Al dividir esa área entre la superficie de suelo que ocupaban las 8 matas (0,36 m²), obtuvimos el LAI de referencia. Repetimos este trabajo cada dos semanas, desde el trasplante hasta la salida de las espigas (figura 2).

Los tres pasos de cada muestreo. Un dron fotografía el campo desde 30 m, al día siguiente un PCA mide la luz en la base de las plantas, y se cortan 8 matas para medir el área de sus hojas. El LAI de referencia es el área de hojas dividida entre 0,36 m²
Figura 2 Lo que hicimos en cada ronda de muestreo. Tras las lecturas del PCA, cortamos las mismas 8 matas. El LAI medido en esas plantas cortadas sirvió de referencia para todos los métodos.

Los cuatro métodos

Comparamos cuánto se acercaban cuatro métodos al LAI de referencia (figura 3).

  1. Analizador de dosel (PCA). El instrumento compara la luz por encima del dosel con la de la base de las plantas, calcula cuánta luz ha interceptado el dosel y, a partir de ahí, obtiene el LAI.
  2. Cámara RGB e índices de color. Un índice de color es un número que se calcula con el brillo del rojo, el verde y el azul de la imagen. Probamos nueve y ajustamos para cada uno una fórmula que lo convierte en LAI.
  3. Cámara multiespectral e índices de vegetación. Un índice de vegetación se calcula a partir de cuánto se reflejan el infrarrojo cercano y otros tipos de luz. Probamos doce y ajustamos fórmulas del mismo modo.
  4. Cámara RGB y aprendizaje profundo. Entrenamos la IA directamente con pequeñas imágenes de las 8 matas, de 100 × 100 píxeles cada una.

A modo de comparación, probamos también otros cuatro métodos de aprendizaje automático, como el bosque aleatorio (RF, por sus siglas en inglés). Les dimos los mismos datos que al modelo de aprendizaje profundo.

Los cuatro métodos comparados. El 1 es el analizador de dosel (PCA), el 2 una cámara RGB con un índice de color, el 3 una cámara multiespectral con un índice de vegetación y el 4 una cámara RGB con aprendizaje profundo
Figura 3 Los cuatro métodos comparados. Los métodos 2 y 3 resumen primero cada imagen en un solo índice y luego lo convierten en LAI con una fórmula. El método 4, el aprendizaje profundo, usa la imagen entera.

Cómo entrenamos la IA

La IA aprendió con imágenes de las 8 matas de cada parcela (figura 4). Abarcan muchas etapas del cultivo, desde las plántulas pequeñas de junio hasta el follaje denso de finales de julio.

Imágenes de las mismas 8 matas el 11 de junio, el 26 de junio, el 9 de julio y el 24 de julio, con un follaje cada vez más denso
Figura 4 Ejemplos de las imágenes con las que aprendió la IA (Koshihikari con fertilizante nitrogenado). Las cuatro muestran las mismas 8 matas, y el follaje es cada vez más denso.Adaptado de la figura 4 de Yamaguchi et al. (2021), CC BY 4.0

De las tres parcelas de cada combinación, usamos dos (48 muestras) para entrenar y reservamos la tercera (24 muestras) para comprobar. Así evaluamos la IA con datos que nunca había visto.

Multiplicamos por doce las imágenes de entrenamiento, hasta 576, volteándolas de izquierda a derecha y de arriba abajo y cambiando su brillo a 0,7 y 1,4 veces el original (figura 5). Para la IA adaptamos a nuestros datos ResNeXt, un diseño de red neuronal con buenos resultados en el reconocimiento de imágenes.

Una imagen convertida en doce mediante cuatro orientaciones y tres niveles de brillo, con lo que las imágenes de entrenamiento pasan de 48 a 576
Figura 5 Cómo multiplicamos las imágenes de entrenamiento. Cuatro orientaciones por tres niveles de brillo convierten cada imagen en doce.Adaptado de la figura 5 de Yamaguchi et al. (2021), CC BY 4.0
03

Una cámara común casi igualó a una costosa

¿Y cuál fue el resultado?
La cámara común con IA fue casi tan precisa como la cámara costosa. Sus errores fueron 0,334 y 0,332. Casi no hay diferencia.

El LAI de referencia aumentó a medida que crecía el arroz y varió mucho, entre 0,135 y 6,71.

Cómo medimos la precisión

Usamos dos medidas. El RMSE (raíz del error cuadrático medio) indica el tamaño típico de la diferencia entre el valor estimado y el real, así que cuanto más cerca de 0, mejor. El coeficiente de determinación (R²) muestra cuánto se ajustan las estimaciones a los valores reales, así que cuanto más cerca de 1, mejor.

Resultados de los cuatro métodos

Entre los índices de vegetación de la cámara multiespectral, el mejor fue SR, el cociente entre el infrarrojo cercano y el rojo. Su fórmula alcanzó un R² de 0,976 y un RMSE de 0,332. En conjunto, los índices de vegetación fueron más precisos que los de color. Probablemente se debe a que la reflexión del infrarrojo cercano responde más al aumento del área foliar que la de la luz visible.

Entre los índices de color de la cámara RGB, el mejor fue VEG, con un R² de 0,947 y un RMSE de 0,401. Entre los otros métodos de aprendizaje automático, el RF obtuvo el mejor resultado al recibir a la vez los índices de color y las imágenes, con un R² de 0,957 y un RMSE de 0,342.

El aprendizaje profundo entrenado con las imágenes RGB alcanzó un R² de 0,963 y un RMSE de 0,334. Su error fue casi el mismo que el de SR (0,332), el mejor índice de vegetación. Con ayuda del aprendizaje profundo, una cámara común casi igualó la precisión de una costosa.

El analizador de dosel (PCA) tuvo un R² de 0,934 y un RMSE de 0,555, el mayor error de los cinco métodos de la figura 6. Además, tendió a dar valores un 12 % más bajos que el LAI real.

Gráfico de barras horizontales con el RMSE de cinco métodos. Índice de vegetación SR 0,332, aprendizaje profundo 0,334, bosque aleatorio 0,342, índice de color VEG 0,401 y analizador de dosel PCA 0,555. Los valores de R² son 0,976, 0,963, 0,957, 0,947 y 0,934
Figura 6 Error de estimación (RMSE) de cinco métodos. Para los índices y para los otros métodos de aprendizaje automático solo se muestra el mejor resultado. El error del aprendizaje profundo (en dorado) fue casi igual al de SR, que requiere una cámara costosa.Elaborado con los valores publicados en Yamaguchi et al. (2021)

Mostrar a la IA la imagen misma fue clave

¿Por qué funcionan mejor las imágenes enteras que los índices de color?
Un índice resume la imagen en un solo número. Con la imagen entera, la IA también puede fijarse en la forma de las plantas y las hojas. Parece que esa fue la diferencia.

También cambiamos lo que recibía el modelo de aprendizaje profundo (figura 7). Con solo los nueve índices de color, alcanzó un R² de 0,946 y un RMSE de 0,434, y tendió a subestimar el LAI. Ni siquiera igualó a la fórmula sencilla de VEG (RMSE 0,401). Con las imágenes, el RMSE bajó a 0,334. Añadir los índices a las imágenes solo lo redujo un poco, hasta 0,322.

Los métodos basados en índices de color resumen primero cada imagen en un solo número. El aprendizaje profundo mira la imagen entera de 100 × 100 píxeles y descubre por sí mismo qué rasgos importan. Una imagen contiene mucha más información que un índice. Creemos que la capacidad del modelo para captar con detalle la forma de las plantas y las hojas explica su alta precisión.

En cambio, los otros métodos de aprendizaje automático fueron menos precisos con solo las imágenes que con los índices de color. En el RF, por ejemplo, el R² bajó de 0,939 a 0,851.

Gráfico de barras con el RMSE del aprendizaje profundo según lo que recibió. Solo índices de color 0,434, solo la imagen 0,334, ambos 0,322. Una línea roja discontinua marca 0,401 para la fórmula de VEG
Figura 7 Error de estimación (RMSE) del aprendizaje profundo según lo que recibió. La línea roja discontinua marca el error de la fórmula del índice de color VEG. Dar a la IA las imágenes redujo el error.Elaborado con los valores publicados en Yamaguchi et al. (2021)

Por qué se quedó atrás el analizador de dosel

Una razón del mayor error del PCA es que su sensor también veía plantas de arroz fuera de las 8 matas que cortamos, aun con una tapa que estrecha su campo de visión.

Los valores bajos se deben a que el PCA supone que las hojas están repartidas al azar en el espacio. En el arroz real, las hojas se superponen y los tallos crecen juntos, y consideramos que este agrupamiento fue la causa principal. Estudios anteriores también han observado que el PCA subestima el LAI del arroz.

Aun así, el PCA mide rápido y sin cortar, y sigue siendo una herramienta útil, siempre que se compruebe cómo se corresponden sus lecturas con los valores de plantas cortadas.

Resumen gráfico de la estimación del índice de área foliar (LAI) con aprendizaje profundo e imágenes RGB de dron, comparada con otros métodos
Figura 8 El estudio en una sola imagen, con textos en inglés. Multiplicamos las imágenes del dron, entrenamos con ellas un modelo de aprendizaje profundo y comparamos la precisión de cinco métodos.Resumen gráfico de Yamaguchi et al. (2021), CC BY 4.0
04

Hacia el seguimiento de las hojas del arroz con un dron común

¿Qué permitirá hacer esto?
Un dron económico podría vigilar el crecimiento de las hojas en campos amplios. Serviría para encontrar diferencias de crecimiento o para comparar muchas variedades candidatas.

Qué significa este resultado

Un dron con cámara RGB, combinado con aprendizaje profundo, puede estimar con precisión el LAI del arroz. Podría sustituir a los métodos que usan el PCA o una cámara multiespectral. Los drones con cámara RGB suelen ser económicos.

Si los drones permiten medir el LAI en zonas amplias, podrían ayudar a detectar diferencias de crecimiento dentro de un campo o a comparar muchas líneas de mejora (candidatas a nuevas variedades).

Lo que aún no sabemos

¿Funcionará en cualquier arrozal?
Todavía no se sabe. El modelo se construyó con datos de un solo arrozal y un solo año. El siguiente paso es probarlo en otras regiones y con otras variedades.

Construimos el modelo con datos de un solo arrozal, un solo año y tres variedades. Además, solo abarca el periodo entre el trasplante y la salida de las espigas. Aún no hemos comprobado si mantiene la misma precisión en otras regiones, con otras variedades o con otras formas de cultivo.

También usamos imágenes muy detalladas, en las que cada píxel cubría 9 mm. Queda por estudiar cuánto puede reducirse esa resolución sin perder precisión.

Próximos pasos

El aprendizaje profundo podría adaptarse a más condiciones a medida que aprenda de más datos. Queremos reunir datos de distintas condiciones de cultivo y de toma de imágenes para construir un modelo que sirva en más lugares. Formas más variadas de multiplicar las imágenes, o añadir imágenes multiespectrales, también podrían mejorar la precisión. Junto con drones de ala fija o satélites de alta resolución, el método podría llegar a zonas aún más extensas.

Entonces, una cámara común, junto con la IA, puede mostrar cuánto se extienden las hojas.
Muy bien resumido. Por hoy, lo dejamos aquí.

Glosario

Mata
Grupo de plantas de arroz que crece a partir de las plántulas trasplantadas juntas en un mismo punto.
Índice de área foliar (LAI)
Cuántas veces mayor es la superficie de hojas verdes (una sola cara) que la del suelo que hay debajo. Determina en gran parte qué proporción de la luz solar capta un cultivo.
Analizador de dosel (PCA)
Instrumento que mide la luz por encima del dosel y en la base de las plantas, y estima el LAI a partir de cuánta luz ha interceptado el dosel. Usamos el LAI-2200 (LI-COR).
Cámara RGB
Cámara digital común que registra la luz roja (R), verde (G) y azul (B).
Cámara multiespectral
Cámara que separa la luz por longitudes de onda y mide cuánto se refleja cada una. La nuestra medía el azul, el verde, el rojo, el borde rojo (entre el rojo y el infrarrojo cercano) y el infrarrojo cercano.
Infrarrojo cercano
Luz de longitud de onda algo mayor que la del rojo, invisible para el ojo humano.
Índice de color e índice de vegetación
Número que resume el estado de las plantas a partir de los colores de la imagen o de la luz reflejada. Aquí, los índices de color provienen de la cámara RGB, y los de vegetación usan también el infrarrojo cercano.
Aprendizaje profundo
Tipo de aprendizaje automático que apila muchas capas de cálculo inspiradas en los circuitos nerviosos del cerebro. Encuentra por sí mismo los rasgos útiles de las imágenes.
Coeficiente de determinación (R²)
Número que indica cuánto se ajustan las estimaciones a los valores reales. Cuanto más cerca de 1, mejor es el ajuste.
RMSE (raíz del error cuadrático medio)
Medida del tamaño típico de la diferencia entre las estimaciones y los valores reales. Usa la misma unidad que el LAI, y cuanto más cerca de 0, mejor.

Sobre el artículo

Tomoaki Yamaguchi, Yukie Tanaka, Yuto Imachi, Megumi Yamashita & Keisuke Katsura (2021). Feasibility of Combining Deep Learning and RGB Images Obtained by Unmanned Aerial Vehicle for Leaf Area Index Estimation in Rice. Remote Sensing, 13(1), 84. https://doi.org/10.3390/rs13010084

Este artículo es de acceso abierto y cualquier persona puede leerlo gratis. Se publica con la licencia Creative Commons Atribución 4.0 Internacional (CC BY 4.0), y algunas figuras de esta página se basan en las suyas.