02 — Métodos / Tutorial

Reconstruir y conservar la forma 3D de una planta
a partir de un vídeo del móvil

Cualquiera puede hacerlo, sin equipos especiales

Tomoaki Yamaguchi y Kota Nakajima

Grabación de una planta de arroz con un móvil, dentro de una carpa

Este artículo explica cómo reconstruir la forma tridimensional de una planta a partir de un vídeo grabado con el móvil, a su escala real, y conservarla como datos. También explica cómo obtener la altura de la planta, su superficie y su volumen a partir de ese modelo 3D.

Creo que guardar la forma de una planta en tres dimensiones tiene un valor que no ofrecen los números por sí solos. Medir es resumir la forma de una planta en unas pocas cifras. Dicho de otro modo, es reducir la información. Si guarda los datos en 3D, no se pierde nada de la información original. Puede medir otros rasgos más adelante y volver a observar la planta tal como estaba aquel día.

Solo necesita un móvil, LumaAI (un servicio en la nube que reconstruye formas 3D a partir de vídeo) y Meshmixer (un programa gratuito para trabajar con datos 3D). Por si Meshmixer no funciona en su ordenador, en otra página se explica cómo hacer las mismas mediciones con MeshLab, otro programa gratuito.

Dr. Hoo, ¿de verdad un vídeo del móvil puede convertir una planta en 3D?
Sí. Basta con dar dos vueltas alrededor de la planta mientras se graba, y se obtiene un modelo 3D que conserva el tamaño real. A partir de él se pueden medir la altura, la superficie y el volumen.

Lo que necesita (todo el software es gratuito)

  • Un móvil Sirve para grabar dos vueltas lentas alrededor de la planta.
  • Una cuenta de LumaAI LumaAI crea el modelo 3D a partir del vídeo de forma automática. Puede registrarse en lumalabs.ai/dashboard/captures.
  • Meshmixer Sirve para editar y medir el modelo. Es un programa 3D gratuito de Autodesk y tiene versiones para Windows y para Mac (más abajo se indica dónde conseguirlas).

Dónde conseguir Meshmixer. Autodesk ha dejado de distribuirlo y de desarrollarlo, y la antigua web oficial (meshmixer.com) ahora redirige a otro sitio. La fuente más fiable hoy es la copia de la última versión, la 3.5.474, que guarda Internet Archive. Los dos archivos son los instaladores que ofrecía la propia Autodesk, conservados tal cual.

Windows (.exe, unos 101 MB)
Mac (.pkg, unos 94 MB)

Una web mantenida por la comunidad, meshmixer.org, también explica la instalación. Tenga en cuenta que no es una web de Autodesk.

Si no consigue Meshmixer o no logra instalarlo, puede seguir los pasos con MeshLab.

Instalación en Mac

Haga doble clic en el .pkg descargado y siga las instrucciones. Al abrir Meshmixer por primera vez suelen aparecer dos obstáculos.

«macOS no puede verificar el desarrollador». Abra System Settings → Privacy & Security, baje hasta el apartado de Meshmixer y pulse Open Anyway. También puede mantener pulsada la tecla control, hacer clic en el icono de Meshmixer y elegir Open.

«¿Desea instalar Rosetta?». Meshmixer se creó para los Mac con procesador Intel, así que los equipos con Apple Silicon (serie M) necesitan Rosetta 2 para traducirlo. Pulse Install y macOS hará el resto.

01

Recoger la planta y trasplantarla a una maceta

Todo el proceso se hace con la planta creciendo en una maceta, así que el primer paso es simplemente prepararla.

Al recoger la planta, sáquela con cuidado para no dañarla. Si la levanta junto con las raíces y la tierra que las rodea, el efecto sobre su crecimiento posterior será mínimo.

Recogida de la planta sin dañarla
Levante la planta con cuidado, con su tierra, para proteger las raíces.

Trasplante la planta a una maceta. La maceta será su referencia para grabar y medir, así que plántela de modo que quede derecha.

Trasplante de la planta recogida a una maceta
Trasplántela a una maceta de modo que quede derecha.

* Ilustraciones del arroz realizadas por el profesor Keisuke Katsura (Universidad de Kioto)

El diámetro de la maceta, o la longitud de uno de sus lados, puede servir después como referencia de la escala real. Si elige una maceta de tamaño conocido, los pasos siguientes serán más sencillos.

02

Grabar un vídeo de 360° con el móvil

¿Hay algo que tener en cuenta al grabar?
Hay que caminar despacio y a ritmo constante. El truco es grabar las dos vueltas en un solo vídeo, sin cortes.

Dé dos vueltas alrededor de la planta mientras graba con el móvil y cree el modelo 3D a partir de ese único vídeo. La calidad del modelo depende mucho de cómo grabe. Como en el vídeo de abajo, rodee la planta despacio y a un ritmo constante.

Mantenga en el encuadre toda la planta y la maceta, y dé dos vueltas lentas.
La misma grabación vista desde fuera. Mantenga la distancia y camine despacio alrededor de la planta.

Al grabar, tenga en cuenta estos puntos.

  • Grabe en un lugar luminoso y sin viento. Conviene hacerlo en interiores o bajo una carpa de lona. Elija un sitio con luz suficiente, donde la luz no cambie y no haya viento. Si las hojas se mueven o cambia la iluminación, la forma no queda bien definida y el modelo sale defectuoso.
  • Mantenga toda la planta y la maceta en el encuadre. Si se acerca demasiado, al programa le cuesta seguir el giro. Si se aleja demasiado, baja la resolución. Colóquese a una distancia en la que todo quepa en la pantalla.
  • Incluya algo de tamaño conocido. Si en la imagen aparece algo de medidas conocidas, como el diámetro de la maceta, una caja cúbica o una regla, después podrá fijar bien la escala real.
  • Busque a propósito un fondo con muchos objetos. Un fondo con objetos de formas y colores variados ayuda al programa a saber cuánto ha girado usted. Evite los fondos lisos y vacíos.
  • Grabe con la mayor resolución y frecuencia de imagen posibles. Cuanto más altas sean la resolución y los FPS (fotogramas por segundo), más suave y detallado saldrá el modelo.
  • Sujete el móvil con firmeza y gire despacio. Sostenga el móvil con las dos manos y avance a un ritmo uniforme. Los movimientos bruscos producen imágenes borrosas.
  • Dé dos vueltas a alturas distintas. Haga la primera vuelta mirando la planta desde arriba en diagonal y pase sin parar a la segunda, con el móvil más o menos a la altura de la planta. Al grabar desde ángulos distintos se capta toda la planta, y un movimiento suave y continuo facilita seguir el giro.

Grabe las dos vueltas en un solo vídeo, sin cortes entre ellas. Cuando lo tenga, súbalo a LumaAI en el paso siguiente.

03

Crear un modelo 3D a partir del vídeo con LumaAI

¿Es verdad que el modelo puede quedarse sin colores?
Sí. Si el nombre de la carpeta o su ruta tienen acentos, eñes u otros caracteres no ASCII, el modelo se abre sin colores. Tampoco hay que cambiar la estructura de archivos dentro de la carpeta.

Suba el vídeo a LumaAI Capture y el servicio reconstruirá automáticamente un modelo 3D completo a partir de las imágenes.

Cómo usar LumaAI Capture

Abra lumalabs.ai/dashboard/captures y suba el vídeo desde «Create». No hay límite de usos y puede procesar hasta tres vídeos a la vez. La primera vez tendrá que iniciar sesión con su dirección de correo electrónico.

También puede usar la aplicación para iPhone

Existe una aplicación para iPhone llamada Luma 3D Capture. Con ella puede subir un vídeo que ya haya grabado, o crear el modelo 3D mientras graba con la cámara de la aplicación. Así no tiene que pasar archivos al ordenador, lo que resulta práctico si quiere grabar y revisar en el mismo aparato. Los modelos se guardan en la misma cuenta que la versión web, de modo que puede seguir trabajando en el ordenador. La aplicación solo está disponible para iPhone, no para iPad.

El vídeo de abajo muestra el resultado. De su grabación surge directamente un modelo completo, visible desde todos los lados.

El modelo 3D reconstruido a partir del vídeo, completo por todos los lados.
Qué ocurre dentro de LumaAI

En su página oficial del plugin y en su biblioteca oficial de renderizado web en GitHub, LumaAI indica que usa dos representaciones basadas en IA, NeRF (Neural Radiance Fields) y 3D Gaussian Splatting. NeRF entrena una red neuronal para que aprenda el color y la densidad de cada punto del espacio. 3D Gaussian Splatting representa la escena con un sinfín de pequeños elipsoides difuminados. Como es ligero de renderizar, hoy se ha convertido en el método principal. Los artículos originales de ambos métodos, NeRF (Mildenhall et al., 2020) y 3D Gaussian Splatting (Kerbl et al., 2023), se pueden consultar libremente.

Los detalles del proceso no son públicos. Pero estos métodos necesitan saber desde dónde se tomó cada fotograma, así que es probable que antes se calcule la posición de la cámara (algo parecido al SfM, Structure from Motion, de la fotogrametría). El archivo OBJ que se descarga sale de un paso que la antigua API oficial llamaba «meshing». En ese paso se extrae la superficie de estas representaciones y se convierte en una malla de polígonos. El algoritmo concreto no se ha publicado. Precisamente porque los datos se convierten en una malla, Meshmixer puede medir el volumen y la superficie.

Cuando el modelo esté listo, compruebe en el visor que la planta está bien separada del fondo. Gire la vista y asegúrese de que no se ha colado nada que sobre.

Revisión del modelo 3D reconstruido en el visor de LumaAI(ver la imagen ampliada)
Revise el modelo reconstruido en el visor.
Giro de la vista para comprobar la separación del fondo(ver la imagen ampliada)
Gire la vista para ver si la planta está bien separada.

La reconstrucción no siempre sale bien. Puede que el fondo no se separe del todo o que la planta salga rota. En ese caso, a veces funciona recortar el vídeo para dejar solo una de las dos vueltas y subirlo de nuevo. Si aun así falla, vuelva a grabar el vídeo.

Si todavía queda parte del fondo, use la caja delimitadora (bounding box) para conservar solo la zona que necesita.

Recorte con la caja delimitadora para conservar solo la zona de la planta(ver la imagen ampliada)
Ajuste la caja para que solo quede la planta.

Cuando esté conforme, descargue el modelo. Como formato de exportación, elija OBJ y seleccione high poly para conservar la forma con el mayor detalle posible. Eso sí, los archivos high poly son grandes y, en algunos ordenadores, los pasos siguientes pueden ir lentos. Si le ocurre, pruebe también medium poly o low poly y busque un equilibrio entre detalle y fluidez.

Descarga del modelo desde Your Captures(ver la imagen ampliada)
Descargue el modelo desde «Your Captures».
Elección de OBJ high poly como formato de exportación(ver la imagen ampliada)
Exporte en OBJ (high poly).

La descarga llega como un archivo ZIP. En Windows, haga clic derecho en el archivo y elija «Extract All». En Mac, haga doble clic y se descomprimirá solo. Compruebe que el nombre de la carpeta descomprimida y su ruta no contienen acentos, eñes ni otros caracteres no ASCII. Si los contienen, el modelo se abrirá en Meshmixer sin colores. Una opción segura es una carpeta con nombre ASCII y poco anidada, como C:\lumaai en Windows o ~/Documents/lumaai en Mac.

Qué hay dentro de la carpeta descomprimida

(carpeta descomprimida)/
├── mesh.obj   … el modelo 3D en sí (su forma)
├── mesh.mtl   … indicaciones para aplicar las imágenes
└── textures/ … imágenes de los colores de la superficie

mesh.obj contiene la forma de la planta. La carpeta textures contiene imágenes con los colores y dibujos de su superficie. mesh.mtl indica al programa cómo envolver mesh.obj con esas imágenes. Al abrir mesh.obj en Meshmixer, el programa sigue mesh.mtl para cargar las imágenes y muestra el modelo en color.

Conserve esta estructura de carpetas tal como está. mesh.mtl localiza cada imagen según su posición dentro de la carpeta textures. Si cambia el nombre de los archivos o de la carpeta, o mueve la carpeta textures a otro sitio, ya no se encuentran las imágenes y el modelo pierde el color. Si necesita moverlos, mueva la carpeta descomprimida completa.

Ver el modelo sin instalar nada

Si antes solo quiere echar un vistazo al modelo, pruebe Online 3D Viewer, un visor gratuito que funciona en el navegador. Arrastre el archivo ZIP a la página sin descomprimirlo y el modelo aparecerá en color. También puede soltar la carpeta descomprimida entera.

Los archivos que abre no se suben a ningún servidor. Todo ocurre dentro de su propio navegador, como indica el manual oficial. No necesita cuenta, y el código fuente es público, así que cualquiera puede comprobar cómo funciona. La web también es útil para compartir datos 3D con otras personas, porque pueden verlos sin instalar ningún programa.

Si Meshmixer le da problemas

Ya tiene un modelo 3D de su planta. A partir de aquí, lo preparará y lo medirá en Meshmixer.

Meshmixer ya no se distribuye ni se desarrolla, así que en algunos ordenadores puede no instalarse, no arrancar o cerrarse a mitad de trabajo. Si le ocurre, siga los mismos pasos con MeshLab. MeshLab es un programa gratuito que sigue en desarrollo y funciona en Windows, Mac y Linux.

04

Importar el OBJ en Meshmixer y orientarlo

Abra Meshmixer, haga clic en «Import» y seleccione mesh.obj dentro de la carpeta descomprimida.

Importación del archivo en la pantalla de inicio de Meshmixer(ver la imagen ampliada)
Haga clic en «Import» en la pantalla de inicio y elija mesh.obj.

Justo después de importarlo, el modelo suele aparecer inclinado o sobre un suelo torcido. Abra «Edit → Transform» y aparecerán unos controles sobre el modelo. Arrastre las flechas para moverlo y los arcos para girarlo, hasta que la planta quede derecha.

También puede ajustar la posición y el giro con «Edit → Align». Elija una superficie o un punto como referencia y todo el modelo se alineará con ella. Si quiere apoyar la base plana sobre el suelo, esto suele ser más rápido que girar el modelo a mano con Transform.

Mover la vista

Con ratón, Windows y Mac funcionan igual. Arrastre con el botón derecho para girar la vista y arrastre pulsando la rueda para desplazarla.

En un portátil sin ratón, mantenga pulsada una tecla mientras arrastra. Esa tecla es Alt en Windows y option (⌥) en Mac. Manténgala pulsada y arrastre con el botón izquierdo para girar la vista. Para desplazarla, pulse además Shift (Alt + Shift, u option + shift). En ambos sistemas, deslizar dos dedos acerca y aleja la vista.

Arrastrar con el botón derecho pulsado también gira la vista. En el trackpad de un Mac, el clic derecho es un clic con dos dedos o un clic manteniendo pulsada la tecla control.

Estas acciones mueven su punto de vista, no el modelo, así que úselas junto con Transform.

Ajuste de la orientación del modelo importado(ver la imagen ampliada)
Ajuste la orientación del modelo.
Colocación del modelo para que la planta quede derecha(ver la imagen ampliada)
Colóquelo de modo que la planta quede derecha.
05

Fijar la escala (el tamaño real)

¿Por qué es tan importante fijar la escala?
Un modelo 3D no tiene, por sí solo, ninguna referencia de tamaño. De este paso depende la precisión del volumen y de la superficie. Conviene grabar algo de longitud conocida, como la maceta.

Por sí solo, un modelo 3D no tiene ninguna referencia de tamaño. Abra «Analysis → Units/Dimensions» y elija la unidad (por ejemplo, cm). Después, arrastre con el botón izquierdo sobre una parte de longitud conocida para trazar una línea de referencia e introduzca su tamaño real en el campo «Set Target Length». Todo el modelo se ajustará a esa escala.

Cambio de la unidad de mm a cm(ver la imagen ampliada)
Primero, cambie la unidad de mm a cm.
Trazado de una línea de referencia sobre una parte de longitud conocida(ver la imagen ampliada)
Trace una línea de referencia sobre una parte de longitud conocida.
Introducción de la longitud real de la línea de referencia(ver la imagen ampliada)
Introduzca la longitud real de la línea para fijar la escala.

De este paso depende la precisión. La fiabilidad del volumen y la superficie se decide en esta calibración. Ayuda mucho colocar en la imagen, al grabar, algo de longitud bien conocida, como el diámetro de la maceta, una caja cúbica o una regla.

06

Aislar la planta

Quite las partes que no quiere medir, como la maceta y el suelo. Abra «Edit → Plane Cut» y gire y mueva el plano de corte hasta su sitio. Ponga «Cut Type» en «Cut (Discard Half)» y «Fill Type» en «Remeshed Fill», y pulse «Accept» para eliminar de una vez todo lo que queda por debajo del plano.

Con «Remeshed Fill» seleccionado, la sección del corte se cierra automáticamente con una superficie nueva. Si la sección quedara abierta, el volumen saldría mal, así que después de cortar mire la base del modelo y compruebe que está cerrada, sin agujeros.

Eliminación de la maceta con un corte por plano(ver la imagen ampliada)
Use un corte por plano para quedarse solo con la planta.
07

Reparar el modelo 3D

¿Cómo se arreglan los agujeros y los fragmentos sueltos?
Al abrir el Inspector, los puntos con problemas quedan marcados. Con «Auto Repair All» se arreglan todos a la vez. Cuando desaparecen todas las marcas, ya está.

Un modelo creado a partir de un vídeo puede tener pequeños agujeros o fragmentos sueltos flotando. Abra «Analysis → Inspector» y aparecerán marcas en los puntos con problemas. El azul indica un agujero, el rosa un fragmento diminuto y el rojo una forma no válida. Ponga «Hole Fill Mode» en «Flat Fill», ajuste con «Small Thresh» el tamaño del ruido que quiere eliminar y pulse «Auto Repair All» para arreglarlo todo de una vez. Cuando desaparezcan todas las marcas, el modelo estará listo para medir.

Detección de agujeros y fragmentos sueltos en el modelo(ver la imagen ampliada)
Detecte los agujeros y los fragmentos sueltos.
Limpieza del modelo con la reparación automática(ver la imagen ampliada)
Repare automáticamente para obtener un modelo medible.
08

Guardar de nuevo el modelo limpio y a escala

Ahora que el modelo tiene la escala correcta y solo contiene la planta, guarde esta versión en un archivo aparte. Al exportar a OBJ desde Meshmixer, un solo guardado crea varios archivos a la vez.

Archivos que crea la exportación

(nombre).obj … el modelo en sí (su forma), con la escala, los cortes y las reparaciones
(nombre).mtl … indicaciones para aplicar las imágenes de textura al .obj
Imágenes de textura … imágenes de los colores de la superficie, repartidas en varios archivos

Como la exportación escribe varios archivos a la vez, cree usted primero una carpeta para ellos y guárdelos dentro. Así no se mezclan con otros archivos y siempre sabrá qué archivos van juntos. Dé a la carpeta un nombre con letras y números sin acentos, y colóquela en un sitio como C:\lumaai\rice01 en Windows o ~/Documents/lumaai/rice01 en Mac. Si el nombre de la carpeta o su ruta contienen acentos, eñes u otros caracteres no ASCII, el modelo se abrirá después sin colores.

Con la carpeta lista, abra «File → Export», elija el formato OBJ y guarde en esa carpeta con un nombre de letras y números. Además de la descarga original, ahora conserva los datos exactamente como se midieron.

Como se dijo al principio de esta página, conservar los datos 3D le permite medir nuevos rasgos más adelante o volver a observar la planta tal como era. Si añade la fecha de grabación y un identificador de la planta al nombre del archivo, le será más fácil encontrarlo después.

Guarde todos los archivos juntos en esa misma carpeta. Igual que con los archivos de LumaAI, el .mtl indica dónde están las imágenes, así que si mueve solo el .obj obtendrá un modelo sin color. Las zonas rellenadas durante la reparación no tienen color, pero eso no afecta a las mediciones.

09

Comprobar la altura de la planta

Antes de medir, compruebe la altura del modelo. Abra «Analysis → Units/Dimensions» para ver sus dimensiones (X, Y, Z) y fíjese en el valor vertical (Y). Si se parece al de la planta real, la escala se ha fijado bien. Si se aleja mucho de la realidad, conviene volver atrás y revisar.

Comprobación de la altura del modelo(ver la imagen ampliada)
Si la altura coincide con la real, la escala es correcta.

A veces, aunque haya borrado la maceta, la caja de dimensiones sigue abarcando la zona donde estaba, y el valor Y sale mayor que la altura real de la planta. En ese caso, arrastre con el botón izquierdo para trazar una línea recta sobre la propia planta, igual que al fijar la escala. El campo «Real length» muestra la longitud real de esa línea, así que puede leer la altura directamente.

10

Leer el volumen y la superficie

Lea las mediciones del modelo terminado. Abra «Analysis → Stability» y aparecerán los valores «Volume» y «Surface Area», es decir, el volumen y la superficie. Dedique un momento a comprobar que las cifras entran en un rango realista.

Lectura del volumen y la superficie(ver la imagen ampliada)
Compruebe el volumen y la superficie medidos.

Si un valor sale demasiado grande o demasiado pequeño, puede que se le haya pasado algo al fijar la escala o al reparar el modelo. Vuelva a esos pasos y revíselos.

11

Dividir la malla para medir cada parte

A veces interesa medir solo una parte, como un tallo o una hoja, en lugar de la planta entera. Abra «Select», ponga «Brush Mode» en «Unwrap Brush» y ajuste el tamaño del pincel en «Size». Pinte la parte que quiere medir haciendo clic con el botón izquierdo, y la zona seleccionada se volverá negra.

Selección de una parte pintándola con Unwrap Brush(ver la imagen ampliada)
Pinte con el pincel la parte que quiere medir (se vuelve negra).
Separación de la selección con Edit → Separate(ver la imagen ampliada)
Separe la selección con «Edit → Separate».

Después de separar, abra «View → Show Objects Browser» para elegir cada parte en la lista. Luego repare con Inspector y mida con Stability, parte por parte, igual que antes.

Medición del volumen y la superficie parte por parte(ver la imagen ampliada)
Mida el volumen y la superficie de cada parte.

Con solo un vídeo del móvil y programas gratuitos, puede capturar la forma de una planta como datos 3D. Como el método no daña la planta, puede medir la misma planta una y otra vez para seguir cómo cambia con el tiempo. Si graba con cuidado y fija bien la escala, es un método fácil para empezar.

Como no se destruye nada, se puede seguir la misma planta a lo largo del tiempo.
Exacto. Si se graba con cuidado y se fija bien la escala, cualquiera puede empezar.