02 — 解析手法 / チュートリアル
スマートフォンで撮影した動画から
植物体の3次元形態を復元し保存する
植物体の
特別な機材なしで、誰でも簡単にできる
山口 友亮・中嶌 洸太

このページでは、スマートフォンで撮った動画から、実際の大きさを保ったまま植物体を3次元で復元し、データとして保存する技術を解説します。さらに、復元した3次元データから草高・表面積・体積を測る方法も解説します。
植物体の形態を3次元のデータとして残すことには、数値の記録にはない意義があると考えています。計測とは、植物体の形態をいくつかの数字に要約することです。これは言い換えると、情報を減らすことであるともいえます。3次元データを保存しておけば、元々あった情報は減りません。あとから別の項目を測り直すことも、そのときの姿をもう一度観察することもできます。
使うのは、スマートフォン、動画から立体を復元するクラウドサービス「LumaAI」と、3Dデータを扱う無料ソフト「Meshmixer」の3つだけです。Meshmixer がうまく動かないときのために、無料ソフト「MeshLab」で同じ計測を進める手順も、別のページに用意しています。
用意するもの(ソフトはすべて無料)
- スマートフォン 植物のまわりをぐるりと2周、動画で撮影します。
- LumaAI アカウント 動画から3Dモデルを自動で作るサービスです。lumalabs.ai/dashboard/captures で登録します。
- Meshmixer Autodesk 製の無料3Dソフトで、読み込んだモデルの編集・計測に使います。Windows 版と Mac 版があります(入手先は下記)。
Meshmixer の入手について。Autodesk は配布と開発を終了しており、公式サイト(meshmixer.com)は別ページに転送されます。現在は、インターネットアーカイブに保存された最終版 3.5.474 を使うのが確実です。下の2つは、どちらも Autodesk が配布していたファイルがそのまま保存されたものです。
・Windows 版(.exe/約101 MB)
・Mac 版(.pkg/約94 MB)
インストール手順をまとめた有志のページ(meshmixer.org)もあります。Autodesk の公式サイトではない点にご留意ください。
入手やインストールがうまくいかないときは、MeshLab で進める手順もあります。
ダウンロードした .pkg をダブルクリックし、画面の指示に従います。初回の起動でつまずきやすい点が2つあります。
「開発元を確認できないため開けません」と出たとき。システム設定 →「プライバシーとセキュリティ」を開くと、下のほうに Meshmixer の項目が出ています。「このまま開く」を選んでください。Meshmixer のアイコンを control を押しながらクリック →「開く」でも進めます。
「Rosetta をインストールしますか」と聞かれたとき。Meshmixer は Intel 向けに作られているため、Apple Silicon(M シリーズ)の Mac では Rosetta 2 という変換のしくみが必要です。「インストール」を選べば、あとは自動で処理されます。
植物体を採取し、ポットに植え替える
3D計測は、対象の植物をポットに植えた状態で行います。まずは計測したい植物を用意するところから始めます。
植物を採取するときは、傷つけないように丁寧に掘り上げます。根やまわりの土ごとそっと取り出すと、その後の生育への影響を抑えられます。
採取した植物を、ポットに植え替えます。撮影と計測の基準になるので、まっすぐ立つように植えておきましょう。
※桂圭佑教授(京都大学)によるイネのイラストを使用
ポットの直径や側面の長さは、あとで実寸の基準(スケール)として使えます。サイズがわかっているポットを選んでおくと、あとの手順が楽になります。
スマートフォンで360度動画を撮影する
植物のまわりをスマートフォンでぐるりと2周撮影し、その1本の動画から3Dモデルを作ります。モデルの仕上がりは、この撮影のしかたで大きく変わります。次の動画のように、一定の速さでゆっくり回りながら撮影します。
うまく撮るためのポイントは、次のとおりです。
- 明るく、風のない環境で撮る。屋内や、タープテントの下などがおすすめです。十分な明るさがあり、その明るさが安定していて、風のない場所を選びます。葉が揺れたり、明るさが変わったりすると形が定まらず、モデルが崩れてしまいます。
- 植物とポット全体が入る距離から撮る。近すぎると回転を捉えにくく、遠すぎると解像度が落ちます。全体が画面に収まる距離を保ちます。
- スケールになるものを一緒に写す。ポットの直径や側面の長さのほか、立方体の箱など、寸法がわかるものを画面に入れておくと、あとで実寸を正しく設定できます。
- 背景はあえて雑多にする。まわりに形や色の違うものが散らばっているほうが、ソフトが「どれだけ回ったか」を認識しやすくなります。無地の背景は避けます。
- できるだけ高い解像度・フレームレートで撮る。解像度とフレームレート(FPS、1秒あたりのコマ数)が高いほど、なめらかで精細なモデルになります。
- 手ブレを抑え、ゆっくり回る。両手で構え、一定の速さで回ります。急な動きはブレの原因になります。
- 高さを変えて2周する。1周目は斜め上から見下ろすように、2周目はそのまま続けて真横あたりの高さから撮ります。角度を変えて撮ることで植物全体が写り、視点がなめらかにつながるので、回転も認識されやすくなります。
1周目と2周目は、1本の動画に切れ目なく続けて収めるのがコツです。撮影できたら、次のステップで LumaAI にアップロードします。
LumaAIで動画から3Dモデルを作る
撮影した動画を LumaAI Capture にアップロードすると、動画から3Dモデルが自動で復元されます。
lumalabs.ai/dashboard/captures を開き、「Create」から動画をアップロードするだけで使えます。使用回数の制限はなく、同時に3件まで処理できます。初めて使うときは、ご自身のメールアドレスでのサインインが必要です。
iPhone向けに Luma 3D Capture というアプリが公開されています。撮影済みの動画をアプリからそのままアップロードできるほか、アプリのカメラで撮りながら3Dモデルを作ることもできます。パソコンに動画を移す手間がないので、撮影から確認までを1台で済ませたいときに便利です。作ったモデルはWeb版と同じアカウントに保存されるため、続きの作業はパソコンで進められます。現在はiPhoneのみで、iPad版はありません。
アップロードした動画からは、次のように全周の立体が起き上がります。
LumaAIは、公式プラグインの配布ページや公式のWeb描画ライブラリ(GitHub)で、NeRF(Neural Radiance Fields)と3D Gaussian Splattingという、AIによる2つの表現方法を使っていることを明らかにしています。NeRF は、空間の色と密度をニューラルネットワークに学習させる方法です。3D Gaussian Splatting は、無数の小さな「ぼかした楕円体」の集まりでシーンを表す方法です。現在は、表示が軽いこちらが主流です。どちらの手法も、もとになった論文が公開されています:NeRF(Mildenhall et al., 2020)・3D Gaussian Splatting(Kerbl et al., 2023)
処理の詳細は公開されていません。ただ、これらの手法には「各フレームがどこから撮られたか」の情報が必要です。そのため、前の段階でカメラの位置を推定する処理(SfM:Structure from Motion に類する写真測量の処理)が動いていると考えられます。ダウンロードされる OBJ ファイルは、こうした表現から表面を取り出して、ポリゴンメッシュに変換したものです(具体的なアルゴリズムは非公開です)。この工程は、かつての公式APIで「メッシュ化(meshing)」と呼ばれていました。メッシュになっているからこそ、Meshmixer で体積や表面積を計測できます。
モデルができたら、ビューアで植物がきちんと背景から分かれているかを確認します。角度を変えながら、余計なものが入り込んでいないかを見ておきましょう。
(画像を大きく表示)
(画像を大きく表示)
背景の削除がうまくいかない、植物体の形が崩れているなど、復元に失敗することがあります。その場合は、2周分の動画のうち1周分だけを切り出してアップロードし直すと改善することがあります。それでも直らないときは、動画を撮影し直してみてください。
余分な背景が含まれている場合は、バウンディングボックス(囲みの枠)で必要な範囲だけを残すように切り取ります。
(画像を大きく表示)
仕上がりに問題がなければ、モデルをダウンロードします。書き出し形式は OBJ を選び、できるだけ形を保ちたいので high poly(高精細)を指定します。high poly はデータが大きく、パソコンによってはこのあとの処理が重くなることがあります。動作が重いと感じたら medium poly や low poly も試して、精細さと扱いやすさのバランスを取ってください。
(画像を大きく表示)
(画像を大きく表示)
ダウンロードされるのは ZIP形式の圧縮ファイルです。Windows は右クリック →「すべて展開」、Mac はファイルをダブルクリックすると解凍されます。このとき、解凍したフォルダの名前と、フォルダを置く場所のパスに日本語を含めないでください。日本語が含まれていると、Meshmixer で開いたモデルに色が付きません。フォルダ名は半角英数字にして、Windows なら C:\lumaai、Mac なら書類フォルダの中(~/Documents/lumaai)のような浅い場所に置くと確実です。
(解凍したフォルダ)/
├── mesh.obj … 3Dモデルの本体(形)
├── mesh.mtl … 画像を貼り付けるための指示書
└── textures/ … 表面の色を写した画像
mesh.obj には、植物体の形そのものが入っています。textures フォルダには、表面の色や模様を写した画像が入っています。mesh.mtl は、その画像を mesh.obj の表面に貼り付けるための指示書です。Meshmixer で mesh.obj を開くと、mesh.mtl の指示どおりに画像が読み込まれ、色の付いたモデルとして表示されます。
このフォルダの構造は、そのまま保ってください。mesh.mtl は、貼り付ける画像を「textures フォルダの中のどのファイルか」で指定しています。ファイルやフォルダの名前を変えたり、textures フォルダだけを別の場所へ動かしたりすると、画像が見つからず、色のないモデルになります。移動するときは、解凍したフォルダごとまとめて動かしましょう。
ダウンロードしたモデルをとりあえず見てみたいときは、ブラウザで使える無料の閲覧サイト「Online 3D Viewer」が便利です。ZIP ファイルを解凍せずに画面へドラッグ&ドロップするだけで、色の付いたモデルが表示されます。解凍したフォルダをまるごとドロップしても開けます。
読み込んだファイルはサーバーに送られず、処理はすべてお使いのブラウザの中で完結します。このことは公式マニュアルにも明記されています。会員登録は不要で、プログラムの設計図(ソースコード)も公開されているため、誰でも中身を確かめられます。3Dデータをほかの人に見てもらうときも、このサイトを一緒に伝えておけば、相手はソフトを入れずに確認できます。
ここまでで、植物体の3Dモデルが手元に届きました。ここから先は、Meshmixer でモデルを整えて計測します。
Meshmixer は配布と開発がすでに終了しているため、パソコンによってはインストールできない、起動しない、途中で止まるといったことが起こりえます。そのようなときは、MeshLab で同じ計測を進める手順を参考にしてください。MeshLab は開発が続いている無料ソフトで、Windows・Mac・Linux で動きます。
MeshmixerにOBJを読み込み、向きを整える
Meshmixer を起動し、「Import」をクリックして、解凍したフォルダの中の mesh.obj を選択して開きます。
(画像を大きく表示)
mesh.obj を選んで読み込みます。読み込んだ直後は、モデルが傾いていたり、床が斜めになっていたりすることがあります。「Edit → Transform」を開くと、モデルに矢印と円弧のハンドルが表示されます。矢印をドラッグすると移動、円弧をドラッグすると回転です。植物がまっすぐ立つように、向きと位置を整えておきましょう。
向きや位置は「Edit → Align」でも調整できます。基準にしたい面や点を指定すると、それに合わせてモデル全体がまっすぐそろう機能です。たとえば底面を床に合わせたいときは、Transform で手で回すより早く決まることがあります。
マウスを使う場合は、Windows も Mac も同じです。右ボタンでドラッグすると視点が回転し、ホイール(中ボタン)を押し込みながらドラッグすると視点が平行移動します。
マウスのないノートパソコンでは、キーを押しながら操作します。押すキーは、Windows では Alt、Mac では option(⌥)です。キーを押しながら左クリックしたままドラッグすると回転、Alt+Shift(Mac は option+shift)で平行移動になります。拡大・縮小は、どちらも2本指の上下スワイプです。
右クリックしたままドラッグしても回転できます。Mac のトラックパッドで右クリックにあたるのは、2本指でのクリック、または control を押しながらのクリックです。
いずれもモデルではなく「見る位置」を動かす操作なので、Transform と組み合わせて使うと作業しやすくなります。
(画像を大きく表示)
(画像を大きく表示)
スケール(実寸)を設定する
3Dモデルは、そのままでは寸法の基準を持っていません。「Analysis → Units/Dimensions」を開き、まず単位(cm など)を選びます。次に、長さがわかっている部分をモデル上で左ドラッグして基準線を引き、「Set Target Length」欄にその実寸を入力します。これでモデル全体のスケールが実寸に合います。
(画像を大きく表示)
(画像を大きく表示)
(画像を大きく表示)
ここが精度の要です。体積や表面積の正確さは、この基準合わせで決まります。ポットの直径や、立方体の箱、あらかじめ置いた定規など、長さがはっきりわかるものを撮影時に一緒に写しておくと安心です。
植物だけを取り出す
ポットや地面など、計測に含めたくない部分を取り除きます。「Edit → Plane Cut」を開き、切断面を回転・移動させて位置を決めます。「Cut Type」は「Cut (Discard Half)」、「Fill Type」は「Remeshed Fill」を選び、「Accept」を押すと、面の下側がまとめて切り落とされます。
このとき、切り口の断面は「Remeshed Fill」によって自動的に面でふさがれます。断面が開いたままだと体積を正しく測れないので、カット後にモデルの底を見て、穴なく埋められていることを確認しておきましょう。
(画像を大きく表示)
3Dモデルを修復する
動画から作ったモデルには、細かな穴や、浮いた小さなノイズが残ることがあります。「Analysis → Inspector」を開くと、問題のある箇所に印がつきます。青は穴、ピンクは微小なかけら、赤は不正な形状です。「Hole Fill Mode」を「Flat Fill」にし、取り除くノイズの大きさを「Small Thresh」で調整してから、「Auto Repair All」を押すと、まとめて修復されます。印がすべて消えれば完了です。
(画像を大きく表示)
(画像を大きく表示)
整えた植物体モデルを保存し直す
スケールを設定し、植物体だけになったモデルは、ここでファイルとして保存し直しておきましょう。Meshmixer から OBJ 形式で書き出すと、1回の保存で次のファイルが同時に作られます。
(名前).obj … モデルの本体(形)です。スケールの設定や切り取り、修復の結果が反映されています。
(名前).mtl … テクスチャの画像を .obj の表面に貼り付けるための指示書です。
テクスチャの画像 … 表面の色を写した画像です。いくつかのファイルに分かれて書き出されます。
このようにファイルが一度にいくつも出力されるので、先に保存用のフォルダを自分で作り、その中に保存するのがおすすめです。ほかのファイルと混ざらず、どれとどれが一組なのかで迷わずに済みます。フォルダ名は半角英数字にして、Windows なら C:\lumaai\rice01、Mac なら ~/Documents/lumaai/rice01 のような場所に作りましょう。フォルダ名や置き場所のパスに日本語が入ると、開き直したときにモデルに色が付かなくなるためです。
フォルダができたら、「File → Export」を開き、形式に OBJ を選んで、そのフォルダの中に半角英数字の名前で保存します。元のダウンロードファイルとは別に、「計測に使ったそのままの状態」のデータが手元に残ります。
冒頭で触れたとおり、3Dデータが残っていれば、あとから別の項目を測り直すことも、当時の姿をもう一度観察することもできます。ファイル名に撮影日や個体番号を入れておくと、あとから探しやすくなります。
保存したファイルは、1つのフォルダにまとめたまま保管してください。LumaAI のファイルと同じく、.mtl が画像の場所を指定しているため、.obj だけを移動すると色のないモデルになります。なお、修復で穴を埋めた箇所には色が付きませんが、計測結果には影響しません。
草高(高さ)を確認する
体積と表面積を測る前に、モデルの高さ(草高)を確認します。「Analysis → Units/Dimensions」を開くとモデルの寸法(X・Y・Z)が表示されるので、縦方向(Y)の値を見ます。実際の草高とかけ離れていなければ、スケールは正しく設定できています。
(画像を大きく表示)
ポットを削除したのに、寸法の枠がポットのあった領域まで囲ってしまい、Y の値が実際の草高より大きく出ることがあります。その場合は、スケールを設定したときと同じように、植物体の上を左ドラッグして直線を引いてください。「Real length」欄にその線の実際の長さが表示されるので、草高を直接確認できます。
体積と表面積を確認する
整えたモデルから、体積と表面積を読み取ります。「Analysis → Stability」を開くと、「Volume」(体積)と「Surface Area」(表面積)が表示されます。得られた数値が現実的な範囲かどうかも、あわせて確認しましょう。
(画像を大きく表示)
極端に大きい・小さい値が出たときは、スケール設定か、モデルの修復に見落としがあるかもしれません。前の手順に戻って確かめてください。
メッシュを分けて、部分ごとに測る
株全体ではなく、茎や葉など特定の部分だけを測りたいこともあります。その場合は「Select」を開き、「Brush Mode」を「Unwrap Brush」にして、「Size」でブラシの大きさを調整します。測りたい部分を左クリックでなぞると、選んだ場所が黒く表示されます。
(画像を大きく表示)
(画像を大きく表示)
切り分けたら「View → Show Objects Browser」で一覧を開くと、パーツごとに選んで扱えます。あとは全体のときと同じように、Inspector での修復と Stability での計測をパーツごとに行います。
(画像を大きく表示)
スマートフォンの動画と無料ソフトだけで、ここまで植物の形を数値にできます。破壊せずに測れるので、同じ株の変化を追いかけたいときにも役立ちます。撮影とスケール設定さえ丁寧に行えば、気軽に始められる計測方法です。