ジャガイモ収穫現場の「不完全3D」を補うペアデータセット「3DPotatoTwin」を公開 — 収量評価や自動収穫ロボの高精度化に期待

東京大学大学院農学生命科学研究科と株式会社クボタの共同研究グループが、収穫現場で得られる低コストRGB‑Dカメラの「部分的な3Dデータ」を、写真測量による高精度3Dモデルと1対1で対応付けたジャガイモのペアデータセット「3DPotatoTwin」を公開しました。現場で実際に収穫した3品種・339個体のジャガイモを対象に取得し、RGB‑DスキャンとStructure‑from‑Motion（SfM）による高精度モデルをミリ単位でアライメント（平均誤差0.59 mm）しています。公開データはAIによる形状補完や体積・重量推定の学習基盤として利用可能で、スマート農業分野の実用化を後押しします。

ポイントの整理

• 現場カメラ（Intel RealSenseなど）が取得する「裏面や接地面が欠けた部分的な3D」を、高精度3Dモデルと対応付けて学習用データを整備しています。
• 対象は北海道十勝・更別村の圃場で収穫した3品種（さやか、きたひめ、コロール）計339個体。現地スキャンと室内高精度撮影を組み合わせています。
• RGB‑DとSfMモデルをピンマーカーで精密にアライメントし、平均誤差0.59 mmという高精度を達成しています。
• データ・ソースコードは一般公開（Hugging Face、GitHub）されており、既報のAI復元技術（Computers and Electronics in Agriculture掲載）と組み合わせて利用できます。

「なぜ重要か」— 現場課題と本成果の意義

現場で使われる低コストRGB‑Dカメラは軽量で高速な点群取得が可能なため、収穫機やフィールドロボットへの搭載が進んでいます。ただし、深度センサは原理上「視える面」しか計測できず、地面に接している側や他個体に隠れた側の情報が欠落します。塊茎作物の体積や重量推定、正確な形状把握が必要な用途では、この「不完全な3D」がボトルネックになってきました。

3DPotatoTwinは、現場で実際に得られる不完全データ（RGB‑D）と、完全形状を再現する高精度SfMモデルをペア化することで、欠損部分を補完するAIモデルの学習を可能にします。つまり、安価な現場センサの出力から「完全な三次元形状」を再現できるようになれば、次のような実用応用が現実味を帯びます。

現場で期待される応用例

• 市場出荷可能収量（marketable yield）や不良品判定の自動推定：見えている面だけでなく欠損部を補完した上での体積・重量推定により、より精度の高い出荷判定が可能になります。
• 精密収量マップの生成：収穫機に搭載したカメラから得られる時系列データを補完して個体ごとの体積・重量を推定すれば、ほ場内の高解像度収量分布図が作成できます。営農法人の施肥や圃場改良判断に直結します。
• 自動収穫ロボットの把持・掘取り制御：ジャガイモの完全形状を推定することで、把持点の最適化や掘取り方向の計画が可能になり、傷害低減や取りこぼし削減に寄与します。
• 品種や資材（例：バイオスティミュラント）の効果定量化：塊根形態の三次元的変化を定量化することで、新資材や栽培法の評価が精密になります。

データセットの中身と精度

本データセット「3DPotatoTwin」は以下の特徴を持ちます。

• 対象：3品種（さやか、きたひめ、コロール）、合計339個体
• 現地計測：収穫コンベア上でのRGB‑Dスキャン（Intel RealSense等）による低解像度点群
• 高精度計測：Structure‑from‑Motion（SfM）による写真測量で得た高精度3Dモデル（室内撮影）
• アライメント：ピンマーカーを用いたミリ単位の整合（平均誤差0.59 mm）

この高精度な対応付けにより、AIに学習させれば「現場の部分スキャンから元の完全形状を高精度に復元する」モデルが構築可能です。実際、研究グループは本データを応用したAI復元モデルを既に開発し、先行研究として成果を発表しています（Computers and Electronics in Agriculture掲載：High‑throughput 3D shape completion of potato tubers on a harvester）。

実運用で留意すべき点（現場目線の課題）

• 汚れ・泥の付着：実地では土や泥で表面が覆われるケースがあり、見た目と実体形状の差が増えます。前処理や泥除去の手法、あるいは汚れ混入を考慮した学習データの拡張が必要です。
• 大規模流用のための多様性：本データは3品種・339個体だが、他品種や生育環境（畝形状、土質、収穫方法）が大きく異なる圃場へ適用する場合は追加データの収集・転移学習が有効です。
• リアルタイム性と計算資源：収穫機に搭載する際は、低遅延で推定できる軽量モデルやエッジ推論の設計が求められます。
• 遮蔽や重なり：コンベア上での個体重なりや掴み位置による遮蔽への対策も課題になります。

データ・コードの入手先と関連論文

• データセット（Hugging Face）: https://huggingface.co/datasets/UTokyo-FieldPhenomics-Lab/3DPotatoTwin
• ソースコード（GitHub）: https://github.com/UTokyo-FieldPhenomics-Lab/PotatoScan
• データ論文（Plant Phenomics）: 3DPotatoTwin: a Paired Potato Tuber Dataset for 3D Multi‑Sensory Fusion — https://doi.org/10.1016/j.plaphe.2025.100123
• 関連先行研究（Computers and Electronics in Agriculture）: High‑throughput 3D shape completion of potato tubers on a harvester — https://doi.org/10.1016/j.compag.2024.109673

営農現場・メーカーへの提言

営農法人や集落営農の経営者、機械導入を検討する現場責任者には次の点を提案します。

• 既存の収穫機やロボットに低コストRGB‑Dセンサを追加し、得られる部分3Dデータを本データや公開コードで補完する試験を行ってください。初期導入コストを抑えつつ精度向上を図れます。
• 試験圃場での撮像プロトコル（撮影角度、照明、コンベア速度など）を標準化すると、学習データの品質が向上し実装がスムーズになります。
• 新資材や栽培手法の評価では三次元形状の定量化が有効です。部材の効果を定量的に比較するため、3DPotatoTwinを基礎に追加データを収集する体制を検討してください。
• 農機メーカーや自治体の技術担当は、データ公開を活用してエッジ推論・リアルタイム処理の開発を進めると、次世代の実用機に差が出ます。

研究体制・問い合わせ先

本研究は東京大学大学院農学生命科学研究科（王浩舟特任研究員、郭 威 准教授ら）と株式会社クボタの研究グループによる共同プロジェクト「クボタ東大ラボ」および北海道更別村「フィールドフェノミクス寄附講座」の支援により実施されました。詳細や共同研究の相談は以下へ問い合わせることができます。

• 問い合わせ（研究内容）: 郭 威（かく い）准教授 E-mail: guowei@g.ecc.u-tokyo.ac.jp
• 東京大学広報: Tel: 03-5841-8179, 5484 E-mail: koho.a@gs.mail.u-tokyo.ac.jp

まとめ

3DPotatoTwinは、実地で使われる低コストセンサの弱点を補うための「実用的かつ高精度な学習基盤」を提供します。営農現場の自動化や収量管理の高度化、資材・品種評価の精密化に直結するデータセットであり、公開資源を活用することで実装の速度と信頼性を高めることが期待されます。まずは自社の収穫機や試験圃場でのトライアルから始めることを推奨します。

詳しい記事の内容はこちらから（引用元）

ジャガイモ収穫現場のRGB-Dカメラ映像から“完全な三次元”を再構成:「3DPotatoTwin」データを公開――収穫機の不完全3Dを補うAI基盤で、収量評価とスマート農業に貢献―― | 東京大学大学院農学生命科学研究科・農学部
https://www.a.u-tokyo.ac.jp/topics/topics_20251028-1.html