目次
- はじめに
- 点群解析用データセットを選ぶ前に知るべきこと
- 点群データの中身
- 点群解析の代表タスク
- 3D物体認識向けデータセット：ModelNet・ShapeNet
- 部品分割向けデータセット：ShapeNet Part・PartNet
- 屋内シーン理解向けデータセット：S3DIS・ScanNet
- 屋外・都市点群向けデータセット：Semantic3D・Toronto-3D
- 自動運転・LiDAR向けデータセット：SemanticKITTI・nuScenes・Waymo Open Dataset
- 代表データセット比較表
- 企業のPoCでデータセットを選ぶ際の注意点
- 点群解析PoC前のチェックリスト
- まとめ：公開データセットは目的・データ形式・実務データとの近さで選ぶ
- 参考文献
はじめに
点群解析は、3Dスキャナ、LiDAR、深度カメラ、RGB-Dカメラ、SLAMなどで取得した3次元データを活用する技術です。
製造業の部品形状確認、建設・設備管理の3D計測、物流倉庫の空間把握、ロボットの周辺認識、自動運転のLiDAR認識など、さまざまな分野で活用が進められています。
一方で、点群解析は画像解析や表形式データ分析と比べて、データの中身を理解しにくい領域でもあります。
点群データには、XYZ座標だけでなく、RGB、反射強度、法線、セマンティックラベル、インスタンスラベル、3D bounding boxなどが含まれることがあります。
また、公開データセットといっても、CADモデル由来のデータ、屋内RGB-Dデータ、屋外LiDARデータ、自動運転向けマルチセンサーデータなど、性質は大きく異なります。
そのため、点群解析用データセットを選ぶ際は、「有名だから使う」のではなく、次の点を確認する必要があります。
- 何を解析したいのか
- 対象は物体単体か、屋内空間か、屋外空間か
- 取得方法はCAD、RGB-D、LiDAR、3Dスキャンのどれに近いか
- どのラベルが必要か
- 自社データと公開データセットの条件が近いか
- PoC後に自社データへ移行できるか
本記事では、点群解析に使える代表的な公開データセットを、用途別に整理します。
点群解析用データセットを選ぶ前に知るべきこと
点群解析用データセットは、単なるサンプルデータではありません。
データセットごとに、取得方法、対象物、ラベル形式、ファイル形式、評価タスクが異なります。
たとえば、ModelNet40はCADモデル由来の3D物体分類向けデータセットです。ShapeNetも3D形状リポジトリとして知られています。
一方、ScanNetはRGB-D動画から構築された屋内シーン理解向けデータセットです。
SemanticKITTI、nuScenes、Waymo Open Datasetは、自動運転や車載LiDAR認識の文脈で使われるデータセットです。
このように、同じ「点群データセット」と呼ばれていても、実際には用途が異なります。
| データの種類 | 近い用途 | 注意点 |
|---|---|---|
| CAD由来データ | 物体分類、形状理解 | 実スキャンのノイズや欠損とは条件が異なる |
| RGB-D屋内データ | 室内空間理解、家具・壁・床の分類 | 屋外LiDARや設備点検とは取得条件が異なる |
| 地上レーザー点群 | 都市・建物・インフラの点群分類 | 点密度やスキャン条件が現場ごとに異なる |
| 車載LiDARデータ | 自動運転、移動体認識 | 道路環境向けのラベル定義であることが多い |
企業のPoCでは、公開データセットで動くことよりも、自社で扱いたいデータに近いかどうかが重要です。
点群データの中身
点群データは、点の集合です。
最も基本的な情報は、各点の3次元座標です。
ただし、実際の点群データには、座標以外の情報が付くことがあります。
| 項目 | 内容 |
|---|---|
| x, y, z | 3次元座標 |
| RGB | 色情報 |
| intensity | LiDARなどの反射強度 |
| normal | 法線方向 |
| semantic label | 点が属するカテゴリ。例：床、壁、椅子、車両 |
| instance label | 個体ごとのID。例：椅子A、椅子B |
| 3D bounding box | 物体を囲む3Dの箱 |
| timestamp | センサー取得時刻 |
| sensor pose | センサーの位置・姿勢 |
たとえば、屋内空間の点群では、床、壁、天井、机、椅子などのラベルが重要になります。
自動運転向けLiDARでは、車両、歩行者、自転車、道路、建物、植生などのラベルが使われます。
設備点検や製品検査では、公開データセットの既存ラベルがそのまま使えるとは限りません。
自社業務で使う場合は、「何を検出・分類・分割したいのか」を先に決める必要があります。
点群解析の代表タスク
点群解析には、複数の代表的なタスクがあります。
データセットを選ぶ際は、まず自社でやりたいことがどのタスクに近いかを整理します。
| タスク | 内容 | 例 |
|---|---|---|
| 3D object classification | 物体単体のカテゴリを分類する | 椅子、机、部品などを分類 |
| part segmentation | 物体の部品を分割する | 椅子の脚・座面・背もたれを分ける |
| semantic segmentation | 各点にカテゴリラベルを付ける | 床、壁、車、道路などを分類 |
| instance segmentation | 同じカテゴリ内の個体を分ける | 椅子Aと椅子Bを分ける |
| 3D object detection | 3D空間内の物体位置を検出する | 車両、歩行者、部品位置を検出 |
| registration | 複数の点群を位置合わせする | 複数スキャンを統合 |
| change detection | 時点間の変化を検出する | 設備変形、施工差分を確認 |
たとえば、製品形状の基礎検証であれば、3D object classificationやpart segmentationに近い場合があります。
建物や設備の3Dスキャンであれば、semantic segmentationやregistrationが重要になる場合があります。
自動運転や移動ロボットであれば、3D object detectionやsemantic segmentationが中心になります。
3D物体認識向けデータセット：ModelNet・ShapeNet
ModelNet40
ModelNet40は、3D物体認識の基礎ベンチマークとしてよく使われるデータセットです。
ModelNet40は、40カテゴリのCADモデルを含むデータセットとして提供されており、物体分類の基礎検証に使われます。
代表的なカテゴリには、椅子、机、ベッド、ソファ、トイレ、棚などがあります。
ただし、ModelNet40はCADモデル由来のデータです。
実際の3DスキャンやLiDAR点群では、ノイズ、欠損、遮蔽、スキャン密度のばらつきが発生します。
そのため、ModelNet40で性能が出たからといって、製造現場や設備点検の実データでも同じように使えるとは限りません。
ModelNet40は、あくまで3D形状理解や物体分類の基礎検証に向いたデータセットとして扱うのがよいでしょう。
ShapeNet
ShapeNetは、大規模な3D形状リポジトリです。
ShapeNetCoreは、55カテゴリ、約51,300の3Dモデルを含むデータセットとして説明されています（Chang et al., 2015）。
ShapeNetは、3D形状分類、部品理解、形状生成、形状検索など、さまざまな研究で使われてきました。
企業で使う場合は、製品形状や部品構造に近い検証に使える可能性があります。
一方で、ShapeNetもCAD由来のデータが中心です。
実物を3Dスキャンした点群や、LiDARで取得した粗い点群とは条件が異なります。
そのため、自社製品の実スキャンデータへ適用する場合は、公開データセットとの違いを確認する必要があります。
部品分割向けデータセット：ShapeNet Part・PartNet
点群解析では、物体全体のカテゴリだけでなく、部品単位で理解したい場面があります。
たとえば、椅子であれば座面、脚、背もたれを分けたい場合があります。
機械部品であれば、突起部、接合部、平面部などを区別したい場合もあります。
ShapeNet Part
ShapeNet Partは、ShapeNetの3Dモデルに対して部品ラベルを付けたデータセットとして使われます。
3D object classificationでは物体全体のカテゴリを扱いますが、part segmentationでは物体内部の部品領域を扱います。
製品形状や部品構造を理解する研究では、ShapeNet Partのようなデータセットが参考になります。
PartNet
PartNetは、細粒度かつ階層的な部品理解を目的とした大規模ベンチマークです。
Moらは、PartNetをfine-grained and hierarchical part-level 3D object understandingのためのデータセットとして提案しました（Mo et al., 2019）。
部品の単純な分割だけでなく、階層構造を含めた理解に関心がある場合、PartNetは参考になります。
ただし、実務で製品部品の点群解析を行う場合、公開データセットの部品ラベルと自社製品の部品定義が一致するとは限りません。
PoCでは、まず自社でどの粒度のラベルが必要かを整理する必要があります。
屋内シーン理解向けデータセット：S3DIS・ScanNet
S3DIS
S3DISは、Stanford Large-Scale 3D Indoor Spaces Datasetとして知られる屋内空間向けデータセットです。
Armeniらは、大規模屋内空間の3D semantic parsingを扱うデータセットとしてS3DISを提案しました（Armeni et al., 2016）。
屋内空間の点群に対して、床、壁、天井、机、椅子などのラベルを付け、semantic segmentationの研究で使われます。
建物内の空間理解、BIM/CIMに近い3D空間整理、室内ロボットの認識などを検討する場合、S3DISは参考になります。
ScanNet
ScanNetは、RGB-D動画から構築された屋内シーン理解向けデータセットです。
ScanNetは、2.5 million views、1,500超のscanを含み、3D camera pose、surface reconstruction、instance-level semantic segmentationが付与されたRGB-D video datasetとして説明されています（Dai et al., 2017）。
ScanNetは、屋内空間のsemantic segmentation、instance segmentation、3D reconstructionなどに使われます。
室内空間や建物内データを扱う研究開発では参考になりますが、屋外LiDARや設備点検のデータとは取得条件が異なります。
屋外・都市点群向けデータセット：Semantic3D・Toronto-3D
Semantic3D
Semantic3Dは、大規模な屋外点群分類ベンチマークです。
Hackelらは、Semantic3D.netをnew large-scale point cloud classification benchmarkとして提案しました（Hackel et al., 2017）。
Semantic3Dは、地上レーザースキャンによる大規模屋外点群を対象にしており、都市空間、建物、地面、植生などの分類に使われます。
都市・インフラ・建設領域の点群解析を検討する場合、屋外点群の基礎データセットとして参考になります。
Toronto-3D
Toronto-3Dは、都市道路環境のMobile LiDARデータセットです。
Tanらは、Toronto-3Dをurban roadwaysのsemantic segmentation向け大規模Mobile LiDARデータセットとして提案しました（Tan et al., 2020）。
道路、建物、車両、道路標識など、都市道路環境の点群理解に向いています。
ただし、都市道路向けのラベル定義が、自社の設備点検や工場内点群のラベル定義と一致するとは限りません。
実務で利用する場合は、ラベル定義の違いを確認する必要があります。
自動運転・LiDAR向けデータセット：SemanticKITTI・nuScenes・Waymo Open Dataset
SemanticKITTI
SemanticKITTIは、KITTI Odometry BenchmarkをベースにしたLiDAR semantic segmentation向けデータセットです。
Behleyらは、SemanticKITTIをLiDAR sequencesのsemantic scene understanding向けデータセットとして提案しました（Behley et al., 2019）。
SemanticKITTIでは、車載LiDARによって取得された点群に対して、点単位のsemantic labelが付与されています。
道路、車両、歩行者、建物、植生などを含むため、自動運転や屋外移動体認識の研究で使われます。
一方で、SemanticKITTIは自動運転文脈のデータセットです。
工場内設備、倉庫、建設現場などにそのまま近いとは限りません。
nuScenes
nuScenesは、自動運転向けのマルチモーダルデータセットです。
LiDAR、camera、radar、GPS、IMUなどを含み、3D object detection、tracking、sensor fusionなどで使われます。
Caesar et al.は、nuScenesをautonomous driving向けmultimodal datasetとして提案しました（Caesar et al., 2020）。
画像とLiDARを組み合わせた認識や、車両・歩行者・自転車などの検出を検討する場合に参考になります。
Waymo Open Dataset
Waymo Open Datasetは、自動運転向けの大規模データセットです。
Sunらは、Waymo Open Datasetをautonomous driving perceptionのスケーラビリティを扱うデータセットとして提案しました（Sun et al., 2020）。
LiDARとカメラを含み、3D object detectionやtrackingなどで使われます。
大規模で実環境に近いデータではありますが、自動運転向けであるため、用途が異なる企業のPoCではラベル定義や取得条件の違いを確認する必要があります。
代表データセット比較表
| データセット | 主な対象 | 取得方法 | 主なタスク | ラベル | 実務で近い用途 |
|---|---|---|---|---|---|
| ModelNet40 | CAD物体 | 3D CAD | 物体分類 | カテゴリ | 部品・製品形状の基礎検証 |
| ShapeNet | 3D形状 | 3D CAD | 形状理解・部品理解 | カテゴリ・部品等 | 製品形状・部品構造の検証 |
| ShapeNet Part | 3D物体 | 3D CAD | part segmentation | 部品ラベル | 部品分割の基礎検証 |
| PartNet | 3D物体 | 3D CAD | 階層的部品理解 | 細粒度部品ラベル | 製品構造の詳細理解 |
| S3DIS | 屋内空間 | 3Dスキャン | semantic segmentation | 点単位ラベル | 建物・室内空間理解 |
| ScanNet | 屋内空間 | RGB-D | semantic / instance segmentation | 3D semantic label | 室内点群・空間理解 |
| Semantic3D | 屋外都市・自然 | 地上レーザースキャン | semantic segmentation | 点単位ラベル | 都市・インフラ点群分類 |
| Toronto-3D | 都市道路 | Mobile LiDAR | semantic segmentation | 点単位ラベル | 道路・都市空間理解 |
| SemanticKITTI | 道路環境 | 車載LiDAR | semantic segmentation | 点単位ラベル | 自動運転・移動体認識 |
| nuScenes | 道路環境 | LiDAR + camera + radar | 3D detection等 | 3D bbox等 | 自動運転・マルチセンサー認識 |
| Waymo Open Dataset | 道路環境 | LiDAR + camera | 3D detection / tracking | 3D bbox等 | 自動運転・車両/歩行者認識 |
この表は、データセット選定の出発点です。
実際に使う前には、公式サイトで利用条件、ライセンス、商用利用可否、申請要否、ファイル形式、評価タスクを確認する必要があります。
企業のPoCでデータセットを選ぶ際の注意点
公開データセットは、点群解析の技術検証に有用です。
一方で、公開データセットでうまく動いた手法が、自社データでも同じように使えるとは限りません。
自社データとの取得条件の違い
点群データは、取得方法によって性質が大きく変わります。
同じ対象物でも、3D CAD、RGB-D、地上レーザースキャン、車載LiDARでは点の密度、ノイズ、欠損、遮蔽が異なります。
そのため、自社データがどの取得方法に近いかを確認する必要があります。
ラベル定義の違い
公開データセットのラベル定義は、必ずしも自社業務に合うとは限りません。
たとえば、自動運転データセットでは車両、歩行者、道路、建物などが重要ですが、設備点検では配管、バルブ、メーター、腐食箇所などが重要になる場合があります。
PoCでは、公開データセットのラベルを参考にしつつ、自社業務に必要なラベル定義を設計する必要があります。
評価指標の違い
点群解析では、タスクによって評価指標が異なります。
semantic segmentationではmIoU、3D object detectionではmAP、分類ではaccuracyなどが使われることがあります。
ただし、業務では単純なスコアだけでは不十分です。
誤検出、見逃し、確認工数、現場での許容範囲も含めて評価する必要があります。
PoC後の自社データ移行
公開データセットは、あくまで技術検証の入口です。
最終的に自社業務へ適用するには、自社データの取得、アノテーション、前処理、評価、運用設計が必要になります。
特に点群解析では、座標系、単位、スキャン密度、ノイズ、欠損、遮蔽、データ容量が問題になりやすいです。
点群解析PoC前のチェックリスト
点群解析を始める前に、次の点を確認するとよいでしょう。
| チェック項目 | 確認内容 |
|---|---|
| 対象 | 解析したい対象は物体単体か、屋内空間か、屋外空間か |
| 取得方法 | LiDAR、RGB-D、3Dスキャナ、CADのどれに近いか |
| データ項目 | XYZ以外にRGBやintensityは必要か |
| ラベル | semantic label、instance label、3D bounding boxのどれが必要か |
| タスク | 分類、セグメンテーション、検出、位置合わせ、変化検出のどれか |
| データセット | 自社データと公開データセットの取得条件は近いか |
| 利用条件 | 商用利用、再配布、利用申請の条件を確認したか |
| アノテーション | 専門知識が必要なラベル付けか |
| 評価指標 | mIoU、mAP、precision、recallなどから選べているか |
| 実務移行 | PoC後に自社データへ移行する計画があるか |
点群解析では、モデル選定よりも前に、対象、データ、ラベル、評価、運用を整理することが重要です。
まとめ：公開データセットは目的・データ形式・実務データとの近さで選ぶ
点群解析用データセットには、さまざまな種類があります。
ModelNet40やShapeNetは、CADモデル由来の3D物体認識や形状理解に向いています。
ShapeNet PartやPartNetは、部品単位の分割や細粒度な形状理解に使われます。
S3DISやScanNetは、屋内空間のsemantic segmentationやinstance segmentationに向いています。
Semantic3DやToronto-3Dは、屋外・都市点群のsemantic segmentationに使われます。
SemanticKITTI、nuScenes、Waymo Open Datasetは、自動運転や車載LiDAR認識の文脈で使われます。
また、今回紹介したデータ以外にも日本の各自治体が公開しているデータもあります。
重要なのは、有名なデータセットを選ぶことではありません。
自社で扱いたいデータに近いか、必要なラベルがあるか、解析したいタスクに合っているか、PoC後に自社データへ移行できるかを確認することです。
自社の点群データ活用や公開データセット選定について相談したい場合は、SCI総合研究所の KAMUSHIRUBE をご活用ください。
点群データや3Dデータを用いた技術検証、データ取得設計、モデル評価、レポート化まで進めたい場合は、研究開発サポート もご検討ください。
お問い合わせは、お問い合わせフォーム よりご連絡ください。
参考文献
- Wu et al. 2015. 3D ShapeNets: A Deep Representation for Volumetric Shapes. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. pp. 1912-1920. https://doi.org/10.1109/CVPR.2015.7298801
- Chang et al. 2015. ShapeNet: An Information-Rich 3D Model Repository. arXiv. https://arxiv.org/abs/1512.03012
- Yi et al. 2016. A Scalable Active Framework for Region Annotation in 3D Shape Collections. ACM Transactions on Graphics. Vol. 35. Issue 6. Article 210. https://doi.org/10.1145/2980179.2980238
- Mo et al. 2019. PartNet: A Large-scale Benchmark for Fine-grained and Hierarchical Part-level 3D Object Understanding. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 909-918. https://doi.org/10.1109/CVPR.2019.00099
- Armeni et al. 2016. 3D Semantic Parsing of Large-Scale Indoor Spaces. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. pp. 1534-1543. https://doi.org/10.1109/CVPR.2016.170
- Dai et al. 2017. ScanNet: Richly-annotated 3D Reconstructions of Indoor Scenes. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. pp. 5828-5839. https://doi.org/10.1109/CVPR.2017.261
- Hackel et al. 2017. Semantic3D.net: A new Large-scale Point Cloud Classification Benchmark. ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences. Vol. IV-1/W1. pp. 91-98. https://doi.org/10.5194/isprs-annals-IV-1-W1-91-2017
- Tan et al. 2020. Toronto-3D: A Large-Scale Mobile LiDAR Dataset for Semantic Segmentation of Urban Roadways. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. pp. 202-203. https://doi.org/10.1109/CVPRW50498.2020.00109
- Behley et al. 2019. SemanticKITTI: A Dataset for Semantic Scene Understanding of LiDAR Sequences. Proceedings of the IEEE/CVF International Conference on Computer Vision. pp. 9297-9307. https://doi.org/10.1109/ICCV.2019.00939
- Caesar et al. 2020. nuScenes: A multimodal dataset for autonomous driving. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 11621-11631. https://doi.org/10.1109/CVPR42600.2020.01164
- Sun et al. 2020. Scalability in Perception for Autonomous Driving: Waymo Open Dataset. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 2446-2454. https://doi.org/10.1109/CVPR42600.2020.00252
- Qi et al. 2017. PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. pp. 652-660. https://doi.org/10.1109/CVPR.2017.16
