Survey論文の確認⑤(3D Point Cloud Segmentation)｜3D Point CloudsとDeepLearning #5
点群(Point Clouds)の基本的な内容については以前の記事で取り扱いました。
点群に対しても近年DeepLearningの導入が検討されており概要を掴むにあたって、下記のSurvey論文を元に読み進めています。
[1912.12033] Deep Learning for 3D Point Clouds: A Survey
#1ではAbstractについて、#2ではIntroduction(Section1)について、#3では3D Shape Classification(Section2)について、#4では3D Object Detection and Tracking(Section3)について取り扱いました。
Survey論文の確認①(Abstractと概要)｜3D Point CloudsとDeepLearning #1 - Liberal Art’s diary
https://lib-arts.hatenablog.com/entry/point_clouds_dl2
https://lib-arts.hatenablog.com/entry/point_clouds_dl3
https://lib-arts.hatenablog.com/entry/point_clouds_dl4
#5ではSection4の3D Point Cloud Segmentationについて取り扱っていきます。
以下目次になります。
1. 3D Point Cloud Segmentation(Section4)
2. 3D Semantic Segmentation(Section4-1)
2-1. Projection-based Networks(Section4-1-1)
2-2. Point-based Networks(Section4-1-2)
3. Instance Segmentation(Section4-2)
3-1. Proposal-based Methods(Section4-2-1)
3-2. Proposal-free Methods(Section4-2-2)
4. Part Segmentation(Section4-3)
5. まとめ
1. 3D Point Cloud Segmentation(Section4)
1節ではSection4の冒頭部について確認します。
3D Point Cloud Segmentationを行うにあたっては、大域的な位置的な構造と各点の詳細な情報が必要になるとされています。また、3D Point Cloud Segmentationは三つのカテゴリに分類できるとしており、semantic segmentation(scene level)、instance segmentation(object level)、part segmentation(part level)、の三つだとされています。これらはそれぞれSection4-1〜Section4-3で取り扱われているので、以下それに合わせて2節〜4節で確認していきます。
2. 3D Semantic Segmentation(Section4-1)
2節ではSection4-1の3D Semantic Segmentationについて取り扱います。
冒頭部の記載としては、Semantic Segmentationのタスク概要として点群が入力として与えられた際に、それぞれの点の意味に合わせていくつかの点の集合に分けることについて言及されています。手法としては、Section2の3D shape classificationで取り扱ったものと同様に、projection-based methodsとpoint-based methodsの二つに分けることができるとされています。
また、上記のようにFig.8に手法のまとめがあるとされています。2017年〜2019年にかけて列挙されています。
2-1. Projection-based Networks(Section4-1-1)
2-1節ではSection4-1-1のProjection-based Networksについて確認します。
Projection-based Networksの分類として、multi-view representation、spherical representation、volumetric representation、permutohedral lattice representation、hybrid representationが紹介されています。分類はSection2に似たようなものになっています。
それぞれの概要については上記のFig.9に図示されています。
2-2. Point-based Networks(Section4-1-2)
2-2節ではSection4-1-2のPoint-based Networksについて確認します。
Point-based Networksは不規則性を持つ点群をそのまま取り扱うとされています。また、初期の研究であるPointNetの構造に基づいて様々な研究が行われているとなっています。手法を分類すると、pointwise MLP methods、point convolution methods、RNN-based methods、graph-based methods、になるとされています。
また、Section4-1で取り扱った研究について、上記のTable4で取りまとめられています。
3. Instance Segmentation(Section4-2)
3節ではSection4-2のInstance Segmentationについて取り扱います。
冒頭部の記載としては、Instance SegmentationのタスクがSemantic Segmentationのタスクに比べてチャレンジングであることについて言及した上で、点のより正確な見分けが必要になるとされています。また、既存手法は大まかにproposal-based methodsとproposal-free methodsの二つに分けられるとされています。
また、上記のFig.11に2017〜1019年の研究が列挙されています。
3-1. Proposal-based Methods(Section4-2-1)
3-2. Proposal-free Methods(Section4-2-2)
こちらについては今回は省略します。
4. Part Segmentation(Section4-3)
今回は省略します。
5. まとめ
#5ではSection4の3D Point Cloud Segmentationについて取り扱いました。
Surveyについては一通り確認できたので、#6以降は今回のSurvey全体を通してよく出てきた研究であるPointNetについて読み進めていければと思います。
