PointNet③(Experiment 〜 Conclusion)|3D Point CloudsとDeepLearning #8

f:id:lib-arts:20200310233133p:plain

[1912.12033] Deep Learning for 3D Point Clouds: A Survey

点群に対しての近年DeepLearningの導入について、#1〜#5では上記のSurveyを読み進めました。

Survey論文の確認②(Introduction)|3D Point CloudsとDeepLearning #2 - Liberal Art’s diary

Survey論文の確認④(3D Object Detection and Tracking)|3D Point CloudsとDeepLearning #4 - Liberal Art’s diary

Survey論文の確認⑤(3D Point Cloud Segmentation)|3D Point CloudsとDeepLearning #5 - Liberal Art’s diary

#6以降ではSurveyで確認した内容を踏まえて、論文の確認を行います。まず手始めとして、多くの項目において参照されていたPointNet[2016]について確認しています。
#6ではPointNetの論文のAbstractとIntroductionについて、#7ではSection2のRelated Work〜Section4のDeep Learning on Point Setsの内容までを取り扱いました。

#8ではSection5のExperimentとSection6のConclusionまでを取り扱います。
以下目次になります。
1. Experiment(Section5)
1-1. Applications(Section5-1)
1-2. Architecture Design Analysis(Section5-2)
1-3. Visualizing PointNet(Section5-3)
1-4. Time and Space Complexity Analysis(Section5-4)
2. Conclusion(Section6)
3. まとめ


1. Experiment(Section5)
1節ではSection5のExperimentについて取り扱います。

f:id:lib-arts:20200319001103p:plain

Section5の冒頭部では、Section5における検証実験(Experiments)は4つに分けることができるとされており、それぞれSection5-1〜Section5-4で取り扱うとされています。下記でそれぞれについて確認していきます。


1-1. Applications(Section5-1)
1-1節ではSection5-1のApplicationsについて確認します。

f:id:lib-arts:20200319001755p:plain

まず冒頭部の記載では、応用(Applications)として取り扱う三つのトピックについて紹介しています。それぞれ、3D object classification、object segmentation、semantic scene segmentationの三つで、詳細はそれぞれ書かれているので、下記で確認します。

f:id:lib-arts:20200319003056p:plain
1つ目として、3D Object Classificationは物体の分類を行うタスクですが、Table1に結果がまとめられています。一番下の二つの段がそれぞれPointNetのベースライン(baseline)とメインのモデルで、メインのモデルは3Dの入力におけるDeepLearningのモデルの中でSotAを達成したとされています。

f:id:lib-arts:20200319002332p:plain

2つ目として、3D Object Part Segmentation(object segmentation)は与えられた3Dの点群に対し、点単位で分類ラベルを与えるというタスクですが、実験結果は上記のTable2にまとめられています。[27]と[29]の従来の手法や3DCNNと比較して、一番下の段のPointNetの手法はmIoUの指標に置いてSotAを達成したとされています。

f:id:lib-arts:20200319003947p:plain

3つ目として、Semantic Segmentation in Scenesはシーンの識別のようなタスクとされていますが、Table4で従来のモデルとの比較がなされています。下段のPointNetが良いスコアとなっていることが確認できます。


1-2. Architecture Design Analysis(Section5-2)
1-2節ではSection5-2のArchitecture Design Analysisについて確認します。

f:id:lib-arts:20200319004431p:plain

冒頭部の記載では、「制御された実験においてモデルの設計やネットワークのハイパーパラメータの効果性を検証した」と記載されています。以下、各項目(3点)について確認していきます。

f:id:lib-arts:20200319005204p:plain

1点目の"Comparison with Alternative Order-invariant Methods"では、点群の順序の取り扱いの比較とPoolingにおける手法の比較を行なっています。上段の3つではベースラインのモデルの比較を行っており、RNN系のモデルであるLSTMが最も良い結果となっています。また、下段の3つではPooling手法における比較を行っており、MaxPoolingが最も良い結果となっていることが確認できます。

f:id:lib-arts:20200319005646p:plain

2点目の"Effectiveness of Input and Feature Transformations"では、入力や特徴量の変換の効果性について比較を行っています。実験結果のTable5では入力(input)と特徴量(feature)の双方において変換を行う方が良い結果となったことを示しています。

f:id:lib-arts:20200319010424p:plain
3点目の"Robustness Test"ではモデルの頑健性(robustness)について検証を行っています。一番左の図で入力の半数がなくなっても、2.4%〜3.8%ほどの正答率の低下しかないとされているなど、PointNetが頑健なモデルであると示されています。

1-3. Visualizing PointNet(Section5-3)
1-3節ではSection5-3のVisualizing PointNetについて確認します。

f:id:lib-arts:20200319011412p:plain

Figure7では、大まかな形状の情報を保持するC_{S}(critical point sets)と、点の存在する範囲を規定するN_{S}(upper bound shapes)の二つについて可視化が行われています。


1-4. Time and Space Complexity Analysis(Section5-4)
1-4節ではSection5-4のTime and Space Complexity Analysisについて確認します。

f:id:lib-arts:20200319011948p:plain

上記のTable6にパラメータ数とFLOPs(演算量)について記載されています。PointNetが他のモデルに比べてパラメータの数が少ないかつ、演算効率が良いというのがここから読み取れます。


2. Conclusion(Section6)

f:id:lib-arts:20200319012321p:plain
上記のように、論文のまとめについて記載されています。良いパフォーマンスを実現しているかつ、統合的なアプローチ(unified approach)となっているのが非常に興味深いと思われました。


3. まとめ
#8ではPointNetの論文のSection5のExperimentとSection6のConclusionまでを取り扱いました。PointNetは全3回で読み進めましたが、多くのタスクにおいて良い結果を出しエポックメイキングとなっているのでなかなか参考になったなと思います。