サーベイ論文の確認と追加調査⑩(Future Directions & Conclusion)｜Graph Neural Networkの研究を俯瞰する #10
グラフ理論やCNNをグラフ理論に応用したグラフ畳み込みネットワークについては下記で以前に簡単に取り扱いました。
ベースライン論文におけるGraphのCNN学習アルゴリズム｜ベースから理解するGraph Convolutional Networks #2 - Liberal Art’s diary
もう少し俯瞰的に取り扱えればということで簡単に調べてみたのですが、2019年のサーベイ論文を見つけましたのでこちらを読み進めつつ必要に応じて追加調査を行えればと思います。
[1901.00596] A Comprehensive Survey on Graph Neural Networks
#1ではAbstractについて、#2ではIntroductionについて、#3ではBackground & Definition(Section2)について、#4ではCategorization and Frameworks(Section3)について、#5ではRecurrent graph neural networksについて(Section4)、#6ではConvolutional Graph Neural Networks(Section5)について、#7ではGraph AutoEncoders(Section6)について、#8ではSpatial-Temporal Graph Neural Networks(Section7)について、#9ではApplications(Section8)について取り扱いました。
サーベイ論文の確認と追加調査②(Introduction)｜Graph Neural Networkの研究を俯瞰する #2 - Liberal Art’s diary
サーベイ論文の確認と追加調査④(Categorization and Frameworks)｜Graph Neural Networkの研究を俯瞰する #4 - Liberal Art’s diary
サーベイ論文の確認と追加調査⑦(Graph AutoEncoders)｜Graph Neural Networkの研究を俯瞰する #7 - Liberal Art’s diary
#10ではSection9のFuture DirectionsとSection10のConclusionについて取り扱っていきます。
以下目次になります。
1. Future Directions(Section9)
2. Conclusion(Section10)
3. まとめ
1. Future Directions(Section9)
1節ではSection9のFuture Directionsについて取り扱います。
冒頭部の記載ではgraph dataの学習におけるGNNs(Graph Neural Networks)の影響は大きくなってきているものの、グラフの複雑性のため課題がまだまだ多く、それに対してSection9ではGNNsの将来の4つの方向性について記載するとしています。
1つ目の方向性はモデルの深さ(Model depth)に関してです。(画像処理などの分野における)DeepLearningの成功はResidual block(ResNet etc)などによる深い構造にあるという研究が多いです。しかしながらConvGNNにおいて層を深くすると精度は大きく下がるとされています。したがって、graph dataの学習にあたって層を深くすることは依然として良い戦略なのかどうかについて検討する必要があるとされています。
2つ目の方向性としてスケール性のトレードオフ(Scalability trade-off)に関して紹介されています。GNNsのスケール性はgraphの完全性を代償にすることで得ることができるとされています。サンプリング(Sampling)やクラスタリング(Clustering)を用いることでモデルはgraphの情報を失うとされています。サンプリングではnodeは影響力の大きい近隣のノードを失うかもしれないし、クラスタリングでは特徴的な構造のパターンを奪われるかもしれないとされています。
3つ目の方向性としては、グラフの異質性(Heterogenity)について記載されています。既存のGNNsに関する研究はhomogeneous graphsを前提としており、現状のGNNsのアプローチをそのままheterogeneous graphに適用するのは難しいとされています。そのため、heterogeneous graphsを取り扱うための新たな手法を開発する必要があるとされています。
4つ目の方向性としては、グラフの動的性質(Dynamicity)について記載されています。graph dataは本来的に動的なものであり、ノードやエッジは出現したり消えたりするし入力は時間ごとに変わったりします。これから新規で出てくるグラフ畳み込みについてはグラフの動的性質の取り扱いについて可能であることが求められます。このグラフの動的性質#8で取り扱った、STGNNs(Spatial-temporal graph neural networks)を用いることで部分的には取り組まれているものの、dynamic spatial relationsの状況においてグラフ畳み込みがどのように機能するかはほとんどの研究で考慮されていないとなっています。
2. Conclusion(Section10)
2節ではSection10のConclusionについて取り扱います。
上記では、Graph Neural Networksについての包括的な外観(comprehensive overview)についてまとめたことをこのSurveyの総括としています。具体的には、四つの研究トピックの分類として、RecGNNs(Recurrent Graph Neural Networks)、ConvGNNs(Convolutional Neural Networks)、GAEs(Graph AutoEncoders)、STGNNs(Spatial-Temporal Graph Neural Networks)を挙げたことや、手法、応用、さらに将来研究の四つの方向性についてまとめたことについて言及しています。
3. まとめ
#10ではSection9のFuture DirectionsとSection10のConclusionについて取り扱いました。
#11以降では今回のSurveyで俯瞰した内容について気になった点などをそれぞれ論文などを参照しながら確認していければと思います。
