サーベイ論文の確認と追加調査⑧(Spatial-Temporal Graph Neural Networks)｜Graph Neural Networkの研究を俯瞰する #8

グラフ理論やCNNをグラフ理論に応用したグラフ畳み込みネットワークについては下記で以前に簡単に取り扱いました。

ベースライン論文におけるGraphのCNN学習アルゴリズム｜ベースから理解するGraph Convolutional Networks #2 - Liberal Art’s diary

もう少し俯瞰的に取り扱えればということで簡単に調べてみたのですが、2019年のサーベイ論文を見つけましたのでこちらを読み進めつつ必要に応じて追加調査を行えればと思います。

[1901.00596] A Comprehensive Survey on Graph Neural Networks

#1ではAbstractについて、#2ではIntroductionについて、#3ではBackground & Definition(Section2)について、#4ではCategorization and Frameworks(Section3)について、#5ではRecurrent graph neural networksについて(Section4)、#6ではConvolutional Graph Neural Networks(Section5)について、#7ではGraph AutoEncoders(Section6)について取り扱いました。

サーベイ論文の確認と追加調査②(Introduction)｜Graph Neural Networkの研究を俯瞰する #2 - Liberal Art’s diary

サーベイ論文の確認と追加調査③(Background & Definition)｜Graph Neural Networkの研究を俯瞰する #3 - Liberal Art’s diary

サーベイ論文の確認と追加調査④(Categorization and Frameworks)｜Graph Neural Networkの研究を俯瞰する #4 - Liberal Art’s diary

サーベイ論文の確認と追加調査⑦(Graph AutoEncoders)｜Graph Neural Networkの研究を俯瞰する #7 - Liberal Art’s diary

#8ではSection7のSpatial-Temporal Graph Neural Networksについて取り扱っていきます。
以下目次になります。
1. Spatial-Temporal Graph Neural Networks(Section7)
2. まとめ

1. Spatial-Temporal Graph Neural Networks(Section7)
1節ではSectio7のSpatial-Temporal Graph Neural Networksについて確認していきます。

第一パラグラフでは、STGNNs(Spatial-Temporal Graph Neural Networks)の背景としてグラフのダイナミズムを取り扱うとしています。ダイナミズムとしてはグラフの構造(graph structure)やグラフの入力(graph impots)の双方が挙げられています。具体例としては道路に配置された速度センサーから構成される交通のネットワークが挙げられており、交通状況は近隣の道路の状態に依存するため、解決策として空間的かつ時間的なグラフの依存性を同時にSTGNNsは考慮する必要があるとされています。STGNNsは二つの研究の方向性があり、RNN-basedな手法とCNN-basedな手法があると紹介されています。

第二パラグラフでは、spatial-temporalな依存性を取得するRNN-basedなアプローチについて紹介されています。シンプルな数式として数式(39)が、数式(39)をベースに畳み込みを導入した数式として数式(40)が紹介されています。また研究例としてGCRN(Graph Convolutional Recurrent Network)やDCRNN(Diffusion Convolutional Recurrent Neural Network)が紹介されています。

第三パラグラフでは、同様に行われている研究としてnode-level RNNsやedge-level RNNsが紹介されています。

第四パラグラフでは、第二〜第三パラグラフで取り扱ったRNN-basedの欠点として時間がかかる繰り返しの伝播と勾配が爆発したり消失したりの問題について指摘した上で、代替案としてCNN-basedについて紹介しています。CNN-basedな手法の利点として、並列処理が可能な点や、勾配が安定している点、メモリ使用が少ない点などについて挙げられています。具体的なアイデアとしては1D-CNNベースのアプローチについて紹介されており、具体的な研究例としてはCGCNなどが挙げられています。

残りのパラグラフについては今回は省略します。

2. まとめ
#8ではSection7のSpatial-Temporal Graph Neural Networksについて取り扱いました。
#9では引き続き、Section8のApplicationsについて確認していきます。