サーベイ論文の確認と追加調査④(Categorization and Frameworks)｜Graph Neural Networkの研究を俯瞰する #4

グラフ理論やCNNをグラフ理論に応用したグラフ畳み込みネットワークについては下記で以前に簡単に取り扱いました。

ベースライン論文におけるGraphのCNN学習アルゴリズム｜ベースから理解するGraph Convolutional Networks #2 - Liberal Art’s diary

もう少し俯瞰的に取り扱えればということで簡単に調べてみたのですが、2019年のサーベイ論文を見つけましたのでこちらを読み進めつつ必要に応じて追加調査を行えればと思います。

[1901.00596] A Comprehensive Survey on Graph Neural Networks

#1ではAbstractについて、#2ではIntroductionについて、#3ではBackground & Definitionについて取り扱いました。

サーベイ論文の確認と追加調査②(Introduction)｜Graph Neural Networkの研究を俯瞰する #2 - Liberal Art’s diary

#4ではSection3のCategorization and Frameworksについて取り扱っていきます。
以下目次になります。
1. Categorization and Frameworks
1-1. Taxonomy of Graph Neural Networks(Section3-A)
1-2. Frameworks(Section3-B)
2. まとめ

1. Categorization and Frameworks(Section3)
1節ではSection3のCategorization and Frameworksについて取り扱います。

冒頭部の記載としては、Section3ではGNNsの分類(taxonomy)について取り扱うとされています。分類としてはSection2にも言及があったように、Table2にまとまっています。

上記のようにGNNsを四つに分類しています。Section3-Aではそれぞれの簡単な言及がされており、さらなる詳細についてはSection4以降でまとめているので、1-1節では大まかな概要を掴む形で読み進める形とできればと思います。

1-1. Taxonomy of Graph Neural Networks(Section3-A)
1-1節ではSection3-Aの"Taxonomy of Graph Neural Networks"について確認していきます。

まずRecGNNs(Recurrent graph neural networks)について説明されています。RecGNNsは概ねGNNの先駆者的な研究で、再帰的なニューラルの構造でノードの表現(node representations)を学習するのを目的としているとされています。RecGNNsでは安定した均衡状態(stable equilibrium)に到達するまでノードが定期的に近傍のノードと情報を交換していると仮定しています。またRecGNNsは概念的に重要かつ後のConvGNNsに影響を与えたとされており、message passingのアイデアがspatial-basedなConvGNNsに受け継がれたと記述されています。

次にConvGNNs(Convolutional graph neural networks)について説明されています。ConvGNNsはgrid data(画像など)における畳み込みの演算(operation of convolution)をgraph dataに汎用化したものであるとされています。

Figure 2aではConvGNNを用いたnode分類、Figure 2bではConvGNNを用いたgraph分類を行なっていると記載されています。

GAEs(Graph autoencoders)は、ノードやグラフを潜在変数の空間(latent vector space)にエンコードして、エンコードした情報からグラフのデータを再構築(reconstruct)できるように教師なし学習(unsupervised learning)を行うフレームワークだとされています。これによりGAEsはネットワークの表現やグラフを生成させる分布(graph generative distributions)を学習することができます。

Figure 2cでは、GAEsの大枠の処理について記載されています。Encoderによって潜在変数のZを得た後に、Decoderによってグラフを再構築(reconstruct)しています。

STGNNs(Spatial-temporal graph neural networks)は、ある時間ステップ帯における空間的依存性や時間的依存性を考慮するとされています。多くの研究がこれらを学習しようと試みているようです。

Figure 2dでは、STGNNsをspatial-temporal graph forecastingに用いたところを図式化しています。

1-2. Frameworks(Section3-B)
1-1節ではSection3-Bの"Frameworks"について確認していきます。

冒頭部では、GNNsの入力と出力について記載がされており、graphの構造やnodeの情報を入力として与えることで、出力は下記のNode-level、Edge-level、Graph-levelのようなメカニズムでgraphの分析タスクに取り組むとされています。

Node-levelな出力はノードの回帰や分類タスクに関連しており、RecGNNsやConvGNNsを用いることによって情報伝播(RecGNNs)やグラフ畳み込み(ConvGNNs)を用いることでhigh-levelなノードの表現(node representation)を得ることができるとされています。MLP(Multi Layer Perceptron)などを用いることでGNNsはend-to-endにnode-levelのタスクを取り扱うことができるとされています。
Edge-levelは、エッジの回帰やリンクの予測のタスクに関連しており、エッジのラベルの予測や結合の強度を予測できるとされています。
Graph-levelはgraphの分類に関連しており、graphのコンパクトな表現(compact representation)を取得することで、GNNsはしばしばpoolingとreadout operationを組み合わせることができるとされています。

以降は"Semi-supervised learning for node-level classification."、"Supervised learning for graph-level classification."、"Unsupervised learning for graph embedding."など、学習に関するトピックがまとめられています。

2. まとめ
#4ではSection3のCategorization and Frameworksについて取り扱いました。
#5では引き続きSection4のRecurrent Graph Neural Networksについて確認していきます。