サーベイ論文の確認と追加調査②(Introduction)｜Graph Neural Networkの研究を俯瞰する #2
グラフ理論やCNNをグラフ理論に応用したグラフ畳み込みネットワークについては下記で以前に簡単に取り扱いました。
ベースライン論文におけるGraphのCNN学習アルゴリズム｜ベースから理解するGraph Convolutional Networks #2 - Liberal Art’s diary
もう少し俯瞰的に取り扱えればということで簡単に調べてみたのですが、2019年のサーベイ論文を見つけましたのでこちらを読み進めつつ必要に応じて追加調査を行えればと思います。
[1901.00596] A Comprehensive Survey on Graph Neural Networks
#1ではAbstractを確認し、全体の大枠を掴みました。
#2ではIntroductionについて取り扱っていきます。
以下目次になります。
1. Introduction(Section1)
2. まとめ
1. Introduction(Section1)
1節ではSection1のIntroductionについて確認します。以下パラグラフ単位で確認していきます。
第一パラグラフでは、パターン認識、データマイニング、機械学習の分野におけるニューラルネットワークの成功について言及されています。応用タスクとしては物体検出(object detection)、機械翻訳(machine translation)、音声認識(speech recognition)が挙げられており、これらは従来では熟練したエキスパートによって特徴量の抽出を行っていましたが、近年はDeepLearningを用いたend-to-endな枠組みに置き換わってきているとされています。これらの成功について考えた際に、画像(images)やテキスト(text)、動画(videos)のようなデータはユークリッド空間(Euclidean space)で表すことができるデータであり、画像を例に出すと画像はユークリッド空間上の規則的なgridとして表現でき、CNNのアルゴリズムによって有意義な局所特徴量を抽出することができるとされています。
第二パラグラフでは、DeepLearningはユークリッド的なデータの隠れたパターンを効果的に抽出することができる一方で、グラフの形式で表されるデータの応用が増えていると言及されています。具体的な例としてはe-commenceや化学における分子の構成、引用のネットワークなど様々な分野でグラフの形状が見られることが挙げられています。グラフ形状のデータの複雑さは既存の機械学習のアルゴリズムにとって重大な課題となっていると指摘されています。
第三パラグラフでは、近年の傾向としてグラフ形状のデータに対するDeepLearningのアプローチに注目が集まっていると言及されています。DeepLearningにおけるCNNやRNN、autoencoderに触発され、ここ数年でグラフの複雑さを取り扱うにあたっての重要な演算の汎用化や定義が急速に開発されてきています。
手法の一つとして上記のFigure1の(a)のように画像などに用いられる2次元の畳み込み(2D Convolution)の対応として、(b)で示されたGraph Convolutionが提案されています。(b)を見た際に、赤の点(node)の近傍として(a)のように整列されているわけではないものの、連結されている他の点を近傍とみなすことで(a)と同様の演算を行うことができるというのが想像できるかと思います。
手法の一つとして上記のFigure1の(a)のように画像などに用いられる2次元の畳み込み(2D Convolution)の対応として、(b)で示されたGraph Convolutionが提案されています。(b)を見た際に、赤の点(node)の近傍として(a)のように整列されているわけではないものの、連結されている他の点を近傍とみなすことで(a)と同様の演算を行うことができるというのが想像できるかと思います。
第四パラグラフでは、Graph Neural Networkの既存のサーベイ論文(existing reviews)についてまとまっています。いくつか紹介した後に、要約として既存のサーベイは限られた範囲で行なっているため近年の重要な研究が取り扱えていないと指摘しています。それに対し、このサーベイ論文ではresearcherやexperts向けにGNNの包括的な概要を示したとしています。
第五パラグラフではこのサーベイにおけるContributionについてまとめられています。1点目としてはGNNの新しい分類ということで、Recurrent Graph Neural Networks、Convolutional Graph Neural Networks、Graph AutoEncoders、spatial-temporal graph neural networksの四つが挙げられています。Contributionの2点目が近年のGNNの包括的なreviewを行なっているとされています。3点目としてはGNNに関するオープンソースやデータセット、モデルなどの豊富な資源(abundant resources)を得ることができたとなっています。4点目としてはGNNの理論的な側面や既存の手法の限界を分析することで、将来の研究の方向性を示した点について言及しています。
2. まとめ
#2ではサーベイ論文のIntroductionについて確認しました。
#3では引き続き、Background & Definitionについて確認していきます。
