Deep Generative Models of Graphs①(Abstract&Introduction)|Graph Neural Networkの研究を追う #1

f:id:lib-arts:20200913201520p:plain

以前のシリーズでは下記のSurveyを元にGraph Neural Networksの研究の俯瞰について行いました。

[1901.00596] A Comprehensive Survey on Graph Neural Networks

大体の概要はつかめたものの、もう少し詳しく見ていければということで新規で個々の研究を追うシリーズを始めることにしました。#1と#2ではグラフの生成を取り扱った研究である、DGMG(Learning Deep Generative Models of Graphs)の研究について取り扱います。#1ではAbstractとIntroductionを確認し、論文の概要を把握します。
以下目次になります。
1. Abstractの確認
2. Introductionの確認
3. まとめ


1. Abstractの確認
1節ではAbstractの内容を確認しながら概要について把握します。以下各文の和訳とともに解説を行います。

Graphs are fundamental data structures which concisely capture the relational structure in many important real-world domains, such as knowledge graphs, physical and social interactions, language, and chemistry.

和訳:『グラフは知識グラフや物理的関係性、社会的関係性、言語、化学など、数多くの実世界の重要なドメインにおいて、関係的な構造を獲得するベーシックなデータ構造である。』
解説:『導入として、グラフ構造の表現形式の応用例の紹介を行っています。知識構造の可視化を行ったりや化学における分子を考えたりなど、グラフは様々な応用事例があります。』

Here we introduce a powerful new approach for learning generative models over graphs, which can capture both their structure and attributes. Our approach uses graph neural networks to express probabilistic dependencies among a graph’s nodes and edges, and can, in principle, learn distributions over any arbitrary graph.

和訳:『ここで我々はグラフの生成を学習する、新しくて強力なアプローチを紹介する。このアプローチによって構造(structure)と属性(attributes)の双方を得ることができる。我々のアプローチではグラフのノードやエッジ間の確率的依存性を表現するにあたって、グラフニューラルネットワークを用いている。そして、原理的には任意のグラフの分布を学習することができる。』
解説:『グラフに関する研究は様々ありますが、この研究のテーマとしてグラフの生成を取り扱っていることについて言及しています。生成モデルがデータを生成するということは確率分布を生成するということに内包できるので、分布を学習する(learn distributions)のような表現が用いられています。』

In a series of experiments our results show that once trained, our models can generate good quality samples of both synthetic graphs as well as real molecular graphs, both unconditionally and conditioned on data. Compared to baselines that do not use graph-structured representations, our models often perform far better.

和訳:『一連の実験において、我々は、「一度学習を行うことでニューラルネットワークが実際の分子グラフと同様に合成のグラフの双方を高い品質で生成することができ、データの条件も調整できる」という結果を示すことができた。グラフ構造の表現を用いない手法のベースラインと比較した際に、我々のモデルはずっと良いパフォーマンスを示すことが多かった。』
解説:『グラフ表現を用いることによって生じたアドバンテージについて記載されています。』

We also explore key challenges of learning generative models of graphs, such as how to handle symmetries and ordering of elements during the graph generation process, and offer possible solutions.

和訳:『我々は同様に対称性やグラフの生成のプロセスにおける要素の順番の取り扱いなど、グラフの生成の学習における主要な課題について取り組み、実用的な解決策を示した。』
解説:『グラフの生成にあたっては要素の順番をどのように取り扱うかなども課題としてはあがりますが、この研究ではそういった問題に対する解決策を示したとされています。』

Our work is the first and most general approach for learning generative models over arbitrary graphs, and opens new directions for moving away from restrictions of vector-like and sequence-like knowledge representations, toward more expressive and flexible relational data structures.

和訳:『我々の研究は任意のグラフに対するグラフの生成モデルの学習にあたっての最初でかつ汎用的なアプローチであり、ベクトルや系列のような知識表現の制約から離れてより柔軟な表現力のあるデータ構造に向けての新しい方向性を示した。』
解説:『問題の取り扱いにあたっての表現力が上がったという理解で良いと思います。』

細かい話は該当箇所と共に確認する方が良いので、Abstractの確認はここまでとします。


2. Introductionの確認
2節ではパラグラフ単位でIntroductionの確認を行っていきます。

f:id:lib-arts:20200913211902p:plain

f:id:lib-arts:20200913211928p:plain

第一パラグラフでは、グラフの応用分野について紹介した上で、グラフの確率分布を得ることができるなら創薬を始め、様々な問題に対する解決策になりうることについて言及されています。

f:id:lib-arts:20200913212231p:plain

f:id:lib-arts:20200913212247p:plain

第二、第三パラグラフは飛ばして第四パラグラフでは、この論文では制約の少ない新しいグラフのモデルを導入するとしています。

f:id:lib-arts:20200913212435p:plain

第五パラグラフでは、学習したモデルの評価についてまとめています。


3. まとめ
#1ではグラフの生成について取り扱った研究であるDGMG(Learning Deep Generative Models of Graphs)のAbstractとIntroductionの内容を元に論文の概要について掴みました。
#2では論文のSection2以降から主要なポイントに絞って内容を確認します。