StyleGAN①（Abstract＆Introduction）｜Style Transferの研究を俯瞰する #5

2019年にNVIDIAが公開して話題になったStyle GANにもあるように、生成モデルへのStyle Transferの研究の導入が注目されています。当シリーズではそれを受けて、Style Transferの研究を俯瞰しながらStyle GANやStyle GAN2などの研究を取り扱っていきます。
#1、#2ではStyle Transfer関連の初期の研究である、Image Style Transferについて、#3、4ではAdaINについて取り扱いました。

Image Style Transfer①（Abstract＆Introduction）｜Style Transferの研究を俯瞰する #1 - Liberal Art’s diary

AdaIN①（Abstract＆Introduction）｜Style Transferの研究を俯瞰する #3 - Liberal Art’s diary

#5以降ではStyleGAN(A Style-Based Generator Architecture for Generative Adversarial Networks)について取り扱います。

[1812.04948] A Style-Based Generator Architecture for Generative Adversarial Networks

#5ではAbstractとIntroductionの確認を行います。
以下目次になります。
1. Abstract
2. Introduction(Section1)
3. まとめ

1. Abstract
1節ではAbstractの内容を確認しながら概要について把握します。以下各文の和訳などを通して簡単に内容を確認します。

We propose an alternative generator architecture for generative adversarial networks, borrowing from style transfer literature.

和訳：『我々はstyle transferの文脈から(アイデアを)拝借することで、敵対的生成ネットワークの代替となる生成モデルのアーキテクチャを提案する。』
DeepLearningを用いた生成モデルの文脈では、2014年のGenerative Adversarial Networksから敵対的学習系のアルゴリズムの研究が注目されがちでしたが、この論文ではstyle transferを用いた別アプローチから生成モデルについて取り扱ったとされています。

The new architecture leads to an automatically learned, unsupervised separation of high-level attributes (e.g., pose and identity when trained on human faces) and stochastic variation in the generated images (e.g., freckles, hair), and it enables intuitive, scale-specific control of the synthesis.

和訳：『(我々の提案する)新しいアーキテクチャによって、自動的に学習し教師なしで高いレベルの属性や生成画像の確率変数に分離することができ、合成画像の直感的な制御が可能になった。』
細かい意味が取れなかったので意訳しました(若干間違っているかもしれません)。

The new generator improves the state-of-the-art in terms of traditional distribution quality metrics, leads to demonstrably better interpolation properties, and also better disentangles the latent factors of variation.

和訳：『新しい生成モデルによって、従来の分布の品質の指標においてSotAを更新し、明確なより良い補間や、潜在変数をより良い形に解きほぐすことが可能になった。』
こちらも細かい意味が若干取れなかったのでいまいちな訳になっています。導入した生成モデルの利点を述べた内容になっていると思われます。

To quantify interpolation quality and disentanglement, we propose two new, automated methods that are applicable to any generator architecture. Finally, we introduce a new, highly varied and high-quality dataset of human faces.

和訳：『補間の品質や意味的な分離を定量化するために、我々は任意の生成モデルのアーキテクチャに応用可能な二つの自動化手法を用いた。最終的に、我々は高品質で高度に変化する人間の顔の新しいデータセットを作成することができた。』
この辺は詳細とともに見ていくのが良さそうでした。

2. Introduction(Section1)
2節ではSection1のIntroductionについて確認します。以下パラグラフ単位で確認していきます。

第一パラグラフでは、GAN(Generative Adversarial Networks)に代表される敵対的生成モデル系の研究が近年急速な進歩を遂げていることに触れた上で、生成ネットワーク(generator)の内部は依然としてblack boxであり画像合成のプロセスを理解はまだなかなかできないでいるとされています。

第二パラグラフでは、敵対的生成モデルとは違う文脈としてstyle transferの文脈に着想を得て生成ネットワーク(generator)のアーキテクチャをデザインし直した(re-design)としています。

第三パラグラフでは、新しく提唱するネットワークにおける潜在変数の取り扱いについて言及されています。

第四パラグラフでは、新しいデータセットとしてFFHQ(Flickr-Faces-HQ)を公開したとされています。こちらについてはAppendixのAで触れられているようです。

3. まとめ
#5ではStyleGAN(A Style-Based Generator Architecture for Generative Adversarial Networks)のAbstractとIntroductionを確認し、論文の概要を掴みました。
#6ではSection2のRelated Work以下の重要なポイントについて取り扱っていきます。