StyleGAN②（Style-based generator以降の重要ポイント）｜Style Transferの研究を俯瞰する #6
2019年にNVIDIAが公開して話題になったStyle GANにもあるように、生成モデルへのStyle Transferの研究の導入が注目されています。当シリーズではそれを受けて、Style Transferの研究を俯瞰しながらStyle GANやStyle GAN2などの研究を取り扱っていきます。
#1、#2ではStyle Transfer関連の初期の研究である、Image Style Transferについて、#3、4ではAdaINについて取り扱いました。
Image Style Transfer①（Abstract＆Introduction）｜Style Transferの研究を俯瞰する #1 - Liberal Art’s diary
AdaIN①（Abstract＆Introduction）｜Style Transferの研究を俯瞰する #3 - Liberal Art’s diary
#5、#6ではStyleGAN(A Style-Based Generator Architecture for Generative Adversarial Networks)について取り扱います。
[1812.04948] A Style-Based Generator Architecture for Generative Adversarial Networks
#5ではAbstractとIntroductionの確認を行いました。
StyleGAN①（Abstract＆Introduction）｜Style Transferの研究を俯瞰する #5 - Liberal Art’s diary
#6ではSection2のStyle-based generator以降の重要ポイントについて取り扱います。
以下目次になります。
1. Style-based generator(Section2)
2. Properties of the style-based generator(Section3)
3. Disentanglement studies(Section4)
4. Conclusion(Section5)
5. まとめ
1. Style-based generator(Section2)
1節ではSection2のStyle-based generatorについて確認します。
第一パラグラフでは、従来の潜在変数がFigure 1aのようにそのままGenerator(生成ネットワーク)に入力されていた一方で、StyleGANにおいては潜在変数の
がニューラルネットワークによる非線形写像(non-linear mapping network)のfを介して
を生成するとしています。
Figure1は上記で表しましたが、(a)が従来の(Traditional)手法で潜在変数(latent variable)をGeneratorに入力していますが、StyleGANでは潜在変数のをニューラルネットワークによる写像fを用いて最初に
を生成したのちにGeneratorに入力するとされています。この際の写像
は隠れ層のサイズが512の8層の多層パーセプトロン(Multi Layer Perceptron)で詳しくはSection4.1で言及しているとされています。数式(1)ではこの
を用いてAdaINにおけるアフィン変換(affine transformations)の
(分散)と
(平均)を行なっています。Section2.1のQuality of generated imagesやSection2.2のPrior artについてはここでは省略します。
2. Properties of the style-based generator(Section3)
2節ではSection3のProperties of the style-based generatorについて確認します。
第一パラグラフでは、(StyleGANにおける)Generatorの構造によって、画像の合成をstyleを用いたscaleに固有の修正であると考えることができるとされています。
第二パラグラフでは、StyleGANにおける修正について考えるにあたって、AdaINの演算においては元の論文ではcontentとstyleを考えていたことなどについて言及されています(ちょっと読み取りが怪しいですが一旦流して良さそうなため流します)。Section3.1のStyle mixing〜Section3.3のSeparation of global effects from stochasticityについては一旦省略します(後日追記の可能性があります)。
3. Disentanglement studies(Section4)
4. Conclusion(Section5)
一旦省略します。
5. まとめ
#6では少々流す形になってしまいましたが、StyleGAN(A Style-Based Generator Architecture for Generative Adversarial Networks)のSection2のStyle-based generator以降について取り扱いました。
#7以降はStyleGANでベースラインとして比較されていたPGGAN(Progressive Growing of GANs for Improved Quality, Stability, and Variation)について取り扱います。
