StyleGAN2②（Removing normalization artifacts以降）｜Style Transferの研究を俯瞰する #10

2019年にNVIDIAが公開して話題になったStyle GANにもあるように、生成モデルへのStyle Transferの研究の導入が注目されています。当シリーズではそれを受けて、Style Transferの研究を俯瞰しながらStyle GANやStyle GAN2などの研究を取り扱っていきます。
#1、#2ではStyle Transfer関連の初期の研究である、Image Style Transferについて、#3、4ではAdaINについて、#5、#6ではStyleGANについて、#7、#8ではPGGANについて取り扱いました。

AdaIN①（Abstract＆Introduction）｜Style Transferの研究を俯瞰する #3 - Liberal Art’s diary

Progressive Growing of GANs①（Abstract＆Introduction）｜Style Transferの研究を俯瞰する #7 - Liberal Art’s diary

#9、#10ではStyleGANの発展版であるStyleGAN2(Analyzing and Improving the Image Quality of StyleGAN)について取り扱います。

[1912.04958] Analyzing and Improving the Image Quality of StyleGAN

#9ではAbstractとIntroductionの確認を行い、論文の概要を掴みました。

StyleGAN2①（Abstract＆Introduction）｜Style Transferの研究を俯瞰する #9 - Liberal Art’s diary

#10ではRemoving normalization artifacts以降の内容の確認を重要だと思われるポイントを中心に行います。
以下目次になります。
1. Removing normalization artifacts(Section2)
1-1. Generator architecture revisited(Section2.1)
1-2. Instance normalization revisited(Section2.2)
2. Image quality and generator smoothness(Section3)
3. Progressive growing revisited(Section4)
4. Projection of images to latent space(Section5)
5. Conclusions and future work(Section6)
6. まとめ

1. Removing normalization artifacts(Section2)
1節ではSection2のRemoving normalization artifactsについて取り扱います。

第一パラグラフでは、StyleGANにおける問題として、水滴に似た(resemble water droplet)インクの染みの形状の人工物(blob-shaped artifacts)について指摘されています。この水滴は64×64の画像のサイズから現れ、より高解像度になるにつれて段階的に強くなっていくとされています。

水滴のようなartifactsの例として、Figure1に記載されています。水滴に似た人工物(water droplet like artifacts)は必ずしも目立たないもののGeneratorの中の処理を見ると常に現れており、これはInstance Normalization(AdaIN)によって引き起こされているとなっています。

第二パラグラフでは、この水滴に似た人工物(water droplet like artifacts)の問題がAdaINによって引き起こされていることについて言及されています。また、研究を行うに当たっての仮説として、正規化(normalization)のステップをGeneratorより取り除くことによりartifactsを消し去ることができることについて触れられています。

1-1. Generator architecture revisited(Section2.1)
1-1節ではSection2.1のGenerator architecture revisitedについて取り扱います。

上記では、StyleGANのGeneratorの詳細について確認を行なっています。

上記はFigure2の一部ですが、(a)はStyleGANの処理概要、(b)はStyleGANの処理詳細を表しているとされています。(b)ではAdaINの処理が明確化されたり、畳み込み処理を行うにあたってのパラメータのの明記などを行なっています。また、今回リバイズして作成した構造は(c)をベースに作っているとされています。(c)やそれに基づいて構築した処理の詳細はSection2.2でされているので1-2節で確認します。

1-2. Instance normalization revisited(Section2.2)
1-2節ではSection2.2のInstance normalization revisitedについて取り扱います。

第一パラグラフでは、instance normalizationの効果を緩和するためにbatch normalizationを取り除き、期待統計量(expected statistics)の正規化によって改善を試みたとされています。

Figure2の(c)を元にスタートし、リバイズされた構造として(d)を用いたとされています。

また、(d)の処理として数式(Equation)の1〜3が記載されています。これにより、畳み込み処理に用いるにstyleに該当するAの内容が反映されるようになっています。

また、結果としてartifactsを取り除くことに成功したサンプルをFigure3で紹介しています。

2. Image quality and generator smoothness(Section3)
画像の質の確認や、正則化などについて触れられています。

3. Progressive growing revisited(Section4)
3節ではSection4のProgressive growing revisitedについて確認していきます。

Progressive growingの問題点としては"phase" artifactsが挙げられています。上記のFigure6が例として挙げられており、顔の向き(pose)が変わっても歯の位置が変わらないことについて指摘されています。

解決策については、Figure7に記載されています。(a)のMSG-GANの構造を参考に(b)や(c)の構造を提案しています。

4. Projection of images to latent space(Section5)
5. Conclusions and future work(Section6)
今回は省略します。

6. まとめ
#10ではStyleGANの発展版であるStyleGAN2(Analyzing and Improving the Image Quality of StyleGAN)のSection2のRemoving normalization artifacts以降の内容の確認を行いました。