StyleGAN2①（Abstract＆Introduction）｜Style Transferの研究を俯瞰する #9

2019年にNVIDIAが公開して話題になったStyle GANにもあるように、生成モデルへのStyle Transferの研究の導入が注目されています。当シリーズではそれを受けて、Style Transferの研究を俯瞰しながらStyle GANやStyle GAN2などの研究を取り扱っていきます。
#1、#2ではStyle Transfer関連の初期の研究である、Image Style Transferについて、#3、4ではAdaINについて、#5、#6ではStyleGANについて、#7、#8ではPGGANについて取り扱いました。

AdaIN①（Abstract＆Introduction）｜Style Transferの研究を俯瞰する #3 - Liberal Art’s diary

StyleGAN①（Abstract＆Introduction）｜Style Transferの研究を俯瞰する #5 - Liberal Art’s diary

Progressive Growing of GANs①（Abstract＆Introduction）｜Style Transferの研究を俯瞰する #7 - Liberal Art’s diary

#9以降ではStyleGANの発展版であるStyleGAN2(Analyzing and Improving the Image Quality of StyleGAN)について取り扱います。

[1912.04958] Analyzing and Improving the Image Quality of StyleGAN

#9ではAbstractとIntroductionの確認を行い、論文の概要を掴みます。
以下目次になります。
1. Abstract
2. Introduction(Section1)
3. まとめ

1. Abstract
1節ではAbstractの内容を確認しながら概要について把握します。以下各文の和訳などを通して簡単に内容を確認します。

The style-based GAN architecture (StyleGAN) yields state-of-the-art results in data-driven unconditional generative image modeling. We expose and analyze several of its characteristic artifacts, and propose changes in both model architecture and training methods to address them.

和訳：『StyleGANで用いられているstyleベースのGANの構造はdata-driven unconditional generative image modelingにおいてSotAの結果を出している。我々はStyleGANの特徴的なartifactsを分析し、モデル構造や学習手法の双方における改善を提案する。』
StyleGANについては#5、#6で取り扱いましたが、StyleGAN2ではStyleGANについて分析した上で、改善の提案を行なっています。changesはimprovementsのような使い方がされていたので改善と訳しました。

In particular, we redesign generator normalization, revisit progressive growing, and regularize the generator to encourage good conditioning in the mapping from latent vectors to images. In addition to improving image quality, this path length regularizer yields the additional benefit that the generator becomes significantly easier to invert.

和訳：『特に我々はGeneratorの正規化をデザインし直し、progressive growingに再訪し、潜在ベクトルから画像へのマッピングにおける良い条件を得ることができるようにGeneratorを正則化した。画像の質を向上させるのに加えて、このpath lengthのregularizerによって、Generatorがより簡単に反転できるという追加の効果も得ることができた。』
この辺の細かい処理についてはメインパートを読む際に注意して読み進めるのが良さそうです。

This makes it possible to reliably detect if an image is generated by a particular network. We furthermore visualize how well the generator utilizes its output resolution, and identify a capacity problem, motivating us to train larger models for additional quality improvements. Overall, our improved model redefines the state of the art in unconditional image modeling, both in terms of existing distribution quality metrics as well as perceived image quality.

和訳：『このことにより画像が特定のネットワークにより生成された画像かどうか確実に検出することができるようになった。さらに、我々はGeneratorがアウトプットの解像度をうまく利用している状況を可視化し、capacityの問題をはっきりさせ、そのことによってさらなる質の向上にあたってより大きなモデルを学習させる動機付けになった。総括すると、我々の改善したモデルは知覚的な画像の質と同様に既存の分布の質に基づいた指標についてunconditional image modelingのSotAを更新した。』
こちらについては必要に応じて詳細を確認できればと思います。

2. Introduction(Section1)
2節ではSection1のIntroductionについて確認します。以下パラグラフ単位で確認していきます。

第一パラグラフでは、主に敵対的生成ネットワークを用いた画像生成の発展と従来のSotAとしてStyleGANについて紹介されています。また、StyleGAN2の研究ではStyleGANの内容を改善することにフォーカスすると記載されています。

第二パラグラフでは、StyleGANの特徴として潜在変数のからを計算するmapping networkのやstyleの合成のような処理であるAdaIN(Adaptive Instance Normalization)について紹介されています。またStyleGAN2の論文ではに注目していくことについて言及されています。

第三パラグラフでは、StyleGANの特徴的なartifactsについての指摘と、これに対する取り組みについて記載されています。Section2やSection4が参照されているので詳しくはそちらを確認すると良さそうです。

第四、第五パラグラフでは評価指標などについてまとめられています。

第六パラグラフでは、諸々のまとめや公開されているモデルや実装について紹介されています。

3. まとめ
#9ではStyleGAN2(Analyzing and Improving the Image Quality of StyleGAN)のAbstractとIntroductionの確認を行い、論文の概要を掴みました。
#10ではSection2のRemoving normalization artifacts以降の内容を読み進めていきます。