AdaIN①（Abstract＆Introduction）｜Style Transferの研究を俯瞰する #3
2019年にNVIDIAが公開して話題になったStyle GANにもあるように、生成モデルへのStyle Transferの研究の導入が注目されています。当シリーズではそれを受けて、Style Transferの研究を俯瞰しながらStyle GANやStyle GAN2などの研究を取り扱っていきます。
#1、#2ではStyle Transfer関連の初期の研究である、Image Style Transfer(Image Style Transfer Using Convolutional Neural Networks)について取り扱いました。
Image Style Transfer①（Abstract＆Introduction）｜Style Transferの研究を俯瞰する #1 - Liberal Art’s diary
#3ではAdaIN(Arbitrary Style Transfer in Real-time with Adaptive Instance Normalization)について取り扱います。
[1703.06868] Arbitrary Style Transfer in Real-time with Adaptive Instance Normalization
#3ではAbstractとIntroductionの確認を行います。
以下目次になります。
1. Abstract
2. Introduction(Section1)
3. まとめ
1. Abstract
1節ではAbstractの内容を確認しながら概要について把握します。以下各文の和訳などを通して簡単に内容を確認します。
Gatys et al. recently introduced a neural algorithm that renders a content image in the style of another image, achieving so-called style transfer.
和訳：『Gatysらによって近年他の画像のstyleの画像を生成するstyle transferと呼ばれるニューラルネットワークをベースとするアルゴリズムが提案された。』
こちらについては#1と#2で取り扱った、"Image Style Transfer Using Convolutional Neural Networks"の研究について示唆されています。
However, their framework requires a slow iterative optimization process, which limits its practical application. Fast approximations with feed-forward neural networks have been proposed to speed up neural style transfer.
和訳：『しかしながら、(neural style transferの研究は)とても遅い繰り返しの最適化手法を用いており、それによって実際の応用が制限されている。(そこで)フィードフォワードニューラルネットワークの高速な近似がneural style transferを高速化できるように提案されてきている。』
Image Style Transfer(neural style transfer)の研究は用いている最適化手法が速度の面で遅いとされており、それを受けて処理の高速化について試みた手法が色々と提案されてきているとされています。ちなみにImage Style Transferの研究は最適化にL-BFGS法を用いているとされており、この手法は準ニュートン法に属しているとされており、二階微分を用いていると思われ、このことが処理が遅い一因になっているのではと思われます。
Unfortunately, the speed improvement comes at a cost: the network is usually tied to a fixed set of styles and cannot adapt to arbitrary new styles. In this paper, we present a simple yet effective approach that for the first time enables arbitrary style transfer in real-time. At the heart of our method is a novel adaptive instance normalization (AdaIN) layer that aligns the mean and variance of the content features with those of the style features.
和訳：『幸運でないことに、速度の向上は固定のstyleがたいていは必要であり、任意の新しいstyleに適用することができない。この論文では、リアルタイム処理の可能な任意のstyle transferを初めて可能にするシンプルだけれども効率的なアプローチを提案している。我々の手法のコアは、contentの特徴量とstyleの特徴量の平均と分散を揃えさせる適応的インスタンス正規化(AdaIN; Adaptive Instance Normalization)層という新しい考え方である。』
ここでは速度の向上に取り組んだ従来研究はstyleを固定することが必要であり、任意の新しいstyleには適用できないとされています。この問題に対し、この研究ではAdaINという手法を導入し、速度面の向上と同時に適用範囲を広げることができるとなっています。
Our method achieves speed comparable to the fastest existing approach, without the restriction to a pre-defined set of styles. In addition, our approach allows flexible user controls such as content-style trade-off, style interpolation, color & spatial controls, all using a single feed-forward neural network.
和訳：『我々の手法は事前に決められたstyleという制約なしで、既存の一番速い手法と同様の手法を実現した。さらに、我々の手法によって、content-style trade-offやstyle interpolation、color & spatial controlsのような柔軟なユーザ制御を可能にし、それら全てを単一のフィードフォワードニューラルネットワークで実現している。』
研究のまとめ的な内容について言及されています。導入手法のAdaINの詳細についてはSection4やSection5を確認すると良さそうなため、#4で詳しくは確認します。
2. Introduction(Section1)
2節ではSection1のIntroductionについて確認します。以下パラグラフ単位で確認していきます。
第一パラグラフでは、#1、#2で取り扱ったImage Style Transferの研究の精度面での成功やcontentと任意の画像のstyleを合成できる点について言及しつつ、Image Style Transferの良くない点として最適化のプロセスが遅いことについて言及されています。
第二パラグラフでは、style transfer関連の研究ではImage Style Transferよりも高速な手法を考案しようと試みたものの、single styleの問題が生じてしまったとされています。
第三パラグラフでは、この研究ではAdaINという考え方を導入することで高速化とsingle styleの問題を同時に解決することができたとされています。AdaINの詳細についてはSection4やSection5について取り扱う際に確認していければと思います。
3. まとめ
#3ではAdaIN(Arbitrary Style Transfer in Real-time with Adaptive Instance Normalization)のAbstractとIntroductionを確認し、論文の概要を掴みました。
#4ではSection2のRelated Work以下の重要なポイントについて取り扱っていきます。
