DeepLearning 関連論文の読み方手引き(上巻)|電子テキスト紹介 #4

f:id:lib-arts:20200303203601p:plain

当ブログの内容を元に電子テキストやその印刷版を、技術書典やnoteやboothなどのプラットフォームで販売を行なっているのですが、あまり内容について紹介してこなかったのでちょっとした宣伝も兼ねてご紹介していくシリーズです。
#1では「高校数学の演習から理解する、機械学習アルゴリズム」について、#2では「Python実装を通して学ぶ、統計モデリング入門」について、#3では「Deep Q-Network を通して学ぶ、強化学習超入門」についてご紹介しました。

高校数学の演習から理解する、機械学習アルゴリズム|電子テキスト紹介 #1 - Liberal Art’s diary

https://lib-arts.hatenablog.com/entry/e-book2
https://lib-arts.hatenablog.com/entry/e-book3
#4では、DeepLearning関連の論文を原文で読む際に参考になるように手引きとしてまとめた、「DeepLearning 関連論文の読み方手引き」の上巻についてご紹介します。

以下目次になります。
1. 作成にあたってのコンセプト
2. 簡単な内容の紹介
3. 今後のアップデート予定について
4. まとめ


1. 作成にあたってのコンセプト
こちらのテキストを作成するに至った背景やテキストのコンセプトですが、「論文を読む」って難しいと思われがちな一方で、DeepLearning関連の論文については非常に読みやすいものが多いため、そういった誤解をなくせればというのがあります。「最先端の論文を読む」っていうと凄く難しそうに聞こえますが、基礎知識+ちょっとした訓練で簡単に読めるようになります。
とはいえある程度、基本的な知識のベースはいるので、本テキストでは下記を対象読者と設定することで、事前知識を想定しています。

・SVOC、関係代名詞、that節など、英語の基本構文は問題ない方(時間をかけても良いので1文ずつ文の構成は掴める状態を前提とします。自信のない方は高校レベルの英文法を先に一度抑えた上で読んでいただく方が良いと思います)
・CNN、RNN、AlexNet、VGGNet、ResNetなどの基本的なDeepLearningの理解がある方(入門書を2〜3冊程度読んでいる前提です)
・モデル、学習、推論など基本的な機械学習についての理解がある方
微積分(特に微分)と線形代数の簡単な知識(行列の積と逆行列固有値までの簡単な理解)がある方(基本的な内容がある程度わかっているレベルで大丈夫です)

上記は英語検定準2級〜2級、数学検定準2級〜2級くらいのレベル感で、高校卒業レベル+αくらいを想定しています。大学1〜2年であれば少しだけ並行で調べながら読む、3〜4年であればそのまま読むような内容になっているのではないかと思います。
機械学習関連の論文を読むのはそれほど難しいことではない」というのを、テキストを読み進めるのを通してご理解いただけたら良いなと考え作成しました。


2. 簡単な内容の紹介
2節では簡単に内容についてご紹介します。

f:id:lib-arts:20200303205310p:plain

まず第1章では序論(Introduction)として、「論文を読めるようになるにあたっての戦略」についてまとめています。「構成を知る」ということと、「読み方」、「最初に何から読むべきか」などについてまとめています。大概の論文は同じ構成で記述されているため、ある程度パターンをつかむことでスムーズに読み進めることができるようになります。

f:id:lib-arts:20200303205817p:plain

f:id:lib-arts:20200303205844p:plain

第2章以降では実際に論文を読むにあたってのケーススタディとして、いくつか論文を紹介し、読み進めています。第2章ではDeepLearningが流行するようになったきっかけとして、画像分類(Image Classification)の研究について紹介しています。非常に有名な研究として、AlexNet[2012]、VGGNet[2014]、ResNet[2015]などを紹介しています。

f:id:lib-arts:20200303210143p:plain
第3章ではImage Segmentation(画像の意味分割)について取り扱っています。有名どころの研究としてFCN[2014]、U-Net[2015]について紹介したのちに、発展項目としてInstance Segmentationタスクについて取り扱った、Mask RCNN[2017]についてご紹介しています。

f:id:lib-arts:20200303210207p:plain

f:id:lib-arts:20200303210224p:plain

第4章では生成モデル(Generative Model)について取り扱っています。生成モデルにDeepLearningを導入したベースの研究としてGenerative Adversarial Networks[2014]についてご紹介したのちに、安定化を試みた手法であるDCGAN[2015]や、応用トピックとして画像変換への適用を試みた、Pix2Pix[2016]、CycleGAN[2017]、StarGAN[2017]についてもご紹介しています。

3. 今後のアップデート予定について
上巻のアップデートよりも下巻の執筆を優先しようと考えています。

f:id:lib-arts:20200303210557p:plain
1-4節で上記のように記したのですが、第5章で物体検出(Object Detection)、6章で言語処理(Natural Language Processing)、7章で強化学習(Reinforcement Learning)、8章でその他について取り扱う予定です。


4. まとめ
#4では、DeepLearning関連の論文を原文で読むにあたっての手引きとしてまとめた、「DeepLearning 関連論文の読み方手引き」の上巻についてご紹介しました。
#5では実務で用いやすい言語処理ということで、「簡易Pythonコードで学ぶ、実践的自然言語処理入門」をご紹介できればと思います。