Machine Learning論文クイズ #1

論文を読み慣れてくると時折参照している論文が番号を辿らなくてもわかることがあります。このように確認しなくても論文が推測できるようになると、詳しく記述を読み込まなくても引用の出てくる順番だけで論理展開がわかるようになりアドバンテージとして大きいです。
ということでそのことに関連し、Machine Learning論文クイズとして、引用している論文を本文の記載からあてるという問題を作成することといたしました。これができるようになると同時にトレンドもわかるようになるので文脈把握のスキル向上のきっかけとしていただけたらと思います。

Q.1

(ResNet論文のIntroductionより)
・上記の21の論文を推測せよ。（ヒント：2012年のILSVRCのNo.1）
・上記の41の論文を推測せよ。（ヒント：16層ということは....）

Q.2

(MuZero論文のIntroductionより)
・上記の5の論文を推測せよ。（ヒント：当時の世界チャンピオンのガルリ・カスパロフに勝利した。）
・上記の38の論文を推測せよ。（ヒント：韓国のプロ棋士イ・セドルに勝利した。）
・上記の18の論文を推測せよ。（ヒント：強化学習に分散処理を導入してSOTAを達成した）
・上記の21の論文を推測せよ。（ヒント：MDPではなくリカレント構造を導入してSOTAを達成した）
・上記の39の論文のタイトルを回答せよ。（調べてOK。）

Q.3

(BERT派生のT5論文のIntroductionより)

(T5論文のSection2.1より)
・Mikolov et al., 2013aを推測せよ。（ヒント：word vectorsということは....）
・Mikolov et al., 2013bを推測せよ。（ヒント：word vectorsということは....）
・Devlin et al., 2018を推測せよ。（ヒント：教師なし学習を用いたpre-trainingということは....）
・Yang et al., 2019推測せよ。（ヒント：教師なし学習を用いたpre-trainingということは....）
・Vaswani et al., 2017の論文のタイトルを答えよ。

A.1
[21] AlexNet(A. Krizhevsky, I. Sutskever, and G. Hinton. Imagenet classification with deep convolutional neural networks. In NIPS, 2012.)
[41] VGGNet(K. Simonyan and A. Zisserman. Very deep convolutional networks for large-scale image recognition. In ICLR, 2015.)

解説.1
ResNetの論文なので、類似のタスクに取り組んだ研究であるAlexNetやVGGNetは基本的にどこかしらで出てくるとは考えておく方が良いです。重要論文はこのような形で引用されることが多いため被引用数が多くなる傾向にあります。
基本的に被引用数が5,000や10,000を超える論文は重要な研究であることが多いので、特に慣れないうちは被引用数が多い論文を読むようにすると新しい論文の文脈が掴みやすくなるためおすすめです。

A.2
[5] Deep blue(Murray Campbell, A. Joseph Hoane, Jr., and Feng-hsiung Hsu. Deep blue. Artif. Intell., 134(1-2):57–83, January 2002.)
[38] Alpha Go(David Silver, Aja Huang, Chris J. Maddison, Arthur Guez, Laurent Sifre, George van den Driessche, Julian Schrittwieser, Ioannis Antonoglou, Veda Panneershelvam, Marc Lanctot, Sander Dieleman, Dominik Grewe, John Nham, Nal Kalchbrenner, Ilya Sutskever, Timothy Lillicrap, Madeleine Leach, Koray Kavukcuoglu, Thore Graepel, and Demis Hassabis. Mastering the game of Go with deep neural networks and tree search. Nature, 529(7587):484–489, January 2016.)
[18] Ape-X(Dan Horgan, John Quan, David Budden, Gabriel Barth-Maron, Matteo Hessel, Hado van Hasselt, and David Silver. Distributed prioritized experience replay. In International Conference on Learning Representations, 2018.)
[21] R2D2(Steven Kapturowski, Georg Ostrovski, Will Dabney, John Quan, and Remi Munos. Recurrent experience replay in distributed reinforcement learning. In International Conference on Learning Representations, 2019.)
[39] A general reinforcement learning algorithm that masters chess, shogi, and go through self-play.

解説.2
MuZeroはAtariのベンチマークに対して、Model-based強化学習に基づいたアプローチでModel-freeに基づくApe-XやR2D2のパフォーマンスを上回った研究です。そのためModel-freeのアプローチであるApe-XやR2D2や、従来のModel-basedの研究としてDeep blue、AlphaGo、AlphaZeroなどの引用がされています。
また、Model-basedの引用として[42]では"Richard S. Sutton and Andrew G. Barto. Reinforcement Learning: An Introduction. The MIT Press, second edition, 2018."が引用されていますが、こちらの教科書は強化学習全般を学ぶ上で非常に有用なので都度参照すると良いかと思います。

A.3
・Word2vec(Tomas Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient estimation of word representa- tions in vector space. arXiv preprint arXiv:1301.3781, 2013a.)
・Word2vec(Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S. Corrado, and Jeff Dean. Distributed representations of words and phrases and their compositionality. In Advances in neural information processing systems, 2013b.)
・BERT(Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.)
・XLNet(Zhilin Yang, Zihang Dai, Yiming Yang, Jaime Carbonell, Ruslan Salakhutdinov, and Quoc V. Le. XLNet: Generalized autoregressive pretraining for language understanding. arXiv preprint arXiv:1906.08237, 2019.)
・Attention is all you need.

解説.3
T5(Text-to-Text Transfer Transformer)はBERTを元にした研究です。そのため、Transformer、BERT、XLNetなどについて参照がされていると考えて良いです。また、単語のベクトル表現を計算するWord2vecは元々ニューラルネットワークに基づいて学習が考案されたのに加えて、seq2seqのようなRNNモジュールとTransformerモジュールの双方で用いられているためここで参照されています。

まとめ.
ちょっとしたまとめなどではそれぞれの研究が独立しているような印象を受けがちですが、これまでの研究の課題にどのように取り組むかという視点でそれぞれの研究を見ることで大まかなトレンドの流れが見えてくるので非常に興味深いです。
そのため被引用数の多い重要論文についてはなるべく目を通しておくのがよいかと思います。論文読解のコツについては下記などにまとめましたのでご興味おありの方は確認してみていただけたらと思います。

↓完全版