Machine Learning

Reformer: The Efficient Transformer②(Locality-Sensitive Hashing Attention)|言語処理へのDeepLearningの導入の研究トレンドを俯瞰する #40

言語処理へのDeepLearningの導入をご紹介するにあたって、#3〜#8においては、Transformer[2017]やBERT[2018]について、#9~#10ではXLNet[2019]について、#11~#12ではTransformer-XL[2019]について、#13~#17ではRoBERTa[2019]について、#18~#20ではWord2Vec[20…

Reformer: The Efficient Transformer①(Abstract&Introduction)|言語処理へのDeepLearningの導入の研究トレンドを俯瞰する #39

言語処理へのDeepLearningの導入をご紹介するにあたって、#3〜#8においては、Transformer[2017]やBERT[2018]について、#9~#10ではXLNet[2019]について、#11~#12ではTransformer-XL[2019]について、#13~#17ではRoBERTa[2019]について、#18~#20ではWord2Vec[20…

StyleGAN①(Abstract&Introduction)|Style Transferの研究を俯瞰する #5

2019年にNVIDIAが公開して話題になったStyle GANにもあるように、生成モデルへのStyle Transferの研究の導入が注目されています。当シリーズではそれを受けて、Style Transferの研究を俯瞰しながらStyle GANやStyle GAN2などの研究を取り扱っていきます。#1…

AdaIN②(Related Work以降の重要ポイント)|Style Transferの研究を俯瞰する #4

2019年にNVIDIAが公開して話題になったStyle GANにもあるように、生成モデルへのStyle Transferの研究の導入が注目されています。当シリーズではそれを受けて、Style Transferの研究を俯瞰しながらStyle GANやStyle GAN2などの研究を取り扱っていきます。#1…

AdaIN①(Abstract&Introduction)|Style Transferの研究を俯瞰する #3

2019年にNVIDIAが公開して話題になったStyle GANにもあるように、生成モデルへのStyle Transferの研究の導入が注目されています。当シリーズではそれを受けて、Style Transferの研究を俯瞰しながらStyle GANやStyle GAN2などの研究を取り扱っていきます。#1…

Image Style Transfer②(Deep image representations以降の重要ポイント)|Style Transferの研究を俯瞰する #2

当シリーズでは、Style Transferの研究を俯瞰しながらStyle GANやStyle GAN2などの研究を読み解いていきます。#1、#2ではStyle Transfer関連の初期の研究である、Image Style Transfer(Image Style Transfer Using Convolutional Neural Networks)について取…

A Decomposable Attention Model for Natural Language Inference②(Related Work以降)|言語処理へのDeepLearningの導入の研究トレンドを俯瞰する #38

言語処理へのDeepLearningの導入をご紹介するにあたって、#3〜#8においては、Transformer[2017]やBERT[2018]について、#9~#10ではXLNet[2019]について、#11~#12ではTransformer-XL[2019]について、#13~#17ではRoBERTa[2019]について、#18~#20ではWord2Vec[20…

Image Style Transfer①(Abstract&Introduction)|Style Transferの研究を俯瞰する #1

2019年にNVIDIAが公開して話題になったStyle GANにもあるように、生成モデルへのStyle Transferの研究の導入が注目されています。当シリーズではそれを受けて、Style Transferの研究を俯瞰しながらStyle GANやStyle GAN2などの研究を読み解いていければと思…

A Decomposable Attention Model for Natural Language Inference①(Abstract&Introduction)|言語処理へのDeepLearningの導入の研究トレンドを俯瞰する #37

言語処理へのDeepLearningの導入をご紹介するにあたって、#3〜#8においては、Transformer[2017]やBERT[2018]について、#9~#10ではXLNet[2019]について、#11~#12ではTransformer-XL[2019]について、#13~#17ではRoBERTa[2019]について、#18~#20ではWord2Vec[20…

A Structured Self-attentive Sentence Embedding②(Related Work以降)|言語処理へのDeepLearningの導入の研究トレンドを俯瞰する #36

言語処理へのDeepLearningの導入をご紹介するにあたって、#3〜#8においては、Transformer[2017]やBERT[2018]について、#9~#10ではXLNet[2019]について、#11~#12ではTransformer-XL[2019]について、#13~#17ではRoBERTa[2019]について、#18~#20ではWord2Vec[20…

A Structured Self-attentive Sentence Embedding①(Abstract&Introduction)|言語処理へのDeepLearningの導入の研究トレンドを俯瞰する #35

言語処理へのDeepLearningの導入をご紹介するにあたって、#3〜#8においては、Transformer[2017]やBERT[2018]について、#9~#10ではXLNet[2019]について、#11~#12ではTransformer-XL[2019]について、#13~#17ではRoBERTa[2019]について、#18~#20ではWord2Vec[20…

ELMo(Deep contextualized word representations)②(Related Work以降)|言語処理へのDeepLearningの導入の研究トレンドを俯瞰する #34

言語処理へのDeepLearningの導入をご紹介するにあたって、#3〜#8においては、Transformer[2017]やBERT[2018]について、#9~#10ではXLNet[2019]について、#11~#12ではTransformer-XL[2019]について、#13~#17ではRoBERTa[2019]について、#18~#20ではWord2Vec[20…

Ch_3 Finite Markov Decision Processes②|『Reinforcement Learning(by Sutton)』を読み解く #7

強化学習に関しては概要の確認やDeep Q Network関連を中心とした論文の解説や実装の確認などをこれまで行ってきましたが、ベースの知識の再整理ということで『Reinforcement Learning(by Sutton)』をまとめていきます。 https://www.andrew.cmu.edu/course/1…

論文で理解するAlphaZeroの概要|論文で理解する深層強化学習の研究トレンド #5

連載の詳細の経緯は#1に記しましたが、深層強化学習の研究トレンドを論文を元に把握していくシリーズとしています。 #1ではApe-X[2018]について、#2ではR2D2[2019]について、#3ではR2D3について、#4ではMuZeroについてご紹介しました。 論文で理解するApe-X…

Ch_3 Finite Markov Decision Processes①|『Reinforcement Learning(by Sutton)』を読み解く #6

強化学習に関しては概要の確認やDeep Q Network関連を中心とした論文の解説や実装の確認などをこれまで行ってきましたが、ベースの知識の再整理ということで『Reinforcement Learning(by Sutton)』をまとめていきます。 https://www.andrew.cmu.edu/course/1…

ELMo(Deep contextualized word representations)①(Abstract&Introduction)|言語処理へのDeepLearningの導入の研究トレンドを俯瞰する #33

言語処理へのDeepLearningの導入をご紹介するにあたって、#3〜#8においては、Transformer[2017]やBERT[2018]について、#9~#10ではXLNet[2019]について、#11~#12ではTransformer-XL[2019]について、#13~#17ではRoBERTa[2019]について、#18~#20ではWord2Vec[20…

ERNIE(ERNIE: Enhanced Language Representation with Informative Entities)②(Related Work以降)|言語処理へのDeepLearningの導入の研究トレンドを俯瞰する #32

言語処理へのDeepLearningの導入をご紹介するにあたって、#3〜#8においては、Transformer[2017]やBERT[2018]について、#9~#10ではXLNet[2019]について、#11~#12ではTransformer-XL[2019]について、#13~#17ではRoBERTa[2019]について、#18~#20ではWord2Vec[20…

論文で理解するMuZeroの概要|論文で理解する深層強化学習の研究トレンド #4

連載の詳細の経緯は#1に記しましたが、深層強化学習の研究トレンドを論文を元に把握していくシリーズとしています。 #1ではApe-X[2018]について、#2ではR2D2[2019]について、#3ではR2D3についてご紹介しました。 論文で理解するApe-Xの概要|論文で理解する…

モンテカルロ木探索(MCTS; Monte Carlo Tree Search)の概要

https://www.andrew.cmu.edu/course/10-703/textbook/BartoSutton.pdf 上記のSutton本を読み進めているのですが、Ch.8が若干説明がややこしくなってきて読みづらくなってきたので、関連知識として気になったモンテカルロ木探索(MCTS; Monte Carlo Tree Searc…

ERNIE①(Abstract&Introduction)|言語処理へのDeepLearningの導入の研究トレンドを俯瞰する #31

言語処理へのDeepLearningの導入をご紹介するにあたって、#3〜#8においては、Transformer[2017]やBERT[2018]について、#9~#10ではXLNet[2019]について、#11~#12ではTransformer-XL[2019]について、#13~#17ではRoBERTa[2019]について、#18~#20ではWord2Vec[20…

T5(Text-toText Transfer Transformer)⑤(Section4_Reflection)|言語処理へのDeepLearningの導入の研究トレンドを俯瞰する #30

言語処理へのDeepLearningの導入をご紹介するにあたって、#3〜#8においては、Transformer[2017]やBERT[2018]について、#9~#10ではXLNet[2019]について、#11~#12ではTransformer-XL[2019]について、#13~#17ではRoBERTa[2019]について、#18~#20ではWord2Vec[20…

T5(Text-toText Transfer Transformer)④(Section3_Experiments)|言語処理へのDeepLearningの導入の研究トレンドを俯瞰する #29

言語処理へのDeepLearningの導入をご紹介するにあたって、#3〜#8においては、Transformer[2017]やBERT[2018]について、#9~#10ではXLNet[2019]について、#11~#12ではTransformer-XL[2019]について、#13~#17ではRoBERTa[2019]について、#18~#20ではWord2Vec[20…

T5(Text-toText Transfer Transformer)③(Section2_Setup)|言語処理へのDeepLearningの導入の研究トレンドを俯瞰する #28

言語処理へのDeepLearningの導入をご紹介するにあたって、#3〜#8においては、Transformer[2017]やBERT[2018]について、#9~#10ではXLNet[2019]について、#11~#12ではTransformer-XL[2019]について、#13~#17ではRoBERTa[2019]について、#18~#20ではWord2Vec[20…

Ch_8 Planning and Learning with Tabular Methods③|『Reinforcement Learning(by Sutton)』を読み解く #5

強化学習に関しては概要の確認やDeep Q Network関連を中心とした論文の解説や実装の確認などをこれまで行ってきましたが、ベースの知識の再整理ということで『Reinforcement Learning(by Sutton)』をまとめていきます。 https://www.andrew.cmu.edu/course/1…

T5(Text-toText Transfer Transformer)②(Introductionの確認)|言語処理へのDeepLearningの導入の研究トレンドを俯瞰する #27

言語処理へのDeepLearningの導入をご紹介するにあたって、#3〜#8においては、Transformer[2017]やBERT[2018]について、#9~#10ではXLNet[2019]について、#11~#12ではTransformer-XL[2019]について、#13~#17ではRoBERTa[2019]について、#18~#20ではWord2Vec[20…

Ch_8 Planning and Learning with Tabular Methods②|『Reinforcement Learning(by Sutton)』を読み解く #4

強化学習に関しては概要の確認やDeep Q Network関連を中心とした論文の解説や実装の確認などをこれまで行ってきましたが、ベースの知識の再整理ということで『Reinforcement Learning(by Sutton)』をまとめていきます。 https://www.andrew.cmu.edu/course/1…

Ch_8 Planning and Learning with Tabular Methods①|『Reinforcement Learning(by Sutton)』を読み解く #3

強化学習に関しては概要の確認やDeep Q Network関連を中心とした論文の解説や実装の確認などをこれまで行ってきましたが、ベースの知識の再整理ということで『Reinforcement Learning(by Sutton)』をまとめていきます。 https://www.andrew.cmu.edu/course/1…

Semi-Supervised GAN(概要の把握)|DeepLearningを用いた生成モデルの研究を俯瞰する #4

当シリーズでは生成モデルの研究や実装にもフォーカスをあてられればということで、進めていきます。 GitHub - eriklindernoren/PyTorch-GAN: PyTorch implementations of Generative Adversarial Networks. 上記に様々なPyTorch実装や論文のリンクがまとめ…

回帰モデルのパラメータのベイズ化|高校数学の演習を通して理解する確率分布と最尤法 #6

当シリーズでは、高校レベルの数学と絡めながら確率分布と最尤法について取り扱っています。#1では集合・確率と様々な関数(指数関数、対数関数)について、#2では確率分布のグラフ化と掛け算と対数について、#3では合成関数の微分と最大値問題について、#4…

Dual GAN(概要の把握)|DeepLearningを用いた生成モデルの研究を俯瞰する #3

当シリーズでは生成モデルの研究や実装にもフォーカスをあてられればということで、進めていきます。 GitHub - eriklindernoren/PyTorch-GAN: PyTorch implementations of Generative Adversarial Networks. 上記に様々なPyTorch実装や論文のリンクがまとめ…