paper

サーベイ論文の確認と追加調査②(Introduction)|Graph Neural Networkの研究を俯瞰する #2

グラフ理論やCNNをグラフ理論に応用したグラフ畳み込みネットワークについては下記で以前に簡単に取り扱いました。 ベースライン論文におけるGraphのCNN学習アルゴリズム|ベースから理解するGraph Convolutional Networks #2 - Liberal Art’s diary もう少…

Reformer: The Efficient Transformer③(Reversible Transformer以降)|言語処理へのDeepLearningの導入の研究トレンドを俯瞰する #41

言語処理へのDeepLearningの導入をご紹介するにあたって、#3〜#8においては、Transformer[2017]やBERT[2018]について、#9~#10ではXLNet[2019]について、#11~#12ではTransformer-XL[2019]について、#13~#17ではRoBERTa[2019]について、#18~#20ではWord2Vec[20…

サーベイ論文の確認と追加調査①(Abstractで掴む概要)|Graph Neural Networkの研究を俯瞰する #1

グラフ理論やCNNをグラフ理論に応用したグラフ畳み込みネットワークについては下記で以前に簡単に取り扱いました。 ベースライン論文におけるGraphのCNN学習アルゴリズム|ベースから理解するGraph Convolutional Networks #2 - Liberal Art’s diary もう少…

Reformer: The Efficient Transformer②(Locality-Sensitive Hashing Attention)|言語処理へのDeepLearningの導入の研究トレンドを俯瞰する #40

言語処理へのDeepLearningの導入をご紹介するにあたって、#3〜#8においては、Transformer[2017]やBERT[2018]について、#9~#10ではXLNet[2019]について、#11~#12ではTransformer-XL[2019]について、#13~#17ではRoBERTa[2019]について、#18~#20ではWord2Vec[20…

Reformer: The Efficient Transformer①(Abstract&Introduction)|言語処理へのDeepLearningの導入の研究トレンドを俯瞰する #39

言語処理へのDeepLearningの導入をご紹介するにあたって、#3〜#8においては、Transformer[2017]やBERT[2018]について、#9~#10ではXLNet[2019]について、#11~#12ではTransformer-XL[2019]について、#13~#17ではRoBERTa[2019]について、#18~#20ではWord2Vec[20…

StyleGAN①(Abstract&Introduction)|Style Transferの研究を俯瞰する #5

2019年にNVIDIAが公開して話題になったStyle GANにもあるように、生成モデルへのStyle Transferの研究の導入が注目されています。当シリーズではそれを受けて、Style Transferの研究を俯瞰しながらStyle GANやStyle GAN2などの研究を取り扱っていきます。#1…

AdaIN②(Related Work以降の重要ポイント)|Style Transferの研究を俯瞰する #4

2019年にNVIDIAが公開して話題になったStyle GANにもあるように、生成モデルへのStyle Transferの研究の導入が注目されています。当シリーズではそれを受けて、Style Transferの研究を俯瞰しながらStyle GANやStyle GAN2などの研究を取り扱っていきます。#1…

AdaIN①(Abstract&Introduction)|Style Transferの研究を俯瞰する #3

2019年にNVIDIAが公開して話題になったStyle GANにもあるように、生成モデルへのStyle Transferの研究の導入が注目されています。当シリーズではそれを受けて、Style Transferの研究を俯瞰しながらStyle GANやStyle GAN2などの研究を取り扱っていきます。#1…

Image Style Transfer②(Deep image representations以降の重要ポイント)|Style Transferの研究を俯瞰する #2

当シリーズでは、Style Transferの研究を俯瞰しながらStyle GANやStyle GAN2などの研究を読み解いていきます。#1、#2ではStyle Transfer関連の初期の研究である、Image Style Transfer(Image Style Transfer Using Convolutional Neural Networks)について取…

A Decomposable Attention Model for Natural Language Inference②(Related Work以降)|言語処理へのDeepLearningの導入の研究トレンドを俯瞰する #38

言語処理へのDeepLearningの導入をご紹介するにあたって、#3〜#8においては、Transformer[2017]やBERT[2018]について、#9~#10ではXLNet[2019]について、#11~#12ではTransformer-XL[2019]について、#13~#17ではRoBERTa[2019]について、#18~#20ではWord2Vec[20…

Image Style Transfer①(Abstract&Introduction)|Style Transferの研究を俯瞰する #1

2019年にNVIDIAが公開して話題になったStyle GANにもあるように、生成モデルへのStyle Transferの研究の導入が注目されています。当シリーズではそれを受けて、Style Transferの研究を俯瞰しながらStyle GANやStyle GAN2などの研究を読み解いていければと思…

A Decomposable Attention Model for Natural Language Inference①(Abstract&Introduction)|言語処理へのDeepLearningの導入の研究トレンドを俯瞰する #37

言語処理へのDeepLearningの導入をご紹介するにあたって、#3〜#8においては、Transformer[2017]やBERT[2018]について、#9~#10ではXLNet[2019]について、#11~#12ではTransformer-XL[2019]について、#13~#17ではRoBERTa[2019]について、#18~#20ではWord2Vec[20…

A Structured Self-attentive Sentence Embedding②(Related Work以降)|言語処理へのDeepLearningの導入の研究トレンドを俯瞰する #36

言語処理へのDeepLearningの導入をご紹介するにあたって、#3〜#8においては、Transformer[2017]やBERT[2018]について、#9~#10ではXLNet[2019]について、#11~#12ではTransformer-XL[2019]について、#13~#17ではRoBERTa[2019]について、#18~#20ではWord2Vec[20…

A Structured Self-attentive Sentence Embedding①(Abstract&Introduction)|言語処理へのDeepLearningの導入の研究トレンドを俯瞰する #35

言語処理へのDeepLearningの導入をご紹介するにあたって、#3〜#8においては、Transformer[2017]やBERT[2018]について、#9~#10ではXLNet[2019]について、#11~#12ではTransformer-XL[2019]について、#13~#17ではRoBERTa[2019]について、#18~#20ではWord2Vec[20…

ELMo(Deep contextualized word representations)②(Related Work以降)|言語処理へのDeepLearningの導入の研究トレンドを俯瞰する #34

言語処理へのDeepLearningの導入をご紹介するにあたって、#3〜#8においては、Transformer[2017]やBERT[2018]について、#9~#10ではXLNet[2019]について、#11~#12ではTransformer-XL[2019]について、#13~#17ではRoBERTa[2019]について、#18~#20ではWord2Vec[20…

論文で理解するAlphaZeroの概要|論文で理解する深層強化学習の研究トレンド #5

連載の詳細の経緯は#1に記しましたが、深層強化学習の研究トレンドを論文を元に把握していくシリーズとしています。 #1ではApe-X[2018]について、#2ではR2D2[2019]について、#3ではR2D3について、#4ではMuZeroについてご紹介しました。 論文で理解するApe-X…

ELMo(Deep contextualized word representations)①(Abstract&Introduction)|言語処理へのDeepLearningの導入の研究トレンドを俯瞰する #33

言語処理へのDeepLearningの導入をご紹介するにあたって、#3〜#8においては、Transformer[2017]やBERT[2018]について、#9~#10ではXLNet[2019]について、#11~#12ではTransformer-XL[2019]について、#13~#17ではRoBERTa[2019]について、#18~#20ではWord2Vec[20…

ERNIE(ERNIE: Enhanced Language Representation with Informative Entities)②(Related Work以降)|言語処理へのDeepLearningの導入の研究トレンドを俯瞰する #32

言語処理へのDeepLearningの導入をご紹介するにあたって、#3〜#8においては、Transformer[2017]やBERT[2018]について、#9~#10ではXLNet[2019]について、#11~#12ではTransformer-XL[2019]について、#13~#17ではRoBERTa[2019]について、#18~#20ではWord2Vec[20…

論文で理解するMuZeroの概要|論文で理解する深層強化学習の研究トレンド #4

連載の詳細の経緯は#1に記しましたが、深層強化学習の研究トレンドを論文を元に把握していくシリーズとしています。 #1ではApe-X[2018]について、#2ではR2D2[2019]について、#3ではR2D3についてご紹介しました。 論文で理解するApe-Xの概要|論文で理解する…

ERNIE①(Abstract&Introduction)|言語処理へのDeepLearningの導入の研究トレンドを俯瞰する #31

言語処理へのDeepLearningの導入をご紹介するにあたって、#3〜#8においては、Transformer[2017]やBERT[2018]について、#9~#10ではXLNet[2019]について、#11~#12ではTransformer-XL[2019]について、#13~#17ではRoBERTa[2019]について、#18~#20ではWord2Vec[20…

T5(Text-toText Transfer Transformer)⑤(Section4_Reflection)|言語処理へのDeepLearningの導入の研究トレンドを俯瞰する #30

言語処理へのDeepLearningの導入をご紹介するにあたって、#3〜#8においては、Transformer[2017]やBERT[2018]について、#9~#10ではXLNet[2019]について、#11~#12ではTransformer-XL[2019]について、#13~#17ではRoBERTa[2019]について、#18~#20ではWord2Vec[20…

T5(Text-toText Transfer Transformer)④(Section3_Experiments)|言語処理へのDeepLearningの導入の研究トレンドを俯瞰する #29

言語処理へのDeepLearningの導入をご紹介するにあたって、#3〜#8においては、Transformer[2017]やBERT[2018]について、#9~#10ではXLNet[2019]について、#11~#12ではTransformer-XL[2019]について、#13~#17ではRoBERTa[2019]について、#18~#20ではWord2Vec[20…

T5(Text-toText Transfer Transformer)③(Section2_Setup)|言語処理へのDeepLearningの導入の研究トレンドを俯瞰する #28

言語処理へのDeepLearningの導入をご紹介するにあたって、#3〜#8においては、Transformer[2017]やBERT[2018]について、#9~#10ではXLNet[2019]について、#11~#12ではTransformer-XL[2019]について、#13~#17ではRoBERTa[2019]について、#18~#20ではWord2Vec[20…

T5(Text-toText Transfer Transformer)②(Introductionの確認)|言語処理へのDeepLearningの導入の研究トレンドを俯瞰する #27

言語処理へのDeepLearningの導入をご紹介するにあたって、#3〜#8においては、Transformer[2017]やBERT[2018]について、#9~#10ではXLNet[2019]について、#11~#12ではTransformer-XL[2019]について、#13~#17ではRoBERTa[2019]について、#18~#20ではWord2Vec[20…

Semi-Supervised GAN(概要の把握)|DeepLearningを用いた生成モデルの研究を俯瞰する #4

当シリーズでは生成モデルの研究や実装にもフォーカスをあてられればということで、進めていきます。 GitHub - eriklindernoren/PyTorch-GAN: PyTorch implementations of Generative Adversarial Networks. 上記に様々なPyTorch実装や論文のリンクがまとめ…

Dual GAN(概要の把握)|DeepLearningを用いた生成モデルの研究を俯瞰する #3

当シリーズでは生成モデルの研究や実装にもフォーカスをあてられればということで、進めていきます。 GitHub - eriklindernoren/PyTorch-GAN: PyTorch implementations of Generative Adversarial Networks. 上記に様々なPyTorch実装や論文のリンクがまとめ…

Bicycle GAN(概要の把握)|DeepLearningを用いた生成モデルの研究を俯瞰する #2

当シリーズでは生成モデルの研究や実装にもフォーカスをあてられればということで、進めていきます。 GitHub - eriklindernoren/PyTorch-GAN: PyTorch implementations of Generative Adversarial Networks. 上記に様々なPyTorch実装や論文のリンクがまとめ…

T5①(論文のAbstractの確認)|言語処理へのDeepLearningの導入の研究トレンドを俯瞰する #26

言語処理へのDeepLearningの導入をご紹介するにあたって、#3〜#8においては、Transformer[2017]やBERT[2018]について、#9~#10ではXLNet[2019]について、#11~#12ではTransformer-XL[2019]について、#13~#17ではRoBERTa[2019]について、#18~#20ではWord2Vec[20…

論文で理解するMask R-CNNの概要|論文で俯瞰するSegmentationの研究トレンド #1

当シリーズではセグメンテーション(Semantic Segmentation)の研究トレンドをまとめています。 概論&全体的な研究トレンドの概観④(Cascade R-CNN、CBNet)|物体検出(Object Detection)の研究トレンドを俯瞰する #5 - lib-arts’s diary #1では上記のCascade…

Auxiliary Classifier GAN(概要の把握)|DeepLearningを用いた生成モデルの研究を俯瞰する #1

DeepLearningの生成モデルへの応用に関しては、2014年の"Generative Adversarial Networks"を始めとして、これまで数多くの研究が行われてきています。生成モデルは結果としてわかりやすくインパクトが強いのに加えて、学習にあたっての不安定性の解消の難し…