trend

Reformer: The Efficient Transformer③(Reversible Transformer以降)|言語処理へのDeepLearningの導入の研究トレンドを俯瞰する #41

言語処理へのDeepLearningの導入をご紹介するにあたって、#3〜#8においては、Transformer[2017]やBERT[2018]について、#9~#10ではXLNet[2019]について、#11~#12ではTransformer-XL[2019]について、#13~#17ではRoBERTa[2019]について、#18~#20ではWord2Vec[20…

Reformer: The Efficient Transformer②(Locality-Sensitive Hashing Attention)|言語処理へのDeepLearningの導入の研究トレンドを俯瞰する #40

言語処理へのDeepLearningの導入をご紹介するにあたって、#3〜#8においては、Transformer[2017]やBERT[2018]について、#9~#10ではXLNet[2019]について、#11~#12ではTransformer-XL[2019]について、#13~#17ではRoBERTa[2019]について、#18~#20ではWord2Vec[20…

Reformer: The Efficient Transformer①(Abstract&Introduction)|言語処理へのDeepLearningの導入の研究トレンドを俯瞰する #39

言語処理へのDeepLearningの導入をご紹介するにあたって、#3〜#8においては、Transformer[2017]やBERT[2018]について、#9~#10ではXLNet[2019]について、#11~#12ではTransformer-XL[2019]について、#13~#17ではRoBERTa[2019]について、#18~#20ではWord2Vec[20…

A Structured Self-attentive Sentence Embedding②(Related Work以降)|言語処理へのDeepLearningの導入の研究トレンドを俯瞰する #36

言語処理へのDeepLearningの導入をご紹介するにあたって、#3〜#8においては、Transformer[2017]やBERT[2018]について、#9~#10ではXLNet[2019]について、#11~#12ではTransformer-XL[2019]について、#13~#17ではRoBERTa[2019]について、#18~#20ではWord2Vec[20…

A Structured Self-attentive Sentence Embedding①(Abstract&Introduction)|言語処理へのDeepLearningの導入の研究トレンドを俯瞰する #35

言語処理へのDeepLearningの導入をご紹介するにあたって、#3〜#8においては、Transformer[2017]やBERT[2018]について、#9~#10ではXLNet[2019]について、#11~#12ではTransformer-XL[2019]について、#13~#17ではRoBERTa[2019]について、#18~#20ではWord2Vec[20…

ELMo(Deep contextualized word representations)②(Related Work以降)|言語処理へのDeepLearningの導入の研究トレンドを俯瞰する #34

言語処理へのDeepLearningの導入をご紹介するにあたって、#3〜#8においては、Transformer[2017]やBERT[2018]について、#9~#10ではXLNet[2019]について、#11~#12ではTransformer-XL[2019]について、#13~#17ではRoBERTa[2019]について、#18~#20ではWord2Vec[20…

論文で理解するAlphaZeroの概要|論文で理解する深層強化学習の研究トレンド #5

連載の詳細の経緯は#1に記しましたが、深層強化学習の研究トレンドを論文を元に把握していくシリーズとしています。 #1ではApe-X[2018]について、#2ではR2D2[2019]について、#3ではR2D3について、#4ではMuZeroについてご紹介しました。 論文で理解するApe-X…

ELMo(Deep contextualized word representations)①(Abstract&Introduction)|言語処理へのDeepLearningの導入の研究トレンドを俯瞰する #33

言語処理へのDeepLearningの導入をご紹介するにあたって、#3〜#8においては、Transformer[2017]やBERT[2018]について、#9~#10ではXLNet[2019]について、#11~#12ではTransformer-XL[2019]について、#13~#17ではRoBERTa[2019]について、#18~#20ではWord2Vec[20…

ERNIE(ERNIE: Enhanced Language Representation with Informative Entities)②(Related Work以降)|言語処理へのDeepLearningの導入の研究トレンドを俯瞰する #32

言語処理へのDeepLearningの導入をご紹介するにあたって、#3〜#8においては、Transformer[2017]やBERT[2018]について、#9~#10ではXLNet[2019]について、#11~#12ではTransformer-XL[2019]について、#13~#17ではRoBERTa[2019]について、#18~#20ではWord2Vec[20…

論文で理解するMuZeroの概要|論文で理解する深層強化学習の研究トレンド #4

連載の詳細の経緯は#1に記しましたが、深層強化学習の研究トレンドを論文を元に把握していくシリーズとしています。 #1ではApe-X[2018]について、#2ではR2D2[2019]について、#3ではR2D3についてご紹介しました。 論文で理解するApe-Xの概要|論文で理解する…

ERNIE①(Abstract&Introduction)|言語処理へのDeepLearningの導入の研究トレンドを俯瞰する #31

言語処理へのDeepLearningの導入をご紹介するにあたって、#3〜#8においては、Transformer[2017]やBERT[2018]について、#9~#10ではXLNet[2019]について、#11~#12ではTransformer-XL[2019]について、#13~#17ではRoBERTa[2019]について、#18~#20ではWord2Vec[20…

T5(Text-toText Transfer Transformer)⑤(Section4_Reflection)|言語処理へのDeepLearningの導入の研究トレンドを俯瞰する #30

言語処理へのDeepLearningの導入をご紹介するにあたって、#3〜#8においては、Transformer[2017]やBERT[2018]について、#9~#10ではXLNet[2019]について、#11~#12ではTransformer-XL[2019]について、#13~#17ではRoBERTa[2019]について、#18~#20ではWord2Vec[20…

T5(Text-toText Transfer Transformer)④(Section3_Experiments)|言語処理へのDeepLearningの導入の研究トレンドを俯瞰する #29

言語処理へのDeepLearningの導入をご紹介するにあたって、#3〜#8においては、Transformer[2017]やBERT[2018]について、#9~#10ではXLNet[2019]について、#11~#12ではTransformer-XL[2019]について、#13~#17ではRoBERTa[2019]について、#18~#20ではWord2Vec[20…

T5(Text-toText Transfer Transformer)③(Section2_Setup)|言語処理へのDeepLearningの導入の研究トレンドを俯瞰する #28

言語処理へのDeepLearningの導入をご紹介するにあたって、#3〜#8においては、Transformer[2017]やBERT[2018]について、#9~#10ではXLNet[2019]について、#11~#12ではTransformer-XL[2019]について、#13~#17ではRoBERTa[2019]について、#18~#20ではWord2Vec[20…

T5(Text-toText Transfer Transformer)②(Introductionの確認)|言語処理へのDeepLearningの導入の研究トレンドを俯瞰する #27

言語処理へのDeepLearningの導入をご紹介するにあたって、#3〜#8においては、Transformer[2017]やBERT[2018]について、#9~#10ではXLNet[2019]について、#11~#12ではTransformer-XL[2019]について、#13~#17ではRoBERTa[2019]について、#18~#20ではWord2Vec[20…

Semi-Supervised GAN(概要の把握)|DeepLearningを用いた生成モデルの研究を俯瞰する #4

当シリーズでは生成モデルの研究や実装にもフォーカスをあてられればということで、進めていきます。 GitHub - eriklindernoren/PyTorch-GAN: PyTorch implementations of Generative Adversarial Networks. 上記に様々なPyTorch実装や論文のリンクがまとめ…

Dual GAN(概要の把握)|DeepLearningを用いた生成モデルの研究を俯瞰する #3

当シリーズでは生成モデルの研究や実装にもフォーカスをあてられればということで、進めていきます。 GitHub - eriklindernoren/PyTorch-GAN: PyTorch implementations of Generative Adversarial Networks. 上記に様々なPyTorch実装や論文のリンクがまとめ…

Bicycle GAN(概要の把握)|DeepLearningを用いた生成モデルの研究を俯瞰する #2

当シリーズでは生成モデルの研究や実装にもフォーカスをあてられればということで、進めていきます。 GitHub - eriklindernoren/PyTorch-GAN: PyTorch implementations of Generative Adversarial Networks. 上記に様々なPyTorch実装や論文のリンクがまとめ…

T5①(論文のAbstractの確認)|言語処理へのDeepLearningの導入の研究トレンドを俯瞰する #26

言語処理へのDeepLearningの導入をご紹介するにあたって、#3〜#8においては、Transformer[2017]やBERT[2018]について、#9~#10ではXLNet[2019]について、#11~#12ではTransformer-XL[2019]について、#13~#17ではRoBERTa[2019]について、#18~#20ではWord2Vec[20…

論文で理解するMask R-CNNの概要|論文で俯瞰するSegmentationの研究トレンド #1

当シリーズではセグメンテーション(Semantic Segmentation)の研究トレンドをまとめています。 概論&全体的な研究トレンドの概観④(Cascade R-CNN、CBNet)|物体検出(Object Detection)の研究トレンドを俯瞰する #5 - lib-arts’s diary #1では上記のCascade…

Auxiliary Classifier GAN(概要の把握)|DeepLearningを用いた生成モデルの研究を俯瞰する #1

DeepLearningの生成モデルへの応用に関しては、2014年の"Generative Adversarial Networks"を始めとして、これまで数多くの研究が行われてきています。生成モデルは結果としてわかりやすくインパクトが強いのに加えて、学習にあたっての不安定性の解消の難し…

概論&全体的な研究トレンドの概観④(Cascade R-CNN、CBNet)|物体検出(Object Detection)の研究トレンドを俯瞰する #5

当シリーズでは物体検出の研究トレンドをまとめています。#1ではHOG(Histograms of Oriented Gradient)[2005]からR-CNN[2013]までについて、#2ではFast R-CNN、FasterRCNN、YOLO、SSDについて、#3ではFPN、RetinaNet、M2Detについて、#4ではM2Detの著者実装…

論文で理解するR2D3の概要|論文で理解する深層強化学習の研究トレンド #3

連載の詳細の経緯は#1に記しましたが、深層強化学習の研究トレンドを論文を元に把握していくシリーズとしています。 #1ではRainbowの後の2018年にDeepMindが発表した"Ape-X(DISTRIBUTED PRIORITIZED EXPERIENCE REPLAY)"について、#2では"R2D2(RECURRENT EXP…

ALBERT④(Experimental Results&Discussion)|言語処理へのDeepLearningの導入の研究トレンドを俯瞰する #24

言語処理へのDeepLearningの導入をご紹介するにあたって、#3〜#8においては、Transformer[2017]やBERT[2018]について、#9~#10ではXLNet[2019]について、#11~#12ではTransformer-XL[2019]について、#13~#17ではRoBERTa[2019]について、#18~#20ではWord2Vec[20…

ALBERT③(The Elements of ALBERT)|言語処理へのDeepLearningの導入の研究トレンドを俯瞰する #23

言語処理へのDeepLearningの導入をご紹介するにあたって、#3〜#8においては、Transformer[2017]やBERT[2018]について、#9~#10ではXLNet[2019]について、#11~#12ではTransformer-XL[2019]について、#13~#17ではRoBERTa[2019]について、#18~#20ではWord2Vec[20…

ALBERT②(Introduction&Related Work)|言語処理へのDeepLearningの導入の研究トレンドを俯瞰する #22

言語処理へのDeepLearningの導入をご紹介するにあたって、#3〜#8においては、Transformer[2017]やBERT[2018]について、#9~#10ではXLNet[2019]について、#11~#12ではTransformer-XL[2019]について、#13~#17ではRoBERTa[2019]について、#18~#20ではWord2Vec[20…

概論&全体的な研究トレンドの概観③(FPN、RetinaNet、M2Det)|物体検出(Object Detection)の研究トレンドを俯瞰する #3

物体検出の研究については以前に論文読解で、FasterRCNNやYOLO、SSD、RetinaNetについて取り扱ったのですが、改めて研究トレンドや考え方の推移についてまとめられればということで新規でシリーズを作成させていただきました。#1ではHOG(Histograms of Orien…

概論&全体的な研究トレンドの概観②(FastRCNN、FasterRCNN、YOLO、SSD)|物体検出(Object Detection)の研究トレンドを俯瞰する #2

物体検出の研究については以前に論文読解で、FasterRCNNやYOLO、SSD、RetinaNetについて取り扱ったのですが、改めて研究トレンドや考え方の推移についてまとめられればということで新規でシリーズを作成させていただきました。#1ではHOG(Histograms of Orien…

概論&全体的な研究トレンドの概観①(HOG〜R-CNNまで)|物体検出(Object Detection)の研究トレンドを俯瞰する #1

物体検出の研究については以前に論文読解で、FasterRCNNやYOLO、SSD、RetinaNetについて取り扱ったのですが、改めて研究トレンドや考え方の推移についてまとめられればということで新規でシリーズを作成させていただきました。まずはタスクの再確認というこ…

AttentionメカニズムとTransformer|言語処理へのDeepLearningの導入の研究トレンドを俯瞰する #5

近年猛威を振るっているDeepLearningの言語処理への応用についてまとめていければと思います。#4ではTransformerの大元の論文である「Attention Is All You Need」について読み進めるにあたっての前提知識についてまとめました。 #5では実際に中身を読み解い…