paper

RoBERTa(論文の詳細① Introduction&Background)|言語処理へのDeepLearningの導入の研究トレンドを俯瞰する #14

言語処理へのDeepLearningの導入をご紹介するにあたって、#3〜#8においては、Transformer[2017]やBERT[2018]について、#9~#10ではXLNet[2019]について、#11~#12ではTransformer-XL[2019]について取り扱ってきました。 #13以降では2019年7月にリリースされたB…

RoBERTa(論文のAbstractの確認)|言語処理へのDeepLearningの導入の研究トレンドを俯瞰する #13

言語処理へのDeepLearningの導入をご紹介するにあたって、#3〜#8においては、Transformer[2017]やBERT[2018]について、#9~#10ではXLNet[2019]について、#11~#12ではTransformer-XL[2019]について取り扱ってきました。 #13以降では2019年7月にリリースされたB…

Transformer-XL(論文のAbstractの確認)|言語処理へのDeepLearningの導入の研究トレンドを俯瞰する #12

言語処理へのDeepLearningの導入をご紹介するにあたって、#3〜#8においては、Transformer[2017]やBERT[2018]について、#9~#10ではXLNet[2019]について取り扱ってきました。 BERTリポジトリのサンプル実行の流れ|言語処理へのDeepLearningの導入の研究トレン…

Transformer-XL(論文のAbstractの確認)|言語処理へのDeepLearningの導入の研究トレンドを俯瞰する #11

言語処理へのDeepLearningの導入をご紹介するにあたって、#3〜#8においては、Transformer[2017]やBERT[2018]について、#9~#10ではXLNet[2019]について取り扱ってきました。 BERTリポジトリのサンプル実行の流れ|言語処理へのDeepLearningの導入の研究トレン…

XLNet②(事前学習におけるAutoRegressiveとPermutation)|言語処理へのDeepLearningの導入の研究トレンドを俯瞰する #10

言語処理へのDeepLearningの導入をご紹介するにあたって、#3〜#8においては、Transformer[2017]やBERT[2018]について取り扱ってきました。 言語処理における事前学習(Pre-training)とBERT|言語処理へのDeepLearningの導入の研究トレンドを俯瞰する #3 - lib…

XLNet①(論文のAbstractの確認)|言語処理へのDeepLearningの導入の研究トレンドを俯瞰する #9

言語処理へのDeepLearningの導入をご紹介するにあたって、#3〜#8においては、Transformer[2017]やBERT[2018]について取り扱ってきました。 言語処理における事前学習(Pre-training)とBERT|言語処理へのDeepLearningの導入の研究トレンドを俯瞰する #3 - lib…

Simple Audio Recognition②(MFCC; Mel-Frequency Cepstrum Coefficients)|音声認識(Audio Recognition)のトレンドを追う #2

下記の記事でSimple Audio Recognitionについて取り扱ったのですが、背景知識やさらなるトレンドも含めると2回じゃまとまりきらなそうだったので、音声認識(Audio Recognition)のシリーズとして別途開始することにしました。 #1では、上記で動かしたSimple A…

Deep Q-Network〜Rainbowの研究の流れと実装①(Rainbowの論文の確認)|実装で理解する深層強化学習の研究トレンド #6

連載の経緯については#1に記しました。 #1〜#5では問題設定の確認ということでOpenAI Gymについて取り扱いました。 #6からはアルゴリズムのトレンドということで、Rainbow[2017]に関しての情報を中心にDeep Q-Networkの拡張(extension)について取り扱います…

概論&全体的な研究トレンドの概観③(FPN、RetinaNet、M2Det)|物体検出(Object Detection)の研究トレンドを俯瞰する #3

物体検出の研究については以前に論文読解で、FasterRCNNやYOLO、SSD、RetinaNetについて取り扱ったのですが、改めて研究トレンドや考え方の推移についてまとめられればということで新規でシリーズを作成させていただきました。#1ではHOG(Histograms of Orien…

概論&全体的な研究トレンドの概観②(FastRCNN、FasterRCNN、YOLO、SSD)|物体検出(Object Detection)の研究トレンドを俯瞰する #2

物体検出の研究については以前に論文読解で、FasterRCNNやYOLO、SSD、RetinaNetについて取り扱ったのですが、改めて研究トレンドや考え方の推移についてまとめられればということで新規でシリーズを作成させていただきました。#1ではHOG(Histograms of Orien…

概論&全体的な研究トレンドの概観①(HOG〜R-CNNまで)|物体検出(Object Detection)の研究トレンドを俯瞰する #1

物体検出の研究については以前に論文読解で、FasterRCNNやYOLO、SSD、RetinaNetについて取り扱ったのですが、改めて研究トレンドや考え方の推移についてまとめられればということで新規でシリーズを作成させていただきました。まずはタスクの再確認というこ…

Simple Audio Recognition①(背景知識の整理)|音声認識(Audio Recognition)のトレンドを追う #1

下記の記事でSimple Audio Recognitionについて取り扱ったのですが、背景知識やさらなるトレンドも含めると2回じゃまとまりきらなそうだったので、音声認識(Audio Recognition)のシリーズとして別途開始することにしました。 #1では、上記で動かしたSimple A…

ベースライン論文におけるGraphのCNN学習アルゴリズム|ベースから理解するGraph Convolutional Networks #2

最近DeepLearningの文脈でもGraph Convolutional Networksが話題なので当シリーズはGraph Convolutional Networksについて取り扱っていきます。 [1605.05273] Learning Convolutional Neural Networks for Graphs#1では導入ということで、上記のベースライン…

ベースライン論文の概要と事前知識の整理|ベースから理解するGraph Convolutional Networks #1

上記の記事でグラフ理論についてまとめましたが、最近DeepLearningの文脈でもGraph Convolutional Networksが話題なので当シリーズはGraph Convolutional Networksについて取り扱っていきます。#1では導入ということで、下記のベースライン論文の俯瞰とそれ…

AttentionメカニズムとTransformer|言語処理へのDeepLearningの導入の研究トレンドを俯瞰する #5

近年猛威を振るっているDeepLearningの言語処理への応用についてまとめていければと思います。#4ではTransformerの大元の論文である「Attention Is All You Need」について読み進めるにあたっての前提知識についてまとめました。 #5では実際に中身を読み解い…

Attentionメカニズムと記憶ネットワーク|言語処理へのDeepLearningの導入の研究トレンドを俯瞰する #4

近年猛威を振るっているDeepLearningの言語処理への応用についてまとめていければと思います。#1では深層学習による自然言語処理」の内容、#2では対話(dialog)問題を取り扱う統合的なフレームワークのParlAIと具体的なタスク、#3では言語処理における事前学…

Sequence to Sequence Learning with Neural Networks|DeepLearning論文の原文を読む #20

#19はYOLOについて取り扱いました。 #20ではGoogle翻訳に導入して精度が上がったと一時期話題になった系列変換モデルであるSequence to Sequence(Seq2Seq)について取り扱います。(必要以上に固く書きたくなく90%〜95%程度の確信度で書きますので、もし間違…

YOLO(You Only Look Once)|DeepLearning論文の原文を読む #19

#18はRetinaNetについて取り扱いました。https://lib-arts.hatenablog.com/entry/paper18_RetinaNet#19では同じ物体検出のモデルかつRetinaNet[2017]よりも2年ほど前のYOLO[2015]について取り扱います。(必要以上に固く書きたくなく90%〜95%程度の確信度で…

RetinaNet|DeepLearning論文の原文を読む #18

#17はBatch Normalizationについて取り扱いました。 #18ではRetinaNetについて取り扱います。(必要以上に固く書きたくなく90%〜95%程度の確信度で書きますので、もし間違いなどがあれば気軽にご指摘いただけたらと思います。) [1708.02002] Focal Loss for…

Batch Normalization|DeepLearning論文の原文を読む #17

#16はXceptionについて取り扱いました。 #17ではBatch Normalizationについて取り扱います。 [1502.03167] Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift以下論文の目次です。基本的な書き方の流れとして…

Xception|DeepLearning論文の原文を読む #16

#15はU-Netについて取り扱いました。 #16では軽量化にあたってのモデル構造について検討を行ったXceptionについて取り扱います。 [1610.02357] Xception: Deep Learning with Depthwise Separable Convolutions以下論文の目次です。基本的な書き方の流れとし…

U-Net|DeepLearning論文の原文を読む #15

DeepLearning系の研究を中心に論文の読解メモをまとめていきます。エポックになった有名どころの論文を精読し、所感などをまとめられればと思います。 #14はFCNについて取り扱いました。 #15ではFCNをベースのアイデアとして修正したアルゴリズムを医療画像…

FCN(Fully Convolutional Networks)|DeepLearning論文の原文を読む #14

#13ではAdamについて取り扱いました。(#13は和訳のみとなっています。) #14ではセグメンテーションのアルゴリズムであるFCN(Fully Convolutional Networks)について取り扱います。(必要以上に固く書きたくなく90%〜95%程度の確信度で書きますので、もし間…

Adam(Adaptive Moment Estimation)|DeepLearning論文の原文を読む #13

#12ではDCGAN(Deep Convolutional GAN)について取り扱いました。 #13では最適化のアルゴリズムとして近年よく使われているAdamについて取り扱います。(ちゃんと読めてなかったのでAbstractの和訳だけにとどめ、後日追記します。) [1412.6980] Adam: A Meth…

DCGAN(Deep Convolutional GAN)|DeepLearning論文の原文を読む #12

#11ではGAN(Generative Adversarial Networks)について取り扱いました。 #12では#11のGANの学習の安定化をはかったDCGAN(Deep Convolutional Generative Adversarial Networks)について取り扱います。(必要以上に固く書きたくなく90%〜95%程度の確信度で書…

GAN(Generative Adversarial Networks)|DeepLearning論文の原文を読む #11

#10ではMobileNetsについて取り扱いました。 #11ではDeepLearningを用いた生成モデルであるGAN(Generative Adversarial Networks)について取り扱います。(必要以上に固く書きたくなく90%〜95%程度の確信度で書きますので、もし間違いなどがあれば気軽にご指…

MobileNets|DeepLearning論文の原文を読む #10

#9ではWaveNetについて取り扱いました。 #10ではモデルの軽量化に関連してMobileNetsについて取り扱います。(必要以上に固く書きたくなく90%〜95%程度の確信度で書きますので、もし間違いなどがあれば気軽にご指摘いただけたらと思います。) [1704.04861] …

WaveNet: A Generative Model for Raw Audio|DeepLearning論文の原文を読む #9

DeepLearning系の研究を中心に論文の読解メモをまとめていきます。エポックになった有名どころの論文を精読し、所感などをまとめられればと思います。(必要以上に固く書きたくなく90%〜95%程度の確信度で書きますので、もし間違いなどがあれば気軽にご指摘…

Trust Region Policy Optimization(TRPO)|DeepLearning論文の原文を読む #8

DeepLearning系の研究を中心に論文の読解メモをまとめていきます。エポックになった有名どころの論文を精読し、所感などをまとめられればと思います。(読んだ際に忙しくちゃんと読めなかった論文なので一旦Abstractの和訳のみで詳細は後日必要があれば追記…

Deep Q Network(DQN)|DeepLearning論文の原文を読む #7

DeepLearning系の研究を中心に論文の読解メモをまとめていきます。エポックになった有名どころの論文を精読し、所感などをまとめられればと思います。(必要以上に固く書きたくなく90%〜95%程度の確信度で書きますので、もし間違いなどがあれば気軽にご指摘…