paper

Dynamic Headの論文の内容について |物体検出(Object Detection)の研究トレンドを俯瞰する #6

#1〜#5にかけてR-CNN、Faster R-CNN、FPN、RetinaNet、Cascade R-CNNなどについて取り扱いました。 〜 #6ではDynamic Head[2021]の論文について取り扱います。 [2106.08322] Dynamic Head: Unifying Object Detection Heads with Attentions 以下目次になり…

TransGAN|DeepLearningを用いた生成モデルの研究を俯瞰する #5

当シリーズでは生成モデルの研究や実装の俯瞰を行います。#4ではSemi-Supervised GAN(Semi-Supervised Learning with Generative Adversarial Networks)について取り扱いました。 #5では、GANにTransformerの考え方を導入した研究である、TransGAN(TransGAN:…

Graph Networkを具体的に把握する(MPNN、NLNN)|Graph Neural Networkの理解を試みる #3

Graph Neural Networkの理解を試みるシリーズです。#2では"Relational inductive biases, deep learning, and graph networks"を元にGraph Networkの大枠について確認を行いました。 #2ではGraph Networkの大枠の理解を中心に行ったので、#3ではもう少し具体…

Graph Networkについて|Graph Neural Networkの理解を試みる #2

Graph Neural Networkの理解を試みるシリーズです。#1では"Graph Neural Networks: A Review of Methods and Applications"を元にGraph Neural Networkの構造について確認を行いました。 途中で出てきたGraph NetworkはオーソドックスなGNNであるMPNN(Messag…

Machine Learning論文クイズ #1

論文を読み慣れてくると時折参照している論文が番号を辿らなくてもわかることがあります。このように確認しなくても論文が推測できるようになると、詳しく記述を読み込まなくても引用の出てくる順番だけで論理展開がわかるようになりアドバンテージとして大…

テイラー展開と勾配ブースティング(XGBoost)についての考察

上記の記事で勾配ブースティング(Gradient Boosting)について取り扱ったのですが、関連でXGBoostの論文を確認した際に2次のテイラー展開(the second order method)が用いられており、残差を予測するだけなので不要ではないかと疑問が生じたため諸々を調べて…

【論文確認】iGPT(Generative Pretraining from Pixels)

以前の記事でTransformerを画像認識に取り入れた研究であるVisual TransformersやVision Transformerの論文を確認しましたが、今回は関連論文であるiGPT(Generative Pretraining from Pixels)について確認します。 https://cdn.openai.com/papers/Generative…

【Surveyの確認】A Survey on Visual Transformer

以前の記事ではVision Transformerについて論文の確認や実装の確認を行いました。 今回は研究トレンドの把握ということでSurveyの"A Survey on Visual Transformer"の確認を行えればと思います。 [2012.12556] A Survey on Visual Transformer なお、名称がV…

【論文確認(Vision Transformer)】An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale

以前の記事でTransformerを画像認識に取り入れた研究であるVisual Transformersの論文を確認しましたが、今回はCNNを用いずにTransformerだけで取り組んだ研究として、Vision Transformerについて取り扱います。 [2010.11929] An Image is Worth 16x16 Words…

【論文確認】Visual Transformers

当記事では主に汎用言語処理の分野で数多く関連研究がなされているTransformerを画像認識に取り入れた研究であるVisual Transformersの論文(Visual Transformers: Token-based Image Representation and Processing for Computer Vision)を確認していきます…

Abstract&Introduction|NUTS(No-U-Turn Sampler)の論文を読む #1

PyMC3などを用いたMCMCベースの手法は所々で利用されていますが、PyMC3ではNUTS(No-U-Turn Sampler)などが元になっています。NUTSはMetropolis法の発展であるHMC(Hamiltonian Monte Carlo)の拡張として導入されています。当シリーズではNUTSに関する2011年の…

Deep Generative Models of Graphs②(Section2以降)|Graph Neural Networkの研究を追う #2

#1では連載の経緯を記載し、下記の論文のAbstractとIntroductionを確認し、概要を把握しました。 [1803.03324] Learning Deep Generative Models of Graphs #2ではSection2のRelated Work以降の主要な内容についてご紹介します。以下目次になります。1. Rela…

Deep Generative Models of Graphs①(Abstract&Introduction)|Graph Neural Networkの研究を追う #1

以前のシリーズでは下記のSurveyを元にGraph Neural Networksの研究の俯瞰について行いました。 [1901.00596] A Comprehensive Survey on Graph Neural Networks 大体の概要はつかめたものの、もう少し詳しく見ていければということで新規で個々の研究を追う…

PointNet③(Experiment 〜 Conclusion)|3D Point CloudsとDeepLearning #8

[1912.12033] Deep Learning for 3D Point Clouds: A Survey 点群に対しての近年DeepLearningの導入について、#1〜#5では上記のSurveyを読み進めました。 Survey論文の確認②(Introduction)|3D Point CloudsとDeepLearning #2 - Liberal Art’s diary Survey…

ScanNetの論文を把握する②(Previous Work以降) #2

3D再現(3D Reconstructions)に関する研究であるScanNetについて、全2回で確認します。 [1702.04405] ScanNet: Richly-annotated 3D Reconstructions of Indoor Scenes #1ではAbstractとIntroductionを確認し、論文の概要を把握しました。 #2ではSection2のPr…

ScanNetを把握する①(Abstract&Introduction) #1

3D再現(3D Reconstructions)に関する研究であるScanNetについて、全2回で確認します。 [1702.04405] ScanNet: Richly-annotated 3D Reconstructions of Indoor Scenes #1ではAbstractとIntroductionを確認し、論文の概要を把握します。以下、目次になります…

CTRL: A Conditional Transformer Language Model for Controllable Generation①(Abstract & Introduction)|言語処理へのDeepLearningの導入の研究トレンドを俯瞰する #42

言語処理へのDeepLearningの導入をご紹介するにあたって、#3〜#8においては、Transformer[2017]やBERT[2018]について、#9~#10ではXLNet[2019]について、#11~#12ではTransformer-XL[2019]について、#13~#17ではRoBERTa[2019]について、#18~#20ではWord2Vec[20…

サーベイ論文の確認と追加調査⑩(Future Directions & Conclusion)|Graph Neural Networkの研究を俯瞰する #10

グラフ理論やCNNをグラフ理論に応用したグラフ畳み込みネットワークについては下記で以前に簡単に取り扱いました。 ベースライン論文におけるGraphのCNN学習アルゴリズム|ベースから理解するGraph Convolutional Networks #2 - Liberal Art’s diary もう少…

サーベイ論文の確認と追加調査⑨(Applications)|Graph Neural Networkの研究を俯瞰する #9

グラフ理論やCNNをグラフ理論に応用したグラフ畳み込みネットワークについては下記で以前に簡単に取り扱いました。 ベースライン論文におけるGraphのCNN学習アルゴリズム|ベースから理解するGraph Convolutional Networks #2 - Liberal Art’s diary もう少…

サーベイ論文の確認と追加調査⑧(Spatial-Temporal Graph Neural Networks)|Graph Neural Networkの研究を俯瞰する #8

グラフ理論やCNNをグラフ理論に応用したグラフ畳み込みネットワークについては下記で以前に簡単に取り扱いました。 ベースライン論文におけるGraphのCNN学習アルゴリズム|ベースから理解するGraph Convolutional Networks #2 - Liberal Art’s diary もう少…

サーベイ論文の確認と追加調査⑦(Graph AutoEncoders)|Graph Neural Networkの研究を俯瞰する #7

グラフ理論やCNNをグラフ理論に応用したグラフ畳み込みネットワークについては下記で以前に簡単に取り扱いました。 ベースライン論文におけるGraphのCNN学習アルゴリズム|ベースから理解するGraph Convolutional Networks #2 - Liberal Art’s diary もう少…

サーベイ論文の確認と追加調査⑥(Convolutional Graph Neural Networks)|Graph Neural Networkの研究を俯瞰する #6

グラフ理論やCNNをグラフ理論に応用したグラフ畳み込みネットワークについては下記で以前に簡単に取り扱いました。 ベースライン論文におけるGraphのCNN学習アルゴリズム|ベースから理解するGraph Convolutional Networks #2 - Liberal Art’s diary もう少…

サーベイ論文の確認と追加調査⑤(Recurrent graph neural networks)|Graph Neural Networkの研究を俯瞰する #5

グラフ理論やCNNをグラフ理論に応用したグラフ畳み込みネットワークについては下記で以前に簡単に取り扱いました。 ベースライン論文におけるGraphのCNN学習アルゴリズム|ベースから理解するGraph Convolutional Networks #2 - Liberal Art’s diary もう少…

サーベイ論文の確認と追加調査④(Categorization and Frameworks)|Graph Neural Networkの研究を俯瞰する #4

グラフ理論やCNNをグラフ理論に応用したグラフ畳み込みネットワークについては下記で以前に簡単に取り扱いました。 ベースライン論文におけるGraphのCNN学習アルゴリズム|ベースから理解するGraph Convolutional Networks #2 - Liberal Art’s diary もう少…

サーベイ論文の確認と追加調査③(Background & Definition)|Graph Neural Networkの研究を俯瞰する #3

グラフ理論やCNNをグラフ理論に応用したグラフ畳み込みネットワークについては下記で以前に簡単に取り扱いました。 ベースライン論文におけるGraphのCNN学習アルゴリズム|ベースから理解するGraph Convolutional Networks #2 - Liberal Art’s diary もう少…

サーベイ論文の確認と追加調査②(Introduction)|Graph Neural Networkの研究を俯瞰する #2

グラフ理論やCNNをグラフ理論に応用したグラフ畳み込みネットワークについては下記で以前に簡単に取り扱いました。 ベースライン論文におけるGraphのCNN学習アルゴリズム|ベースから理解するGraph Convolutional Networks #2 - Liberal Art’s diary もう少…

Reformer: The Efficient Transformer③(Reversible Transformer以降)|言語処理へのDeepLearningの導入の研究トレンドを俯瞰する #41

言語処理へのDeepLearningの導入をご紹介するにあたって、#3〜#8においては、Transformer[2017]やBERT[2018]について、#9~#10ではXLNet[2019]について、#11~#12ではTransformer-XL[2019]について、#13~#17ではRoBERTa[2019]について、#18~#20ではWord2Vec[20…

サーベイ論文の確認と追加調査①(Abstractで掴む概要)|Graph Neural Networkの研究を俯瞰する #1

グラフ理論やCNNをグラフ理論に応用したグラフ畳み込みネットワークについては下記で以前に簡単に取り扱いました。 ベースライン論文におけるGraphのCNN学習アルゴリズム|ベースから理解するGraph Convolutional Networks #2 - Liberal Art’s diary もう少…

Reformer: The Efficient Transformer②(Locality-Sensitive Hashing Attention)|言語処理へのDeepLearningの導入の研究トレンドを俯瞰する #40

言語処理へのDeepLearningの導入をご紹介するにあたって、#3〜#8においては、Transformer[2017]やBERT[2018]について、#9~#10ではXLNet[2019]について、#11~#12ではTransformer-XL[2019]について、#13~#17ではRoBERTa[2019]について、#18~#20ではWord2Vec[20…

Reformer: The Efficient Transformer①(Abstract&Introduction)|言語処理へのDeepLearningの導入の研究トレンドを俯瞰する #39

言語処理へのDeepLearningの導入をご紹介するにあたって、#3〜#8においては、Transformer[2017]やBERT[2018]について、#9~#10ではXLNet[2019]について、#11~#12ではTransformer-XL[2019]について、#13~#17ではRoBERTa[2019]について、#18~#20ではWord2Vec[20…