2021-01-01から1年間の記事一覧
以前の記事でFlaxが出てきて軽く流したため、当シリーズでは詳しく取り扱いを行います。 FlaxはJAXで用いるニューラルネットワークのライブラリです。当シリーズでは基本的にはドキュメントの内容を元にある程度の概要の把握を目標とします。 Flax documenta…
上記の記事ではVision Transformerについて論文の確認を行いました。 [2010.11929] An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale 今回は実装の確認ということで下記を読み解きます。 GitHub - google-research/vision_trans…
昨今のDeepLearningの実装ではJAXを用いるケースもあるようなので、簡単に仕様を確認できればということで当シリーズではJAXの把握を行なっていきます。一旦はドキュメントのQuickstartの内容を取り扱うことにし、下記の確認を行っていきます。 JAX Quicksta…
昨今のDeepLearningの実装ではJAXを用いるケースもあるようなので、簡単に仕様を確認できればということで当シリーズではJAXの把握を行なっていきます。#1ではまずは概要の把握をということでドキュメントのQuickstartの内容を取り扱います。 JAX Quickstart…
【論文確認(Vision Transformer)】An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale
以前の記事でTransformerを画像認識に取り入れた研究であるVisual Transformersの論文を確認しましたが、今回はCNNを用いずにTransformerだけで取り組んだ研究として、Vision Transformerについて取り扱います。 [2010.11929] An Image is Worth 16x16 Words…
当記事では主に汎用言語処理の分野で数多く関連研究がなされているTransformerを画像認識に取り入れた研究であるVisual Transformersの論文(Visual Transformers: Token-based Image Representation and Processing for Computer Vision)を確認していきます…
