数学の再学習にあたって、目安とすると良い数学検定2級の過去問の解説を行っていきます。 https://www.su-gaku.net/suken/wp-content/themes/su-ken/pdf/support/past_question/2q_que_1ji.pdf #1では問題1〜5について取り扱ったので、#2では問題6〜10につい…
社会人になってから理系分野について取り扱う必要が出てきたものの、数学がなかなか難しいという話をよく聞きます。応用分野から入るよりも先に数学検定2級レベルを抑える方が望ましいと思われますので、簡単に過去問の解説を行っていきます。問題は下記を用…
https://www.amazon.co.jp/dp/B08JGM3JNP 上記の『グラフ理論と機械学習』ですが、多くの方に注目いただけてご確認いただけましたようです。内容としては和書の類書がまだない中で基本から応用、発展的な考察まで取り扱えましたので、なかなか充実していたの…
以前の記事ではVision Transformerについて論文の確認や実装の確認を行いました。 今回は研究トレンドの把握ということでSurveyの"A Survey on Visual Transformer"の確認を行えればと思います。 [2012.12556] A Survey on Visual Transformer なお、名称がV…
昨今は価値観が多様化し、評価の難しい社会の状況となりました。ソーシャルメディアなどでは意見の多様化に伴い意見が極端になり、デマなども飛び交う状況が散見される印象です。この状況において、「何が正しくて何が正しくないか」を判断するのは大変難し…
以前の記事でFlaxが出てきて軽く流したため、当シリーズでは詳しく取り扱いを行います。 FlaxはJAXで用いるニューラルネットワークのライブラリです。当シリーズでは基本的にはドキュメントの内容を元にある程度の概要の把握を目標とします。 Flax documenta…
上記の記事ではVision Transformerについて論文の確認を行いました。 [2010.11929] An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale 今回は実装の確認ということで下記を読み解きます。 GitHub - google-research/vision_trans…
昨今のDeepLearningの実装ではJAXを用いるケースもあるようなので、簡単に仕様を確認できればということで当シリーズではJAXの把握を行なっていきます。一旦はドキュメントのQuickstartの内容を取り扱うことにし、下記の確認を行っていきます。 JAX Quicksta…
昨今のDeepLearningの実装ではJAXを用いるケースもあるようなので、簡単に仕様を確認できればということで当シリーズではJAXの把握を行なっていきます。#1ではまずは概要の把握をということでドキュメントのQuickstartの内容を取り扱います。 JAX Quickstart…
【論文確認(Vision Transformer)】An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale
以前の記事でTransformerを画像認識に取り入れた研究であるVisual Transformersの論文を確認しましたが、今回はCNNを用いずにTransformerだけで取り組んだ研究として、Vision Transformerについて取り扱います。 [2010.11929] An Image is Worth 16x16 Words…
当記事では主に汎用言語処理の分野で数多く関連研究がなされているTransformerを画像認識に取り入れた研究であるVisual Transformersの論文(Visual Transformers: Token-based Image Representation and Processing for Computer Vision)を確認していきます…
当ブログの内容を元に電子テキストやその印刷版を、技術書典やnoteやboothなどのプラットフォームで販売を行なっているのですが、あまり内容について紹介してこなかったのでちょっとした宣伝も兼ねてご紹介していくシリーズです。#3では「Deep Q-Network を…
ブログの内容はどうしても発散しがちなので、定期的にブログの内容を元に再編したテキストの公開を行っています。が、テキストも数を出すうちにどうしても細かいレイアウトが気になってきたので、版組みを極めようじゃないかということで新規シリーズを作成…
当シリーズでは、近年の深層学習の発展に関連するトレンド的に微分のプログラミングの重要度は増していると思われるので、関連文脈の取りまとめを行なっています。#1、#2、#3では自動微分の概要やSurvey論文の参照や誤差逆伝播と自動微分の関係性の確認を行…
当シリーズでは、近年の深層学習の発展に関連するトレンド的に微分のプログラミングの重要度は増していると思われるので、関連文脈の取りまとめを行なっています。#1、#2では自動微分の概要やSurvey論文の参照を行いました。 #2の"Reverse mode AD"で誤差逆…
当シリーズは確率過程や化学反応など、様々な場面で出てくる平衡(equilibrium)について理解することを目的とし、作成しています。初回の#1では比較的取り扱いやすいと思われた化学平衡(Chemical equilibrium)について取り扱いました。 #2ではメトロポリスヘ…
このシリーズではPythonの処理高速化についてラフに取り扱っています。#5では単回帰分析の解析解の計算にあたってのパフォーマンス比較を行いました。 #6では単回帰分析の勾配法を用いた数値解のパフォーマンス比較を行います。以下、目次になります。1. 問…
当シリーズでは、近年の深層学習の発展に関連するトレンド的に微分のプログラミングの重要度は増していると思われるので、関連文脈の取りまとめを行なっています。#1では誤差逆伝播などにも用いられている「自動微分(Automatic differentiation)」の概要につ…
MCMCを用いたサンプリング関連の手法を確認していると、メトロポリスヘイスティングスやハミルトニアンモンテカルロ法のように詳細釣り合い(detailed balance)条件の話題が出てくることがあります。「過程と逆過程の頻度が等しい」ことが詳細釣り合い条件で…
このシリーズではPythonの処理高速化についてラフに取り扱っています。#4ではリストの生成と内包表記について取り扱いました。 #5では単回帰分析の解析解を求める処理について、scikit-learnなどを中心にパフォーマンス比較を行いたいと思います。以下、目次…
近年の深層学習(DeepLearning)の発展により、プログラミングにおける微分の取り扱いは重要度を増しています。基本的な意味での微分のプログラミング的取り扱いとしてイメージとして挙がりやすいのは、微分した数式を用いる「数式微分(Symbolic differentiati…
このシリーズではPythonの処理高速化についてラフに取り扱っています。#3ではPandasとmapについて取り扱いました。 #4ではリストの生成と内包表記について取り扱います。以下、目次になります。1. 内包表記の構文とパフォーマンスの比較2. timeitを用いた統…
時折、解析力学的な話題が上がってくるので、必要に応じてまとめておければということで、オムニバス形式で解析力学について確認していきます。#1では近年Hamiltonian Monte Carlo法としてMCMCサンプリングで用いられる、ハミルトニアンについて、解析力学の…
このシリーズではPythonの処理高速化についてラフに取り扱っています。#2ではmapと繰り返し文(for)について簡単に取り扱いました。 #3ではPandasとmapについて取り扱います。以下、目次になります。1. mapを用いたPandasのカラムの置換2. map、lambdaを用い…
このシリーズではPythonの処理高速化についてラフに取り扱っています。#1では「%%time」を用いたパフォーマンス測定と、NumPyを用いた簡単な高速化について確認しました。 #2ではmapと繰り返し文(for)について簡単に取り扱います。以下、目次になります。1. …
21世紀は非常に難しい時代です。これまでの人類の歴史は発展の歴史として見ることもできますが、18〜19世紀の産業革命から20世紀を通して「需要」と「供給」の力関係が変わったというのが考察の難しいポイントだと思います。「需要」が大きく「供給」があれ…
現代社会では「スキルアップの必要性」があちこちで主張されるのをよく目にします。が、そのうちの多くは「インスタント食品やサプリメントを食べて、健康になりましょう」のような内容を表面上だけ変えての内容であることもあり、それらについての反論など…
基本的にプログラミングは動けば良い派で可読性の高さを優先することが多いですが、処理の高速化が必要な際もあるので、Pythonを用いた処理高速化について考える新規シリーズを作成いたしました。最初から難しく考えると大変なので、しばらくは緩めに進め、…
当シリーズは多次元正規分布を改めて理解しようということで進めています。下記などを主に参照しています。 Pattern Recognition and Machine Learning | Christopher Bishop | Springer 上記テキストのSection2-3の"The Gaussian Distribution"を中心に関連…
当シリーズは多次元正規分布を改めて理解しようということで進めています。下記などを主に参照しています。 Pattern Recognition and Machine Learning | Christopher Bishop | Springer 上記テキストのSection2-3の"The Gaussian Distribution"を中心に関連…
