ブログの内容はどうしても発散しがちなので、定期的にブログの内容を元に再編したテキストの公開を行っています。が、テキストも数を出すうちにどうしても細かいレイアウトが気になってきたので、版組みを極めようじゃないかということで新規シリーズを作成…

当シリーズでは、近年の深層学習の発展に関連するトレンド的に微分のプログラミングの重要度は増していると思われるので、関連文脈の取りまとめを行なっています。#1、#2、#3では自動微分の概要やSurvey論文の参照や誤差逆伝播と自動微分の関係性の確認を行…

当シリーズでは、近年の深層学習の発展に関連するトレンド的に微分のプログラミングの重要度は増していると思われるので、関連文脈の取りまとめを行なっています。#1、#2では自動微分の概要やSurvey論文の参照を行いました。 #2の"Reverse mode AD"で誤差逆…

当シリーズは確率過程や化学反応など、様々な場面で出てくる平衡(equilibrium)について理解することを目的とし、作成しています。初回の#1では比較的取り扱いやすいと思われた化学平衡(Chemical equilibrium)について取り扱いました。 #2ではメトロポリスヘ…

このシリーズではPythonの処理高速化についてラフに取り扱っています。#5では単回帰分析の解析解の計算にあたってのパフォーマンス比較を行いました。 #6では単回帰分析の勾配法を用いた数値解のパフォーマンス比較を行います。以下、目次になります。1. 問…

当シリーズでは、近年の深層学習の発展に関連するトレンド的に微分のプログラミングの重要度は増していると思われるので、関連文脈の取りまとめを行なっています。#1では誤差逆伝播などにも用いられている「自動微分(Automatic differentiation)」の概要につ…

MCMCを用いたサンプリング関連の手法を確認していると、メトロポリスヘイスティングスやハミルトニアンモンテカルロ法のように詳細釣り合い(detailed balance)条件の話題が出てくることがあります。「過程と逆過程の頻度が等しい」ことが詳細釣り合い条件で…

このシリーズではPythonの処理高速化についてラフに取り扱っています。#4ではリストの生成と内包表記について取り扱いました。 #5では単回帰分析の解析解を求める処理について、scikit-learnなどを中心にパフォーマンス比較を行いたいと思います。以下、目次…

近年の深層学習(DeepLearning)の発展により、プログラミングにおける微分の取り扱いは重要度を増しています。基本的な意味での微分のプログラミング的取り扱いとしてイメージとして挙がりやすいのは、微分した数式を用いる「数式微分(Symbolic differentiati…

このシリーズではPythonの処理高速化についてラフに取り扱っています。#3ではPandasとmapについて取り扱いました。 #4ではリストの生成と内包表記について取り扱います。以下、目次になります。1. 内包表記の構文とパフォーマンスの比較2. timeitを用いた統…

時折、解析力学的な話題が上がってくるので、必要に応じてまとめておければということで、オムニバス形式で解析力学について確認していきます。#1では近年Hamiltonian Monte Carlo法としてMCMCサンプリングで用いられる、ハミルトニアンについて、解析力学の…

このシリーズではPythonの処理高速化についてラフに取り扱っています。#2ではmapと繰り返し文(for)について簡単に取り扱いました。 #3ではPandasとmapについて取り扱います。以下、目次になります。1. mapを用いたPandasのカラムの置換2. map、lambdaを用い…

このシリーズではPythonの処理高速化についてラフに取り扱っています。#1では「%%time」を用いたパフォーマンス測定と、NumPyを用いた簡単な高速化について確認しました。 #2ではmapと繰り返し文(for)について簡単に取り扱います。以下、目次になります。1. …

21世紀は非常に難しい時代です。これまでの人類の歴史は発展の歴史として見ることもできますが、18〜19世紀の産業革命から20世紀を通して「需要」と「供給」の力関係が変わったというのが考察の難しいポイントだと思います。「需要」が大きく「供給」があれ…

現代社会では「スキルアップの必要性」があちこちで主張されるのをよく目にします。が、そのうちの多くは「インスタント食品やサプリメントを食べて、健康になりましょう」のような内容を表面上だけ変えての内容であることもあり、それらについての反論など…

基本的にプログラミングは動けば良い派で可読性の高さを優先することが多いですが、処理の高速化が必要な際もあるので、Pythonを用いた処理高速化について考える新規シリーズを作成いたしました。最初から難しく考えると大変なので、しばらくは緩めに進め、…

当シリーズは多次元正規分布を改めて理解しようということで進めています。下記などを主に参照しています。 Pattern Recognition and Machine Learning | Christopher Bishop | Springer 上記テキストのSection2-3の"The Gaussian Distribution"を中心に関連…

当シリーズは多次元正規分布を改めて理解しようということで進めています。下記などを主に参照しています。 Pattern Recognition and Machine Learning | Christopher Bishop | Springer 上記テキストのSection2-3の"The Gaussian Distribution"を中心に関連…

正規分布は様々なモデリングで前提として使用する、基本かつ非常に便利な分布ですが、1次元だと比較的シンプルに取り扱うことができますが、多次元正規分布となると様々なトピックが出てきて少し難しそうな印象を受けます。とはいえ、多次元正規分布関連の導…

当シリーズはPython実装を通して変分推論を理解していこうということで進めています。下記などを主に参照しています。 Pattern Recognition and Machine Learning | Christopher Bishop | Springer#3、#4ではEMアルゴリズムについて確認しました。 基本的な…