statistics
当シリーズは多次元正規分布を改めて理解しようということで進めています。下記などを主に参照しています。 Pattern Recognition and Machine Learning | Christopher Bishop | Springer 上記テキストのSection2-3の"The Gaussian Distribution"を中心に関連…
当シリーズは多次元正規分布を改めて理解しようということで進めています。下記などを主に参照しています。 Pattern Recognition and Machine Learning | Christopher Bishop | Springer 上記テキストのSection2-3の"The Gaussian Distribution"を中心に関連…
正規分布は様々なモデリングで前提として使用する、基本かつ非常に便利な分布ですが、1次元だと比較的シンプルに取り扱うことができますが、多次元正規分布となると様々なトピックが出てきて少し難しそうな印象を受けます。とはいえ、多次元正規分布関連の導…
当シリーズはPython実装を通して変分推論を理解していこうということで進めています。下記などを主に参照しています。 Pattern Recognition and Machine Learning | Christopher Bishop | Springer#3、#4ではEMアルゴリズムについて確認しました。 基本的な…
#3、#4ではEMアルゴリズムについて取り扱いましたが、例として出てくる正規分布などを一般化した分布である指数型分布族についてもう少し考えておくと良いと思われたため、Appendix2としてまとめます。以下、目次になります。1. EMアルゴリズムにおける指数…
当シリーズはPython実装を通して変分推論を理解していこうということで進めています。下記などを主に参照しています。 Pattern Recognition and Machine Learning | Christopher Bishop | Springer #3では変分推論の枠組みにおけるEMアルゴリズムを混合正規…
当シリーズはPython実装を通して変分推論を理解していこうということで進めています。下記などを主に参照しています。 Pattern Recognition and Machine Learning | Christopher Bishop | Springer #1、#2ではKLダイバージェンスやイェンセンの不等式につい…
#2ではイェンセンの不等式とKLダイバージェンスの非負性について取り扱いましたが、少し考察が定性的になりましたので、もう少しイェンセンの不等式ベースでわかりやすくしようということで、Appendixを設けました。3つ以上のやに対する取り扱いのイメージが…
当シリーズはPython実装を通して変分推論を理解していこうということで進めています。下記などを主に参照しています。 Pattern Recognition and Machine Learning | Christopher Bishop | Springer #1では変分推論の議論の中心となってくるKLダイバージェン…
確率的変分推論(SVI; Stochastic Variational Inference)の論文について確認していたのですが、ベースの理解についてもう少し固める方が良さそうだったので、Python実装を通して変分推論を理解していくシリーズを新たに作成することにしました。シリーズを通…
統計モデリングについてまとめています。#1ではGLMの話について、#2では計算方法としてMCMCについて取り扱いました。 指数型分布族と一般化線形モデル｜統計モデリング #1 - lib-arts’s diary モンテカルロサンプリングとMCMC｜統計モデリング #2 - lib-arts…
当シリーズでは、高校レベルの数学と絡めながら確率分布と最尤法について取り扱っています。#1では集合・確率と様々な関数（指数関数、対数関数）について、#2では確率分布のグラフ化と掛け算と対数について、#3では合成関数の微分と最大値問題について、#4…
当シリーズでは、高校レベルの数学と絡めながら確率分布と最尤法について取り扱っています。#1では集合・確率と様々な関数（指数関数、対数関数）について、#2では確率分布のグラフ化と掛け算と対数について、#3では合成関数の微分と最大値問題について、#4…
当シリーズでは、高校レベルの数学と絡めながら確率分布と最尤法について取り扱っています。#1では集合・確率と様々な関数（指数関数、対数関数）について、#2では確率分布のグラフ化と掛け算と対数について、#3では合成関数の微分と最大値問題について取り…
以前のシリーズで機械学習のアルゴリズムであるニューラルネットワークやランダムフォレストに絡めて高校レベルの数学の様々なトピックについて取り扱いました。 上記ではニューラルネットワークやランダムフォレストを中心に取り扱いましたが、今回は確率分…
以前のシリーズで機械学習のアルゴリズムであるニューラルネットワークやランダムフォレストに絡めて高校レベルの数学の様々なトピックについて取り扱いました。 上記ではニューラルネットワークやランダムフォレストを中心に取り扱いましたが、今回は確率分…
機械学習を理解するにあたって数学は必要かという質問はよく聞かれますが、程度によりますが最低限は必要だと答えるようにしています。最低限というのも色々と考え方がありますが、所見としては高校数学〜大学の教養過程の導入（完璧までいかなくてもOK）ほ…
ベイズ統計は統計や機械学習の文脈ではややとっつきづらいトピックになるかと思います。TreeベースのアルゴリズムやDeep Learningなどの関数近似の方が理解しやすいかつ、最近のトレンドに占める割合が多い印象です。とはいえ、ベイズ統計の理論の枠組みで考…
連載の経緯の詳細は#1でまとめましたが、本シリーズではあえてスクラッチ実装を元に機械学習のアルゴリズムを実装していくことで、アルゴリズムの概要を掴んだり理論の流れを掴んだりできるようにできればと思います。 実装のほとんどが車輪の再発明に近くな…
最近購入した『ガウス過程と機械学習』ですが読んでいて面白いので読解メモをまとめていきます。 ガウス過程と機械学習 | 書籍情報 | 株式会社 講談社サイエンティフィク#1ではCh.1とCh.2の内容を元に事前知識の整理を行いました。 本のメイントピックのCh.3…
最近購入した『ガウス過程と機械学習』ですが読んでいて面白いので読解メモをまとめていきます。 ガウス過程と機械学習 | 書籍情報 | 株式会社 講談社サイエンティフィク#1ではCh.1とCh.2の内容を元に事前知識の整理を行いました。 本のメイントピックのCh.3…
最近購入した『ガウス過程と機械学習』ですが読んでいて面白いので読解メモをまとめていきます。 ガウス過程と機械学習 | 書籍情報 | 株式会社 講談社サイエンティフィク#1ではCh.1とCh.2の内容を元に事前知識の整理を行いました。 #2ではCh.3の3.1と3.2を取…
連載の経緯の詳細は#1でまとめましたが、本シリーズではあえてスクラッチ実装を元に機械学習のアルゴリズムを実装していくことで、アルゴリズムの概要を掴んだり理論の流れを掴んだりできるようにできればと思います。 実装のほとんどが車輪の再発明に近くな…
連載の経緯の詳細は#1でまとめましたが、本シリーズではあえてスクラッチ実装を元に機械学習のアルゴリズムを実装していくことで、アルゴリズムの概要を掴んだり理論の流れを掴んだりできるようにできればと思います。 実装のほとんどが車輪の再発明に近くな…
最近購入した『ガウス過程と機械学習』ですが読んでいて面白いので読解メモをまとめていきます。 ガウス過程と機械学習 | 書籍情報 | 株式会社 講談社サイエンティフィク#1ではCh.1とCh.2の内容を元に事前知識の整理を行います。以下目次になります。 1. 線…
上記のシリーズで機械学習アルゴリズムの実装を行っているのですが、他の内容もできればということで同様のイメージで基礎統計を実装していければと思います。#4では推測統計に入るにあたっての前段階として統計量を、#5では#5では推測統計のメイントピック…
上記のシリーズで機械学習アルゴリズムの実装を行っているのですが、他の内容もできればということで同様のイメージで基礎統計を実装していければと思います。#4では推測統計に入るにあたっての前段階として統計量を取り扱いました。 #5では推測統計のメイン…
上記のシリーズで機械学習アルゴリズムの実装を行っているのですが、他の内容もできればということで同様のイメージで基礎統計を実装していければと思います。#1、#2では記述統計、#3では確率モデルを取り扱いました。 #4ではここから推測統計につなげていく…
上記のシリーズで機械学習アルゴリズムの実装を行っているのですが、他の内容もできればということで同様のイメージで基礎統計を実装していければと思います。#1、#2では記述統計を取り扱いました。 #3では確率モデルの基本となる標本空間、確率変数、確率分…
上記のシリーズで機械学習アルゴリズムの実装を行っているのですが、他の内容もできればということで同様のイメージで基礎統計を実装していければと思います。#1ではデータの整理と要約の方法を取り扱う記述統計学の中から、1変数（1次元）データを取り扱っ…
