statistics

確率分布を可視化する①(基本的な分布)|Python実装で視覚的に理解するベイズ統計 #1

ベイズ統計は統計や機械学習の文脈ではややとっつきづらいトピックになるかと思います。TreeベースのアルゴリズムやDeep Learningなどの関数近似の方が理解しやすいかつ、最近のトレンドに占める割合が多い印象です。とはいえ、ベイズ統計の理論の枠組みで考…

MCMC法(メトロポリス・ヘイスティングス法)による一般化モデルの最適化と実装|スクラッチ実装で理解する機械学習アルゴリズム #5

連載の経緯の詳細は#1でまとめましたが、本シリーズではあえてスクラッチ実装を元に機械学習のアルゴリズムを実装していくことで、アルゴリズムの概要を掴んだり理論の流れを掴んだりできるようにできればと思います。 実装のほとんどが車輪の再発明に近くな…

ガウス過程回帰のハイパーパラメータの推定、ガウス過程回帰の一般化(3.5、3.6)|『ガウス過程と機械学習』読解メモ #4

最近購入した『ガウス過程と機械学習』ですが読んでいて面白いので読解メモをまとめていきます。 ガウス過程と機械学習 | 書籍情報 | 株式会社 講談社サイエンティフィク#1ではCh.1とCh.2の内容を元に事前知識の整理を行いました。 本のメイントピックのCh.3…

ガウス過程とカーネル、ガウス過程回帰モデル(3.3、3.4)|『ガウス過程と機械学習』読解メモ #3

最近購入した『ガウス過程と機械学習』ですが読んでいて面白いので読解メモをまとめていきます。 ガウス過程と機械学習 | 書籍情報 | 株式会社 講談社サイエンティフィク#1ではCh.1とCh.2の内容を元に事前知識の整理を行いました。 本のメイントピックのCh.3…

線形回帰モデルにおける次元の呪いとガウス過程(3.1、3.2)|『ガウス過程と機械学習』読解メモ #2

最近購入した『ガウス過程と機械学習』ですが読んでいて面白いので読解メモをまとめていきます。 ガウス過程と機械学習 | 書籍情報 | 株式会社 講談社サイエンティフィク#1ではCh.1とCh.2の内容を元に事前知識の整理を行いました。 #2ではCh.3の3.1と3.2を取…

一般化線形モデル(GLM)の理論と実装③【ポアソン回帰編】|スクラッチ実装で理解する機械学習アルゴリズム #4

連載の経緯の詳細は#1でまとめましたが、本シリーズではあえてスクラッチ実装を元に機械学習のアルゴリズムを実装していくことで、アルゴリズムの概要を掴んだり理論の流れを掴んだりできるようにできればと思います。 実装のほとんどが車輪の再発明に近くな…

一般化線形モデル(GLM)の理論と実装②【ロジスティック回帰_後編】|スクラッチ実装で理解する機械学習アルゴリズム #3

連載の経緯の詳細は#1でまとめましたが、本シリーズではあえてスクラッチ実装を元に機械学習のアルゴリズムを実装していくことで、アルゴリズムの概要を掴んだり理論の流れを掴んだりできるようにできればと思います。 実装のほとんどが車輪の再発明に近くな…

ガウス過程に入るにあたっての前提知識の整理(Ch.1,Ch.2)|『ガウス過程と機械学習』読解メモ #1

最近購入した『ガウス過程と機械学習』ですが読んでいて面白いので読解メモをまとめていきます。 ガウス過程と機械学習 | 書籍情報 | 株式会社 講談社サイエンティフィク#1ではCh.1とCh.2の内容を元に事前知識の整理を行います。以下目次になります。 1. 線…

Pythonで実装する推測統計③(統計的仮説検定)|スクラッチ実装で理解する基礎統計 #6

上記のシリーズで機械学習アルゴリズムの実装を行っているのですが、他の内容もできればということで同様のイメージで基礎統計を実装していければと思います。#4では推測統計に入るにあたっての前段階として統計量を、#5では#5では推測統計のメイントピック…

Pythonで実装する推測統計②(点推定、区間推定)|スクラッチ実装で理解する基礎統計 #5

上記のシリーズで機械学習アルゴリズムの実装を行っているのですが、他の内容もできればということで同様のイメージで基礎統計を実装していければと思います。#4では推測統計に入るにあたっての前段階として統計量を取り扱いました。 #5では推測統計のメイン…

Pythonで実装する推測統計①(統計量)|スクラッチ実装で理解する基礎統計 #4

上記のシリーズで機械学習アルゴリズムの実装を行っているのですが、他の内容もできればということで同様のイメージで基礎統計を実装していければと思います。#1、#2では記述統計、#3では確率モデルを取り扱いました。 #4ではここから推測統計につなげていく…

Pythonで実装する確率モデル(標本空間、確率変数、確率分布)|スクラッチ実装で理解する基礎統計 #3

上記のシリーズで機械学習アルゴリズムの実装を行っているのですが、他の内容もできればということで同様のイメージで基礎統計を実装していければと思います。#1、#2では記述統計を取り扱いました。 #3では確率モデルの基本となる標本空間、確率変数、確率分…

Pythonで実装する記述統計②(散布図、共分散、回帰分析)|スクラッチ実装で理解する基礎統計 #2

上記のシリーズで機械学習アルゴリズムの実装を行っているのですが、他の内容もできればということで同様のイメージで基礎統計を実装していければと思います。#1ではデータの整理と要約の方法を取り扱う記述統計学の中から、1変数(1次元)データを取り扱っ…

Pythonで実装する記述統計①(ヒストグラム、平均、分散)|スクラッチ実装で理解する基礎統計 #1

上記のシリーズで機械学習アルゴリズムの実装を行っているのですが、他の内容もできればということで同様のイメージで基礎統計を実装していければと思います。#1ではデータの整理と要約の方法を取り扱う記述統計学の中から、1変数を取り扱った非常にシンプル…

一般化線形モデル(GLM)の理論と実装①【ロジスティック回帰_前編】|スクラッチ実装で理解する機械学習アルゴリズム #2

連載の経緯の詳細は#1でまとめましたが、本シリーズではあえてスクラッチ実装を元に機械学習のアルゴリズムを実装していくことで、アルゴリズムの概要を掴んだり理論の流れを掴んだりできるようにできればと思います。 実装のほとんどが車輪の再発明に近くな…

SciPyによる統計(scipy.stats)②|SciPy入門 #4

SciPyについて色々と話題になり面白そうだったので公式チュートリアルを元にまとめています。 SciPy Tutorial — SciPy v1.2.1 Reference Guide#3ではscipy.statsから主に確率分布に関して取り扱いました。 #4では検定や推定などについて取り扱っていければと…

SciPyによる統計(scipy.stats)①|SciPy入門 #3

SciPyについて色々と話題になり面白そうだったので公式チュートリアルを元にまとめています。 Linear Algebra (scipy.linalg) — SciPy v1.2.1 Reference Guide#1、#2ではscipy.linalgを元に線形代数的な内容に関して取り扱いました。 #2でlinalgのチュートリ…

PRML下巻_9章 EMアルゴリズム 読解メモ #9

#8では8章のグラフィカルモデルについてまとめました。 #9では9章の読解メモをまとめていければと思います。(7~8割の理解を目標においた読解にあたってのメモなので、要旨を掴みたい方向けです)9章ではEMアルゴリズムに関して取り扱われています。以下目次…

簡単な計算で理解するポワソン分布|直感と数学 #1

『数学って難しそう』ってよく聞きますが、確かに数式だけ追ってると難しく感じる時もあるかもしれません。ですが、ちょっと視点を変えてみるだけで新しい洞察が得られる時があります。 この直感的な感覚をわかっていただければということで、一見難しそうな…

PRML上巻_4章 線形識別モデル(Linear Discriminant Model) 読解メモ #4

#3では3章の線形回帰モデルについて取り扱いました。 #4では4章の読解メモをまとめていければと思います。(7~8割の理解を目標においた読解にあたってのメモなので、要旨を掴みたい方向けです)4章の線形識別モデルはクラス分類などにつながる考え方です。以…

PRML上巻_3章 線形回帰モデル(Linear Regression Model) 読解メモ #3

#2では確率分布について取り扱いました。 #3では3章の読解メモをまとめていければと思います。(7~8割の理解を目標においた読解にあたってのメモなので、要旨を掴みたい方向けです)3章の線形回帰モデルは多くの機械学習や統計モデリングのベースとなる非常…

モンテカルロサンプリングとMCMC|統計モデリング #2

#1ではGLMの話について取り扱いました。 モデル構築の大枠の話はできたと思うので、#2では計算方法についてまとめておきたいと思います。『データ解析のための統計モデリング入門』ではGLMの発展としてGLMM(一般化線形混合モデル)を考え、解析的にテクニカル…

PRML上巻_2章 確率分布(Probability Distribution) 読解メモ #2

#1では上巻の内容の俯瞰と序論として1章の情報をまとめました。 #2では2章の読解メモをまとめていければと思います。(7~8割の理解を目標においた読解にあたってのメモなので、要旨を掴みたい方向けです)以下目次になります。 1. 2章の内容に関して概要2. …

PRML上巻の俯瞰&1章序論(Introduction) 読解メモ #1

PRML_上巻 表紙 PRMLの読書会を開催しているのですが、復習がてら読解メモをまとめていければと思います。(7~8割の理解を目標においた読解にあたってのメモなので、ざっくり要旨を掴む目的でご確認いただくと良いのではと思います)前評判通り中身が充実し…

指数型分布族と一般化線形モデル|統計モデリング #1

統計モデリングの入門本としてよく用いられる有名な『データ解析のための統計モデリング入門』は統計的なモデリングについて学ぶ際に、GLMやMCMCの概要を掴む上では良い本です。ですが、一度読んで概要を掴むにはわかりやすい一方で、記述が厳密でない点が多…