マハラノビス距離(Mahalanobis distance)と多次元正規分布|改めて理解する多次元正規分布 #1

正規分布は様々なモデリングで前提として使用する、基本かつ非常に便利な分布ですが、1次元だと比較的シンプルに取り扱うことができますが、多次元正規分布となると様々なトピックが出てきて少し難しそうな印象を受けます。とはいえ、多次元正規分布関連の導…

変分推論の概要と簡単な実装例|Python実装で理解する変分推論(VariationalInference) #5

当シリーズはPython実装を通して変分推論を理解していこうということで進めています。下記などを主に参照しています。 Pattern Recognition and Machine Learning | Christopher Bishop | Springer#3、#4ではEMアルゴリズムについて確認しました。 基本的な…

現代社会における奴隷の作り方

昨今の「コロナ関連の無利子無担保融資」について、あまり政策としては意味がないのではないかと思っていたのですが、何かに似ているなと思ったら「奨学金」に近いのではと思い至り、少し納得しました。この両者に共通するのは、「見通しがはっきりしない状…

対数尤度における指数型分布族を考える|Python実装で理解する変分推論(VariationalInference) #Appendix2

#3、#4ではEMアルゴリズムについて取り扱いましたが、例として出てくる正規分布などを一般化した分布である指数型分布族についてもう少し考えておくと良いと思われたため、Appendix2としてまとめます。以下、目次になります。1. EMアルゴリズムにおける指数…

EMアルゴリズムの論理構成の全体像|Python実装で理解する変分推論(VariationalInference) #4

当シリーズはPython実装を通して変分推論を理解していこうということで進めています。下記などを主に参照しています。 Pattern Recognition and Machine Learning | Christopher Bishop | Springer #3では変分推論の枠組みにおけるEMアルゴリズムを混合正規…

変分推論の枠組みにおけるEMアルゴリズム|Python実装で理解する変分推論(VariationalInference) #3

当シリーズはPython実装を通して変分推論を理解していこうということで進めています。下記などを主に参照しています。 Pattern Recognition and Machine Learning | Christopher Bishop | Springer #1、#2ではKLダイバージェンスやイェンセンの不等式につい…

ベクトル的取り扱いによるイェンセンの不等式の図的理解|Python実装で理解する変分推論(VariationalInference) #Appendix1

#2ではイェンセンの不等式とKLダイバージェンスの非負性について取り扱いましたが、少し考察が定性的になりましたので、もう少しイェンセンの不等式ベースでわかりやすくしようということで、Appendixを設けました。3つ以上のやに対する取り扱いのイメージが…

イェンセンの不等式とKLダイバージェンスの非負性|Python実装で理解する変分推論(VariationalInference) #2

当シリーズはPython実装を通して変分推論を理解していこうということで進めています。下記などを主に参照しています。 Pattern Recognition and Machine Learning | Christopher Bishop | Springer #1では変分推論の議論の中心となってくるKLダイバージェン…

KLダイバージェンスの数式とPython実装|Python実装で理解する変分推論(VariationalInference) #1

確率的変分推論(SVI; Stochastic Variational Inference)の論文について確認していたのですが、ベースの理解についてもう少し固める方が良さそうだったので、Python実装を通して変分推論を理解していくシリーズを新たに作成することにしました。シリーズを通…

リベラルの「新自由主義」・「格差社会」批判が支持を得られない理由|マクロ経済を考える #3

昨今、「新自由主義」・「格差社会」への批判が話題になります。実体経済のデフレと金融商材のバブルが同時に起きているところや、それに伴い「格差」や「貧困」の問題が生じていると言われています。いわゆる「リベラル」層はこれにあたって「新自由主義」…

Abstract&Introduction|NUTS(No-U-Turn Sampler)の論文を読む #1

PyMC3などを用いたMCMCベースの手法は所々で利用されていますが、PyMC3ではNUTS(No-U-Turn Sampler)などが元になっています。NUTSはMetropolis法の発展であるHMC(Hamiltonian Monte Carlo)の拡張として導入されています。当シリーズではNUTSに関する2011年の…

日本の財政破綻問について 〜財政破綻が生じるとどうなるのか〜|マクロ経済を考える #2

上記の記事で「フリードマン経済学への疑問」についてまとめました。ちょっと難しい話題になったかもしれないので、もっとよく聞く話題として「財政破綻問題」を取り上げたいと思います。コロナショックに伴い、様々な財政出動(国債発行による政府支出)が行…

フリードマン経済学へのささやかな疑問 〜金融商品の総量は規制すべきではないか〜|マクロ経済を考える #1

ちょっとした興味でマクロ経済学や近年の政策や世界の動きを見ていたのですが、近年のベースになっているフリードマン経済学に対して少し疑問が湧いたので疑問の提起を行ってみようと思いました。(まだ論理構成が粗い印象のため、あくまで問題提起として見…

混合ガウスモデル(Gaussian Mixture Model)|PyMC3チュートリアルに学ぶ統計モデリング #6

当シリーズではPyMC3のチュートリアルを元に統計モデリングについて確認しています。PyMC3はベイズ統計モデリングのためのPythonのパッケージで、Pythonにおいてベイズ統計を取り扱うにあたってはデファクトとみて良いパッケージだと思います。#1〜#5は下記…

SVI(Stochastic Variational Inference)①|Pyroドキュメントに学ぶ統計モデリングの実装 #3

当シリーズではPyroのドキュメントを元に統計モデリングの実装について確認しています。 Pyro Documentation — Pyro documentation #1ではPyroの導入として概要の確認・インストール・簡単な動作確認を、#2ではPyroを用いた推論について取り扱いました。 #3…

Pyroを用いた近似推論(approximate inference)|Pyroドキュメントに学ぶ統計モデリングの実装 #2

当シリーズではPyroのドキュメントを元に統計モデリングの実装について確認しています。 Pyro Documentation — Pyro documentation #1ではPyroの導入として概要の確認・インストール・簡単な動作確認を行いました。 #2では"An Introduction to Inference in …

Deep Generative Models of Graphs②(Section2以降)|Graph Neural Networkの研究を追う #2

#1では連載の経緯を記載し、下記の論文のAbstractとIntroductionを確認し、概要を把握しました。 [1803.03324] Learning Deep Generative Models of Graphs #2ではSection2のRelated Work以降の主要な内容についてご紹介します。以下目次になります。1. Rela…

Pyroの概要とインストール|Pyroドキュメントに学ぶ統計モデリングの実装 #1

以前のシリーズでPyMC3のチュートリアルを元にPyMC3の実装例の把握や、それに伴って階層線形モデリングなどについても確認しました。 PyMC3はMCMC法などを中心とした統計モデリングを行う上でデファクトスタンダードに近くなっているライブラリですが、少し…

Deep Generative Models of Graphs①(Abstract&Introduction)|Graph Neural Networkの研究を追う #1

以前のシリーズでは下記のSurveyを元にGraph Neural Networksの研究の俯瞰について行いました。 [1901.00596] A Comprehensive Survey on Graph Neural Networks 大体の概要はつかめたものの、もう少し詳しく見ていければということで新規で個々の研究を追う…

Graph Classification|Deep Graph Libraryの0.5系を確認する #2

Deep Graph Libraryの0.5系のドキュメントを読み進めています。#1では"DGL at a Glance"や"USER GUIDE"の内容などを元にPyTorchベースでの処理概要の把握を行いました。 #2では引き続き"USER GUIDE"から、5.4のGraph Classificationについて確認できればと思…

階層線形(Hierarchical Linear Regression)モデル|PyMC3チュートリアルに学ぶ統計モデリング #5

当シリーズではPyMC3のチュートリアルを元に統計モデリングについて確認しています。PyMC3はベイズ統計モデリングのためのPythonのパッケージで、Pythonにおいてベイズ統計を取り扱うにあたってはデファクトとみて良いパッケージだと思います。#1〜#4は下記…

PointNet③(Experiment 〜 Conclusion)|3D Point CloudsとDeepLearning #8

[1912.12033] Deep Learning for 3D Point Clouds: A Survey 点群に対しての近年DeepLearningの導入について、#1〜#5では上記のSurveyを読み進めました。 Survey論文の確認②(Introduction)|3D Point CloudsとDeepLearning #2 - Liberal Art’s diary Survey…

PyTorchベースでの処理概要の把握|Deep Graph Libraryの0.5系を確認する #1

以前のシリーズでDGL(Deep Graph Library)について確認していたのですが、0.4系から0.5系への移行に伴い色々とドキュメントなども変わっているようなので、改めて0.5系のシリーズとして確認していきます。それほど読み込んでいるわけではないですが、"DGL at…

ScanNetの論文を把握する②(Previous Work以降) #2

3D再現(3D Reconstructions)に関する研究であるScanNetについて、全2回で確認します。 [1702.04405] ScanNet: Richly-annotated 3D Reconstructions of Indoor Scenes #1ではAbstractとIntroductionを確認し、論文の概要を把握しました。 #2ではSection2のPr…

ScanNetを把握する①(Abstract&Introduction) #1

3D再現(3D Reconstructions)に関する研究であるScanNetについて、全2回で確認します。 [1702.04405] ScanNet: Richly-annotated 3D Reconstructions of Indoor Scenes #1ではAbstractとIntroductionを確認し、論文の概要を把握します。以下、目次になります…

PyMC3における確率分布(Probability Distributions)の実装|PyMC3チュートリアルに学ぶ統計モデリング #4

当シリーズではPyMC3のチュートリアルを元に統計モデリングについて確認しています。PyMC3はベイズ統計モデリングのためのPythonのパッケージで、Pythonにおいてベイズ統計を取り扱うにあたってはデファクトとみて良いパッケージだと思います。#1〜#3ではPyM…

ベイズロジスティック回帰(Logistic Regression)モデル|PyMC3チュートリアルに学ぶ統計モデリング #3

当シリーズではPyMC3のチュートリアルを元に統計モデリングについて確認しています。PyMC3はベイズ統計モデリングのためのPythonのパッケージで、Pythonにおいてベイズ統計を取り扱うにあたってはデファクトとみて良いパッケージだと思います。#1では導入と…

ベイズ線形回帰(Linear regression)モデル|PyMC3チュートリアルに学ぶ統計モデリング #2

当シリーズではPyMC3のチュートリアルを元に統計モデリングについて確認しています。PyMC3はベイズ統計モデリングのためのPythonのパッケージで、Pythonにおいてベイズ統計を取り扱うにあたってはデファクトとみて良いパッケージだと思います。#1では導入と…

PyMC3の概要とインストール|PyMC3チュートリアルに学ぶ統計モデリング #1

当シリーズではPyMC3のチュートリアルを元に統計モデリングについて確認していきます。PyMC3はベイズ統計モデリングのためのPythonのパッケージで、Pythonにおいてベイズ統計を取り扱うにあたってはデファクトとみて良いパッケージだと思います。#1では導入…

【ご報告】以後、しばらく不定期更新とします

1日1投稿できるように進めてきましたが、新型コロナウイルスの影響による活動の変化に伴い時間がなかなか取れないためしばらく不定期更新といたします。 引き続きよろしくお願いいたします。