2019-05-01から1ヶ月間の記事一覧

ガウス過程回帰のハイパーパラメータの推定、ガウス過程回帰の一般化(3.5、3.6)|『ガウス過程と機械学習』読解メモ #4

最近購入した『ガウス過程と機械学習』ですが読んでいて面白いので読解メモをまとめていきます。 ガウス過程と機械学習 | 書籍情報 | 株式会社 講談社サイエンティフィク#1ではCh.1とCh.2の内容を元に事前知識の整理を行いました。 本のメイントピックのCh.3…

ガウス過程とカーネル、ガウス過程回帰モデル(3.3、3.4)|『ガウス過程と機械学習』読解メモ #3

最近購入した『ガウス過程と機械学習』ですが読んでいて面白いので読解メモをまとめていきます。 ガウス過程と機械学習 | 書籍情報 | 株式会社 講談社サイエンティフィク#1ではCh.1とCh.2の内容を元に事前知識の整理を行いました。 本のメイントピックのCh.3…

線形回帰モデルにおける次元の呪いとガウス過程(3.1、3.2)|『ガウス過程と機械学習』読解メモ #2

最近購入した『ガウス過程と機械学習』ですが読んでいて面白いので読解メモをまとめていきます。 ガウス過程と機械学習 | 書籍情報 | 株式会社 講談社サイエンティフィク#1ではCh.1とCh.2の内容を元に事前知識の整理を行いました。 #2ではCh.3の3.1と3.2を取…

類題を用いた行列の計算とMLPの推論の問題演習|高校数学の演習を通して理解するニューラルネットワーク #9

当連載は、高校数学の演習を通して機械学習のアルゴリズムの一つであるニューラルネットワークを理解しようというものです。連載の経緯につきましては#1にまとめましたので下記をご覧ください。 関数・微分の演習と解説|高校数学の演習を通して理解するニュ…

時系列データの取り扱いとモデルの作成②(AR、MA、ARMA)|時系列分析の基礎を学ぶ #2

強化学習などについて取り扱っていくにあたり、通常の時系列データについての取り扱いも一度まとめておく方が良さそうなので時系列分析の基本についてまとめていきます。#1では時系列データとはどのようなデータであるかやモデリングにおいて重要になる定常…

時系列データの取り扱いとモデルの作成①(時系列データと定常過程)|時系列分析の基礎を学ぶ #1

強化学習などについて取り扱っていくにあたり、通常の時系列データについての取り扱いも一度まとめておく方が良さそうなので時系列分析の基本についてまとめていきます。#1では時系列データとはどのようなデータであるかやモデリングにおいて重要になる定常…

一般化線形モデル(GLM)の理論と実装③【ポアソン回帰編】|スクラッチ実装で理解する機械学習アルゴリズム #4

連載の経緯の詳細は#1でまとめましたが、本シリーズではあえてスクラッチ実装を元に機械学習のアルゴリズムを実装していくことで、アルゴリズムの概要を掴んだり理論の流れを掴んだりできるようにできればと思います。 実装のほとんどが車輪の再発明に近くな…

一般化線形モデル(GLM)の理論と実装②【ロジスティック回帰_後編】|スクラッチ実装で理解する機械学習アルゴリズム #3

連載の経緯の詳細は#1でまとめましたが、本シリーズではあえてスクラッチ実装を元に機械学習のアルゴリズムを実装していくことで、アルゴリズムの概要を掴んだり理論の流れを掴んだりできるようにできればと思います。 実装のほとんどが車輪の再発明に近くな…

OpenAI Gymの仕様を掴む⑤(Box2D_CarRacing)|実装で理解する深層強化学習の研究トレンド #5

連載の経緯については#1に記しました。 これまでは問題設定を理解するにあたってOpenAI Gymから#2ではCartPole、#3と#4ではAtariのゲームについて取り扱いました。 #5ではBox2dからCarRacingを取り扱います。以下、目次になります。 1. 進め方の再確認&Box2…

OpenAI Gymの仕様を掴む④(Atari_後編_SpaceInvaders etc)|実装で理解する深層強化学習の研究トレンド #4

連載の経緯については#1に記しました。 #3ではAtariのゲームについて取り扱うにあたって、卓球ゲームのPongについて取り扱いました。 #4ではその他のAtariのゲームについてということで、SpaceInvadersやBreakoutについて取り扱います。以下、目次になります…

OpenAI Gymの仕様を掴む③(Atari_前編_Pong)|実装で理解する深層強化学習の研究トレンド #3

連載の経緯については#1に記しました。 #1ではCartPoleを題材に強化学習のアルゴリズムの開発にあたってのToolkitであるOpenAI Gymの概要、#2ではCartPole問題に関する仕様の詳細やアルゴリズムの改善にあたっての試行錯誤について取り扱いました。 #1と#2で…

OpenAI Gymの仕様を掴む②(CartPole_後編)|実装で理解する深層強化学習の研究トレンド #2

上記シリーズでDeep Q-Networkについて概要を把握できたので、より新しい話題も取り扱えればということで新しいシリーズをスタートさせます。内容としては、実装の内容を交えながら深層強化学習のトレンドを理解していくものとできればと思います。#1ではCar…

OpenAI Gymの仕様を掴む①(CartPole_前編)|実装で理解する深層強化学習の研究トレンド #1

上記シリーズでDeep Q-Networkについて概要を把握できたので、より新しい話題も取り扱えればということで新しいシリーズをスタートさせます。内容としては、実装の内容を交えながら深層強化学習のトレンドを理解していくものとできればと思います。#1では強…

Deep Q-Network⑤における工夫|強化学習フォローアップシリーズ #5

#1では連載の経緯とDQNの理解にあたって簡単な全体像について言及し、#2ではマルコフ決定過程、#3では価値関数とベルマン方程式、#4ではQ-Networkについてまとめました。 https://lib-arts.hatenablog.com/entry/followup_reinforce4#4までで基本的な仕組み…

Deep Q-Network④におけるQ関数の近似|強化学習フォローアップシリーズ #4

#1では連載の経緯とDQNの理解にあたって簡単な全体像について言及し、#2ではマルコフ決定過程、#3では価値関数とベルマン方程式についてまとめました。 #4では状態価値や状態行動価値の算出にあたり、全ての盤面(観測したことのない盤面も含む)で行えるよ…

ガウス過程に入るにあたっての前提知識の整理(Ch.1,Ch.2)|『ガウス過程と機械学習』読解メモ #1

最近購入した『ガウス過程と機械学習』ですが読んでいて面白いので読解メモをまとめていきます。 ガウス過程と機械学習 | 書籍情報 | 株式会社 講談社サイエンティフィク#1ではCh.1とCh.2の内容を元に事前知識の整理を行います。以下目次になります。 1. 線…

ベースライン論文におけるGraphのCNN学習アルゴリズム|ベースから理解するGraph Convolutional Networks #2

最近DeepLearningの文脈でもGraph Convolutional Networksが話題なので当シリーズはGraph Convolutional Networksについて取り扱っていきます。 [1605.05273] Learning Convolutional Neural Networks for Graphs#1では導入ということで、上記のベースライン…

言語処理におけるグラフ理論とネットワーク分析|実践的自然言語処理入門 #6

#1ではBoW、#2ではtf-idf、#3ではWord2Vec、#4ではcos類似度と文書分類、#5ではネガポジ分析について取り扱いました。 BoWと形態素解析|実践的自然言語処理入門 #1 - lib-arts’s diary 特徴語抽出とtf-idf|実践的自然言語処理入門 #2 - lib-arts’s diary …

ベースライン論文の概要と事前知識の整理|ベースから理解するGraph Convolutional Networks #1

上記の記事でグラフ理論についてまとめましたが、最近DeepLearningの文脈でもGraph Convolutional Networksが話題なので当シリーズはGraph Convolutional Networksについて取り扱っていきます。#1では導入ということで、下記のベースライン論文の俯瞰とそれ…

相関性の低い決定木の作成とランダムフォレスト|高校数学の演習を通して理解する決定木・ランダムフォレスト #5

#1〜#3では決定木やランダムフォレストについて理解するにあたってベースとなる例題について取り扱いました。 #4では上記の例題を受けて、実際に決定木の学習について解説しました。 #5では決定木の多数決にあたって、相関性の低い(独立性の高い)決定木を…

BERTリポジトリのコードリーディング②(計算グラフの流れ)|言語処理へのDeepLearningの導入の研究トレンドを俯瞰する #8

#6ではまずサンプル実行に関して、#7では実行コードの概要について確認しました。 #8ではコードリーディングの続きとして、計算グラフの流れに着目してまとめられればと思います。以下目次になります。 1. Input Representationの実装に関して2. InputからOu…

BERTリポジトリのコードリーディング①(概要を掴む)|言語処理へのDeepLearningの導入の研究トレンドを俯瞰する #7

近年猛威を振るっているDeepLearningの言語処理への応用についてまとめていければと思います。#4,#5ではBERTで用いられているモジュールであるTransformerに関してまとめました。 #6以降ではBERTのリポジトリのサンプル実行と実装の確認について行っていけれ…

BERTリポジトリのサンプル実行の流れ|言語処理へのDeepLearningの導入の研究トレンドを俯瞰する #6

近年猛威を振るっているDeepLearningの言語処理への応用についてまとめていければと思います。#4,#5ではBERTで用いられているモジュールであるTransformerに関してまとめました。 #6以降ではBERTのリポジトリのサンプル実行と実装の確認について行っていけれ…

AttentionメカニズムとTransformer|言語処理へのDeepLearningの導入の研究トレンドを俯瞰する #5

近年猛威を振るっているDeepLearningの言語処理への応用についてまとめていければと思います。#4ではTransformerの大元の論文である「Attention Is All You Need」について読み進めるにあたっての前提知識についてまとめました。 #5では実際に中身を読み解い…

Attentionメカニズムと記憶ネットワーク|言語処理へのDeepLearningの導入の研究トレンドを俯瞰する #4

近年猛威を振るっているDeepLearningの言語処理への応用についてまとめていければと思います。#1では深層学習による自然言語処理」の内容、#2では対話(dialog)問題を取り扱う統合的なフレームワークのParlAIと具体的なタスク、#3では言語処理における事前学…

Pythonで実装する推測統計③(統計的仮説検定)|スクラッチ実装で理解する基礎統計 #6

上記のシリーズで機械学習アルゴリズムの実装を行っているのですが、他の内容もできればということで同様のイメージで基礎統計を実装していければと思います。#4では推測統計に入るにあたっての前段階として統計量を、#5では#5では推測統計のメイントピック…

エントロピーと決定木の学習|高校数学の演習を通して理解する決定木・ランダムフォレスト #4

#1〜#3では決定木やランダムフォレストについて理解するにあたってベースとなる例題についてまとめました。 #4では上記の例題を受けて、実際に決定木の学習についてまとめていければと思います。以下、目次になります。 1. 決定木の概要と推論に関して2. 不…

言語処理における事前学習(Pre-training)とBERT|言語処理へのDeepLearningの導入の研究トレンドを俯瞰する #3

近年猛威を振るっているDeepLearningの言語処理への応用についてまとめていければと思います。#1では深層学習による自然言語処理」の内容を要約、#2では対話(dialog)問題を取り扱う統合的なフレームワークのParlAIと具体的なタスクのご紹介を行いました。 #3…

ParlAIと対話(dialog)における具体的な応用タスク|言語処理へのDeepLearningの導入の研究トレンドを俯瞰する #2

近年猛威を振るっているDeepLearningの言語処理への応用についてまとめていければと思います。#1では最近のトレンドに入っていく前に概論について抑えようということで、2015年〜2016年頃までのトレンドを概論とともにまとめた「深層学習による自然言語処理…

「深層学習による自然言語処理」読解まとめ|言語処理へのDeepLearningの導入の研究トレンドを俯瞰する #1

基本的な言語処理の概論については、実務の観点で使えそうな考え方にフォーカスしつつ以下の記事でまとめました。 特徴語抽出とtf-idf|実践的自然言語処理入門 #2 - lib-arts’s diary 分散表現とWord2vec|実践的自然言語処理入門 #3 - lib-arts’s diary co…