Evaluation〜Deployment｜CRISP-DMを改めて考える #4

当連載では1990年代後半頃に考案されたCRISP-DM(CRoss Industry Standard Process for Data Mining)というマネジメント技法について見ていくことで、マネジメントにおける注意すべきポイントなどを見ていければと思います。（CRISP-DMはデータマイニングにおけるマネジメント技法とされていますが、データサイエンスとデータマイニングはそこまで区別しなくても良いかと思われるので、当連載においては同様に取り扱うものとします）
#1ではWikipediaなどを元にCRISP-DMの概要を確認しました。

CRISP-DMの簡単な概要｜CRISP-DMを改めて考える #1 - lib-arts’s diary

#2〜#4では下記のpdfを元にそれぞれの各フェーズについて確認していきます。

https://pdfs.semanticscholar.org/5406/1a4aa0cb241a726f54d0569efae1c13aab3a.pdf

#3ではData Preparation〜Modelingの内容を取り扱いました。

Data Preparation〜Modeling｜CRISP-DMを改めて考える #3 - lib-arts’s diary

#4ではEvaluation〜Deploymentの内容を取り扱います。
以下、目次になります。
1. 評価(Evaluation)
2. 運用(Deployment)
3. まとめ

1. 評価(Evaluation)
1節では評価(Evaluation)について取り扱います。

上図は参照pdfよりキャプチャを行っています。評価は主に3つのタスクから成り立っているとされており、下記に列記します。

①結果の評価(Evaluate results)
-> どのモデルがビジネスの目標指標を満たし、ビジネス要件を満たさない理由があるかどうかを見極める必要があるとされています。ここではModelingの際に行っているAssess Modelとは違い、ビジネスの目標指標に基づいて考えるとされています。アウトプットとしては、1)ビジネスの成功基準に照らし合わせてデータマイニングの評価をまとめたもの、2)要件を満たしたモデル(approved models)、の二つがあげられています。

②プロセスのレビュー(Review process)
-> ①の結果の評価で問題がなければビジネスのニーズを満たしていると判断し、その上で工程全体で見逃している点はないかなどのレビューが必要であるとされています。アウトプットとしては、工程全体を通して見逃した点や繰り返されるべき点などの取りまとめ、が必要とされています。

③次のアクションの決定(Determine next steps)
-> プロジェクトの一区切りとして、終了させて運用フェーズに移すか、さらなる繰り返しを行うか、新しいプロジェクトを立ち上げるかなどの次のアクションの決定が必要になるとされています。アウトプットとしては、1)さらなるアクションとその理由のリスト、2)意思決定事項の記述、の二つがあげられています。

2. 運用(Deployment)
2節では運用(Deployment)について取り扱います。

上図は参照pdfよりキャプチャを行っています。運用は主に4つのタスクから成り立っているとされており、下記に列記します。

①プランの実行(Plan deployment)
-> 分析に用いるデータを決める必要があるとされています。アウトプットとしては、必要な段取りを含む運用戦略の取りまとめ、が必要とされています。

②メンテナンスの計画(Plan monitoring and maintenance)
-> 実際に実行に移した内容を確認しメンテナンスするというのが重要なイシューであるとされています。アウトプットとしては、確認とメンテナンスの戦略を取りまとめる、が必要とされています。

③最終レポートの作成(Produce final report)
-> プロジェクトの締めくくりとして、プロジェクトリーダーやプロジェクトチームは最終レポートを作成する必要があるとされています。アウトプットとしては、1)最終レポート、2)最終プレゼンテーション、の二つが必要であるとされています。

④プロジェクトのレビュー(Review project)
-> 何が正しくて何が間違っていたか、何がうまくいって何に改善が必要かについてアセスメントを行う必要があるとされています。アウトプットしては、プロジェクトを通しての知見の取りまとめ、があげられています。

3. まとめ
#4では各フェーズについての詳細を確認していくにあたって、Evaluation(評価)と、Deployment(運用)の内容を取り扱いました。