XAIの概要を把握する｜DeepLearningの解釈の3分類の案に関して #5

当シリーズではXAIの研究の概要の把握を行います。#4ではDeepLIFTとGrad-CAMに関して確認を行いました。

#5では#3の4節で取り扱った"Explaining Explanations: An Overview of Interpretability of Machine Learning"を元に、DeepLearningの解釈にあたっての3分類に関して確認を行います。

[1806.00069] Explaining Explanations: An Overview of Interpretability of Machine Learning

以下が目次となります。
1. 分類の概要
1-1. Processing
1-2. Representation
1-3. Explanation Producing
2. まとめ

1. 3分類の概要
3分類の概要に関しては論文のSectionVのTaxonomyで取り扱われています。

上記で表した論文のTable.1で3つの分類に関してまとめられています。

Processing、Representation、Explanation Producingの3つが挙げられています。それぞれについて詳しくはSectionⅢのReviewで取り扱われているので以下、確認を行います。

また、ProcessingではDecision Treeなどが出てきますが、Processingに関してはLIMEのようなsimplificationの意味合いで取り扱われているので、あくまでDeepLearningの分類で用いられていると考えて良いようです。

1-1. Processing
1-1節ではSectionⅢのAの"Explanations of Deep Network Processing"を元にProcessingの詳細に関して確認を行います。

上記が冒頭部の記載ですが、simplificationの実現にあたって、"proxy model"や"salience map"を作成することについて言及されています。"proxy model"は"Linear Proxy Models"や"Decision Trees"らが対応し、"salience map"は"Salience Mapping"に対応してそれぞれ後述されると考えて良いようです。

(中略)

上記のように"Linear Proxy Models"や"Decision Trees"ではそれぞれ"proxy model"と記載があります。"proxy"は代理などの意味合いの単語ですが、LIMEのようにシンプルに近似を行うことをここでは"proxy"と表現していると理解すれば良いと思います。

1-2. Representation
1-2節ではSectionⅢのBの"Explanations of Deep Network Representations"を元にRepresentationの詳細に関して確認を行います。

Role of Layers、Role of Individual Units、Role of Representation Vectorsのそれぞれ三つが紹介されています。

1-3. Explanation Producing

上記のようにTransformerなどで用いられる考え方のAttentionなどが紹介されています。

2. まとめ
#5では"Explaining Explanations: An Overview of Interpretability of Machine Learning"を元に、DeepLearningの分類に関して取り扱いました。
#6では#4で取り扱ったDeepLIFTでも言及された、LRP(Layerwise Relevance Propagation)に関して取り扱いを行います。