[실무] WIT 모델 분석

 

What-if-tool : 훈련된 ML 모델의 동작을 분석하는 시각화 기반 도구.

 

블랙박스 분류 또는 회귀 ML모델에 대한 이해를 돕기 위해 사용하기 쉬운 인터페이스를 제공, 모델 데이터에 대한 추론을 수행하고 다양한 방법으로 결과를 시각화진행.

수동/프로그래밍 방식으로 편집하고 그 변경 결과를 보기 위해 모델을 다시 실행도 해볼 수 있음(개꿀).

데이터 포인트별로 예측값을 표현하고 다차원으로도 분석할 수 있도록 해줌.

사용자가 코드가 전혀 필요하지 않은 시각적 인터페이스를 통해 일련의 데이터 훈련 ML 모델을 사용할 수 있도록 간단하고 직관적인 방법을 제공하는 것이 WIT 툴이라고 할수있다.

 

tool 작업 화면은 Datapoint Editor, Performance&Fairness, Features 세 가지로 나뉨.

① Datapoint Editor : 각각의 데이터포인트를 시각화 화면에 적용. 해당 feature를 변경했을 때, 예측 결과의 변경을 확인할 수 있다.

② Performance :  각 feature를 슬라이스 한 모델의 성능을 확인 (나이대 별 모델 정확도나 성적 구간 별 모델 정확도 등)

③ Feature : 높은 수준에서 피쳐의 분포를 확인할 수 있음, 데이터 셋의 특성을 확인할 때 유용.

 

 

노트북에서 WIT를 사용하기 위한 import, 실행 소스

from witwidget.notebook.visualization from WitConfigBuilder
from witwidget.notebook.visualization from WitWidget

con_builder = WitConfigBuilder(text_examples).set_estimator_and feature_spec(
	classifier, feature_spec)
WitWidget(config_builder)

 

 

툴 사용법과 예제는 공식 깃허브랑 코랩을 이용하면 된다.

https://github.com/PAIR-code/what-if-tool

GitHub - PAIR-code/what-if-tool: Source code/webpage/demos for the What-If Tool

 

https://colab.research.google.com/github/pair-code/what-if-tool/blob/master/What_If_Tool_Notebook_Usage.ipynb#scrollTo=NUQVro76e38Q

What-If Tool Notebook Usage