일반적으로 모델 성능 향상에 하이퍼파라미터 최적화가 많이 영향을 미침 (HPO)
AutoML (엔지니어는 사실 할 수 있는 모든 걸 자동화하는게 좋으니까..) 측면으로 볼때 HPO는 반복업무이므로 자동화할 수 있는건 해두면 좋다.
하이퍼파라미터 최적을 탐색하는 기술 관련 참고 글
https://adioshun.gitbooks.io/deep_learning/content/Auto-ML/Intro.html
① 그리드 탐색, 랜덤 탐색
② 베이지안 최적화(Bayesian Optimization)
③ 기타
W&B Sweeps 툴 (실험관리 기능을 기본으로 탑재) , 공식 깃허브 예제를 참고
https://github.com/wandb/examples/blob/master/examples/wandb-sweeps/sweeps-python/notebook.ipynb
GitHub - wandb/examples: Example deep learning projects that use wandb's features.
Example deep learning projects that use wandb's features. - GitHub - wandb/examples: Example deep learning projects that use wandb's features.
github.com
아래와 같이 그래프로 여러가지로 시각화해서 각 버전별 결과를 확인하고 실험 결과 보고 쓸때도 용이.
'스터디 > AI' 카테고리의 다른 글
| [실무] TFDV 데이터 검증 (0) | 2023.02.24 |
|---|---|
| [실무] 코드관리 (0) | 2023.02.23 |
| [실무] 프로젝트 모델 실험관리 (0) | 2023.02.23 |
| [실무] ML(머신러닝) 실무노트 (0) | 2023.02.16 |
| [Imple] 텐서플로우 분산학습 (0) | 2023.02.15 |