XGBoost Algorithm

XGBoost는 타깃(Target)과 모델의 예측 사이에 손실 함수를 정의하여, 여러 개의 약한 예측 모델을 순차적으로 구축하여 반복적으로 오차를 개선하면서, 하나의 강한 예측 모델을 만드는 Boosting방식으로 앙상블 기법의 하나입니다. 기본 학습기로 주로 옅은 Depth의 결정트리를 활용하여, 손실 함수을 계산하여 경사 하강법(Gradient desecent)을 사용하여 잔차(Residual)을 최소화하는 방향으로 최적화를 수행합니다.

Breast Cancer 분석하기

Breast cancer 분석에서는 XGBoost로 Breast cancer 분석하는 과정을 설명합니다.

보험사기 분석하기

자동차 보험 사기 검출에서는 XGBoost로 자동차 보험 사기 검출을 분석하는 과정을 설명합니다.

Wine Quality 측정

Wine Quality에서는 XGBoost를 이용한 회귀(Regression) 문제를 설명하고 있습니다.

Reference

Amazon SageMaker 모델 학습 방법 소개 - AWS AIML 스페셜 웨비나

SageMaker 스페셜 웨비나 - Github

Dataset - Architect and build the full machine learning lifecycle with AWS: An end-to-end Amazon SageMaker demo

XGBoost Documentation

XGBoost와 사이킷런을 활용한 그레이디언트 부스팅 - 한빛 미디어