XGBoost 개념

이번 시간과 다음 시간에는 Boosting 모델 중 하나인 XGboost 모델을 배워볼 예정이다.
이번 시간에는 xgboost의 개념과 사용법에 대해 익히고, 다음 시간에는 xgboost를 이용해 와인 품질 분류를 진행해보겠다.

XGBoost란?

XGBoost는 Extreme Gradient Boosting의 약자이다.
Boosting 기법을 이용하여 구현한 알고리즘은 Gradient Bosst가 대표적
이 알고리즘을 병렬 학습이 지원되도록 구현한 라이브러리가 XGBoost이다.
Regression, Classification 문제를 모두 지원하며, 성능과 자원 효율이 좋아서, 인기 있게 사용되는 알고리즘이다.

여기서 Boostinge디갖 무엇이냐면, 여러개의 성능이 높지 않은 모델을 조합해서 사용하는 앙상블 기법중 하나이다.
성능이 낮은 예측 모형들의 학습 에러에 가중치를 두고, 순차적으로 다음 학습 모델에 반영하여 강한 예측모형을 만든다.

XGBoost의 장점
- 기존 boosting 모델 대비 빠른 수행시간(병렬 처리)
- 과적합 규제 지원(Regularization)
- 분류와 회귀 task에서 높은 예측 성능
- Early stopping(조기 종료) 기능 제공
- 다양한 옵션을 제공해 Customizing이 용이.
- 결측치를 내부적으로 처리 함.