LGBM 개념

오늘 알아볼 개념은 LightGBM이다.

머신러닝에서 부스팅 알고리즘은 오답에 가중치를 더하면서 학습을 진행하는 알고리즘이다.

그 중 Gradient Boosting Machine(GBM)은 가중치를 경사하강법으로 업데이트 했다.

지난 시간에 배운 XGBoost는 GBM의 단점을 보완한 알고리즘이다.

xgboost는 굉장히 좋은 성능을 보여주었지만, 여전히 속도면에서 조금 늘다는 단점이 존재한다.

이러한 단점을 보완해주기 위해 탄생한것이 LightGBM이다.

 

LGBM의 특징

LGBM은 기존의 gradient boosting 알고리즘과 다르게 동작된다.

기존 boosting 모델들은 트리를 level-wise 하게 늘어나는 방법을 사용한 반면, LGBM은 leaf wise 트리 분할을 사용한다.

leaf-wise의 장점은 속도가 빠르다는 것이 가장 큰 장점이다. 데이터 양이 많아지는 상황에서 빠른 결과를 얻는데 시간이 점점 많이 걸리고 있는데 LGBM은 큰 사이즈의 데이터를 다룰 수있고 실행시킬때 적은 메모리를 차지한다.

 

LGBM 의 장점

1. 대용량 데이터 처리

2. 효율적인 메모리 사용

3. 빠른 속도

4. GPU 지원

 

LGBM 의 단점

LGBM은 leaf-wise growth로 과적합의 우려가 다른 Tree 알고리즘 대비 높은 편이다. 그러므로 데이터의 양이 적을 경우 Overfitting(과적합)에 취약한 면이 있어 데이터 양의 적을 경우 사용을 자제하는 것이 좋다.