앙상블 기법 비교: Bagging vs Boosting

앙상블(Ensemble)은 여러 개의 모델을 결합하여 단일 모델보다 더 나은 예측 성능을 얻기 위한 방법론입니다. 대표적인 앙상블 기법으로는 Bagging과 Boosting이 있으며, 두 방법은 그 구조와 철학에서 차이를 보입니다.

---

Bagging (Bootstrap Aggregating)

설명: Bagging은 여러 개의 모델을 독립적으로 학습시키고, 그 결과를 평균 내거나 다수결 투표로 결합하는 방식입니다. 각 모델은 **서로 다른 무작위 샘플(부트스트랩 샘플)**로 학습됩니다.

대표 알고리즘: Random Forest

특징:

• 각 모델은 병렬적으로 학습됨
• 모델 간 상호작용 없음
• 편향(Bias)은 줄이지 못하지만, 분산(Variance)을 줄여 안정적인 결과 도출

장점:

• 과적합 위험이 적음
• 병렬 처리로 학습 속도가 빠름

단점:

• 단순한 문제에는 오히려 복잡도가 증가할 수 있음

---

Boosting

설명: Boosting은 모델을 순차적으로 학습시키며, 이전 모델이 잘못 예측한 데이터에 가중치를 높여 다음 모델이 더 집중할 수 있도록 합니다. 모델 간 보완 작용이 일어납니다.

대표 알고리즘: AdaBoost, Gradient Boosting, XGBoost, LightGBM, CatBoost

특징:

• 순차적 학습 (이전 결과를 기반으로 다음 모델이 학습)
• 편향과 분산을 모두 줄일 수 있음
• 각 모델은 약한 학습기(weak learner)를 사용

장점:

• 복잡한 데이터에도 강력한 예측 성능
• 다양한 손실 함수에 대응 가능

단점:

• 과적합 가능성 있음 (적절한 정규화 필요)
• 학습 속도가 느릴 수 있음

---

Bagging vs Boosting 요약 비교

항목 Bagging Boosting

학습 방식	병렬적	순차적
중점 요소	분산 감소	편향 및 분산 감소
과적합 위험	적음	높을 수 있음 (정규화 필요)
대표 알고리즘	Random Forest	XGBoost, LightGBM, AdaBoost
계산 비용	상대적으로 낮음	상대적으로 높음

---

https://link.coupang.com/a/cpQy6K

머신 러닝 교과서 with 파이썬 사이킷런 텐서플로 개정 3판 - 클라우드/빅데이터 | 쿠팡

 

이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.