태그: Gradient Boosting

그래디언트 부스팅 (Gradient Boosting) # 그래디언트 부스팅(Gradient Boosting)은 약한 학습기들을 순차적으로 학습시켜 강한 학습기를 만드는 앙상블 기법이다. 각 단계에서 이전 모델들의 오차를 줄이는 방향으로 새로운 모델을 학습하며, 손실 함수의 기울기(gradient)를 이용해 최적화를 수행한다. 현재 캐글을 비롯한 많은 데이터 과학 경진대회에서 가장 널리 사용되는 알고리즘 중 하나이다. 그래디언트 부스팅의 기본 원리 # 1. 순차적 학습 # 각 모델이 이전 모델들의 잔차(residual)를 학습 매 단계마다 예측 성능이 점진적으로 향상 편향(bias)을 효과적으로 감소시킴 2.